wuxiaobingandbob的专栏

https://www.jianshu.com/p/6e0be77b688e手把手教你用owncloud搭建属于自己的云盘owncloud是一个开源的云盘解决方案，我们可以用owncloud快速地搭建起我们自己私有的云盘，这样文件地安全性和云盘地可靠性都有保证，对于公司和个人都是非常有用的。安装owncloud1. 添加新的软件源rpm --import https://do...

 hukey Linux宝库 今天 块存储 典型设备：磁盘阵列、硬盘 块存储主要是将裸磁盘空间整个映射给主机使用的。例如：磁盘阵列里面有5块硬盘，然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。 但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G，共有5个硬盘，划分为逻辑盘也为5个，每个100G，但是这5个逻辑盘和原...

https://yq.aliyun.com/articles/348167参考链接http://www.infoq.com/cn/articles/virtual-forum-three-basic-issues-about-distributed-storage分布式存储的应用场景相对于其存储接口，现在流行分为三种:对象存储: 也就是通常意义的键值存储，其接口就是简单的GET...

https://www.jianshu.com/p/595240efc22c 存储方式 技术实现 优势 劣势 代表作 块存储 裸盘上划分逻辑卷，逻辑卷格式化成任意文件系统 支持多种文件系统，传输速度快，提供硬件容错机制 无法实现网络共享 FC-SAN，iSCSI 文件存储 在格式化的磁盘上存储文件 提供网络共享 网络...

https://zhuanlan.zhihu.com/p/24231891大数据资源整理林梓假程序媛，真女汉子~大数据最近几年很火，如果你去问读研的小伙伴，搞计算机的，我相信不是搞数据处理就是搞机器学习的，这都属于大数据的范畴。虽然大数据很火，但是网上的资源却比较少，主要是很零碎，不成体系。当然，想要搞大数据，数学知识诸如：高等数学，线性代数，概率论，统计学……是必不可少的...

https://www.cnblogs.com/yaohaitao/p/5703288.htmlspark与storm的对比 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD...

https://blog.csdn.net/wzk646795873/article/details/79583218ZookeeperZookeeper是一个分布式协调服务，一个leader，多个follower组成的集群，就是为用户的分布式应用程序提供协调服务。Zookeeper是为别的分布式程序服务的。Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配...

https://www.cnblogs.com/reed/p/7730329.html 今天看到一篇讲得比较清晰的框架对比，这几个框架的选择对于初学分布式运算的人来说确实有点迷茫，相信看完这篇文章之后应该能有所收获。  简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计...

https://www.cnblogs.com/yangsy0915/p/6232280.html主流大数据技术全体系参数与搭建与后台代码工程框架的编写（百分之70）之前查阅源码啊，性能测试啊调优啊。。基本告一段落，项目也接近尾声，那么整理下spark所有配置参数与优化策略，方便以后开发与配置：Spark安装配置与代码框架  spark-default.conf 配置spa...

http://xstarcd.github.io/wiki/Cloud/storm_config_detail.htmlStorm配置项详解目录参考: Storm配置项详解: http://www.alidata.org/archives/2118|Storm配置项详解 Setting up a Storm cluster: http://storm.apache.org/doc...

下面总结Spark对MapReduce的改进：MapReduce抽象层次低，需要手工编写代码完成；Spark基于RDD抽象，使数据处理逻辑的代码非常简短。 MapReduce只提供了map和reduce两个操作，表达力欠缺；Spark提供了很多转换和动作，很多关系数据库中常见的操作如JOIN、GROUP BY已经在RDD中实现。 MapReduce中，只有map和reduce两个阶段，复杂...

https://cloud.tencent.com/developer/article/10304761. 前言计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台计算机完成，而只能由多台机器共同承担计算任务。而在分布式环境中...

http://orchome.com/kafka/index发布 & 订阅                        处理                     存储数据流，如消息传递系统                     高效并实时                   数据流安全地在分布式集群中复制存储                              ...

https://www.cnblogs.com/freeweb/p/5292961.htmlStorm集成Kafka应用的开发　　我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，...

https://www.jianshu.com/p/c9ca7c16bd1f前言因为有些仓库上传到Github并不是非常合适，所以就搭建了一个自己的私人仓库。在安装Gogs前，我也尝试了Gitlab，效果很不错环境Centos7.1安装配置Gogs所需的环境安装nginxsudo apt-get install nginx安装gitsudo apt...

https://www.douban.com/group/topic/109858772/大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。一、大数据接入1、大数据接入已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入2、大数据接入技术Kaf...

https://www.cnblogs.com/langtianya/p/5199529.html伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来...

https://studygolang.com/p/rookCNCF 首个云原生存储项目 ROOK CNCF 首个云原生存储项目 ROOK 这是一个分享于 2018-01-31 12:30:00 的项目，其中的信息可能已经有所发展或是发生改变。Rook将文件、数据块和对象存储系统引入到Kubernetes集群，与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式，云原生...

https://www.cnblogs.com/Alysa-lrr/archive/2016/11/03/6027194.htmlceph--磁盘和rbd、rados性能测试工具和方法我在物理机上创建了5台虚拟机，搭建了一个ceph集群，结构如图：具体的安装步骤参考文档：http://docs.ceph.org.cn/start/                        ...

https://blog.51cto.com/11093860/2337707一：在探讨pod和容器的区别之前，我们先谈谈为什么k8s会使用pod这个最小单元，而不是使用docker的容器，k8s既然使用了pod，当然有它的理由。1：更利于扩展k8s不仅仅支持Docker容器，也支持rkt甚至用户自定义容器，为什么会有这么多不同的容器呢，因为容器并不是真正的虚拟机，参考我之前的博客，do...

http://idocs.www.com:8090/display/umstorage/LCM+in+K8S?focusedCommentId=9634065#comment-9634065如何查看日志动态获取 lcmapi 所有 pod 的日志，不同 Pod 输出按颜色区分 # bash -c "$(curl -fsSL https://raw.githubuserconten...

https://fio.readthedocs.io/en/latest/fio_doc.html

我所知道的云计算文 | 范济安　　云世界里的技术日新月异，新名词一个接着一个让人应接不暇，从虚拟化开始，VMware、HyperV、KVM，到云管理平台VSphere、SystemCenter、OpenStack，再到容器领域的Docker、Kubernetes、Mesos、Swarm，资源管理调度的Yarn、Mesos和今天的微服务Micro Service。这些东东到底是干...

第一步：安装centos在线安装，yum install s3cmd或者用如下方式安装：yum -y install python-pippip install s3cmd第二步：配置： 注意画红圈和黄框的地方：尤其是倒数第二个黄框的选择Test access with supplied credentials? [Y/n] n，可以选择n，表示不做验证.第三步继续...

https://www.jianshu.com/p/14158ab0081a?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendationOpenStack第一章 OpenStack基础OpenStack管理的资源及提供的服务 OpenStac...

什么是云计算？https://www.howtoing.com/cloud-computing云计算！是抽象的计算与按需交付的资源概念。Howtoing.com像是云计算中的沧海一粟。Howtoing 在云计算中？我的回答是 - 是的，如果你与互联网技术工作，你与云计算有关。当您在您的个人电脑与互联网连接的工作，你都会与云网络连接。 在云计算硬件和网络资源在互联网上是共享的。提供...

云架构和openstack的思考云架构和openstack的思考原文链接： http://ifeve.com/cloud-architecture-openstack/作者：罗立树最近在负责公司内部私有云的建设，一直在思考怎么搞云计算，怎么才能够把云架构设计得好一些。本文章主要内容：1. 行业生态2. 从需求角度看云3. 云计算概述4. 云建设的关键问题...

私有云和公有云的显著差别在于对数据的掌控。只需一分钟，下面几张图就能让你看懂公有云和私有云的本质区别。　　私有云和公有云的显著差别在于对数据的掌控。　　采用公有云服务的企业必须将数据托管于云服务商的数据中心，企业对数据的掌控力度自然减弱。一旦数据中心因自然灾害、人为因素或法律规范等各方面因素导致数据丢失，将对企业形成致命伤害。　　私有云在数据安全、数据备份等方面也有更多的可选择空间。公...

https://blog.csdn.net/zlfprogram/article/details/74338685Redis有多快?Redis 自带了一个叫 redis-benchmark 的工具来模拟 N 个客户端同时发出 M 个请求。 （类似于 Apache ab 程序）。你可以使用 redis-benchmark -h 来查看基准参数。  以下参数被支持：   ...

https://blog.csdn.net/u012050154/article/details/50729725一、Benchmark简介Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the perform...

一、它是什么，能干什么想认识一个事物，必须先弄明白它是什么，能干什么。首先说一下，openstack是一个搭建云平台的一个解决方案，说他不是个软件，但是我觉得说是一个软件，能够让大家认识更清晰些。openstack能干什么，可以搭建公有云，私有云，企业云。（顺便说一下，企业云将是openstack的用武之地）二、openstack组成上面是一个整体的认识，想进一步了解openstack，...

http://www.cnblogs.com/luxiaodai/p/10005700.html概述第一个 Ceph 版本是 0.1 ，要回溯到 2008 年 1 月。多年来，版本号方案一直没变，直到 2015 年 4 月 0.94.1 （ Hammer 的第一个修正版）发布后，为了避免 0.99 （以及 0.100 或 1.00 ？），我们制定了新策略。 x.0.z - 开发版（给...

https://www.cnblogs.com/yudar/p/4630758.htmlFuel 30 分钟快速安装OpenStack一直以来，对于openstack 的初学者来讲，安装往往是入门的头大难题。在E版本之前，要搭建一个基本能用的openstack 环境那是相当麻烦，自己要装机，自己搞源，自己照着文档敲命令，又没有靠谱的文档，官方给出的文档依旧有好多坑，还有语言问题往往用上好几...

https://www.cnblogs.com/zhaojiankai/p/7126181.htmlZookeeper介绍及安装部署本节内容：Zookeeper介绍 Zookeeper特点 Zookeeper应用场景 用到了Zookeeper的一些系统 Zookeeper集群安装部署 一、Zookeeper介绍是一个针对大型分布式系统的可靠协调系统； 提供的功能包括...

http://www.panchengming.com/2018/01/26/pancm70/kafka和storm集群的环境安装发表于 2018-01-26 | 分类于 kafka 前言storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一...

http://www.ywnds.com/?p=9656一、介绍PrometheusPrometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社会也十分活跃，他们便将它独立成开源项目，并且有公司来运作。Google SRE的书内也曾提到跟他们BorgMon监控系统...

https://www.linuxidc.com/Linux/2017-06/144672.htm1 介绍1.1 关于 MirantisMirantis，一家很牛逼的openstack服务集成商，他是社区贡献排名前5名中唯一一个靠软件和服务吃饭的公司（其他分别是Red Hat, HP, IBM, Rackspace）。相对于其他几个社区发行版，Fuel的版本节奏很快，平均每两个月就能提供一个相对稳...

http://blog.csdn.net/liuben/article/details/7240706非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点，分布式文件系统作为核心基础被推到了浪潮之巅，广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点，架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX...

https://blog.csdn.net/enweitech/article/details/51445087 块存储和文件存储是我们比较熟悉的两种主流的存储类型，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。        首先，我们介绍这两种传统的存储类...

分布式存储的应用场景相对于其存储接口，现在流行分为三种:对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展，如七牛、又拍、Swift、S3块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EB...