不积跬步，无以至千里；不积小流，无以成江海！

转载 通过漫画轻松掌握HDFS工作原理

转载 Hadoop 中MapReduce的数据流

Hadoop的核心组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线        MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务，每一个mapping任务都是平等的：mappers没有特定“标识物”与其关联。因此，任意的mapper都可以处理任意

原创 在CentOS 运行你的第一个MapReduce程序

在进行本文的操作之前要先搭建一个Hadoop的环境，为了便于实验，可采用单节点部署的方式，具体方法可参见：Centos 6.5 下Hadoop 1.2.1单节点环境的创建编写源码主要为创建一个解析气象数据的程序，可以从数据文件中选择气温最高的一年，采用Maven进行编译。下面只包含Maper,Reduce,以及Main函数的代码。完整项目代码请参见https://g

原创 Centos 6.5 下Hadoop 1.2.1单节点环境的创建

安装以及配置JavaJDK安装#chmod 777 jre-6u31-linux-x64-rpm.bin#./jre-6u31-linux-x64-rpm.bin添加java环境变量#vim /etc/profile#最后添加# set java environmentexport JA

原创 Ceph实践总结之：CephFS客户端的配置

由于CephFS目前不算很稳定，可能更多的还是用在实验中。在进行本章的操作之前，要先完成基本集群的搭建，请参考http://blog.csdn.net/eric_sunah/article/details/40862215文件系统挂载的操作可以再虚拟机上进行，也可以在独立的物理机上执行，请不要在ceph集群中的机器上进行下面的操作前期准备¶通过 OS Recomme

原创 Ceph实践总结之：Centos 下RBD块设备客户端的配置

在进行本章的操作之前，要先完成基本集群的搭建，请参考http://blog.csdn.net/eric_sunah/article/details/40862215Ceph的块设备又称为 RBD 或是RADOS. 块设备实验的过程中，可以用虚拟机来作为ceph-client的节点，但是为了保证集群的稳定，不要在集群的节点上做下面的操作安装Ceph

转载 将centos 6.5 升级内核 linux 3.12.17

环境：　　系统硬件：vmware vsphere (CPU：2*4核，内存2G)　　系统版本：Linux centos 2.6.32-431.el6.x86_64（Centos-6.5-x86_64-minimal.iso ）　　升级内核版本：longterm:3.12.17 升级步骤：　　1.虚拟系统安装　　要求mininal方式安装(205个包),具体步骤省略。

原创 Ceph 集群的扩展

前文讲述了如何创建一个集群，结构如下，本文讲述如何对该集群进行扩展IPhostname描述192.168.40.106dataprovider部署管理节点192.168.40.107mdsnodeMON节点192.168.40.108osdnode1OSD

原创 Centos 下NTP环境的创建

最近在搭建Openstack以及Ceph的集群，由于集群中都存在多个节点，且节点间需要时间的同步，所以需要使用NTP，又考虑到有些时候网络环境是封闭的，所以需要自己搭建一个NTP的服务器 服务器IP角色  说明同步方式 192.168.100.203  NTPD服务 1、负责与外部公共NTPD服务同

转载 Ceph中Paxos 算法的由来

Paxos 是分布式计算里非常重要的一个算法，最初由 Leslie Lamport 在1990年发表，题为：The Part-time Parliament，这是一篇很有趣的论文，Lamport 在这篇论文里面把人物（分布式计算领域内的重要科学家）的英文名字用希腊文代替，并且整篇论文站在人类学家的立场、古文明、议会的角度来写导致人们很难理解这是一篇计算机学术论文，所以论文一直没能被发表，更糟的是，

原创 Centos6.5下Ceph存储集群的搭建

简单介绍Ceph的部署模式下主要包含以下几个类型的节点• Ceph OSDs: A Ceph OSD 进程主要用来存储数据，处理数据的replication,恢复，填充，调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时，要求至少有2个Ceph OSD进程