- 博客(11)
- 资源 (6)
- 收藏
- 关注
转载 Hadoop 中MapReduce的数据流
Hadoop的核心组件在一起工作时如下图所示:图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件,这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务,每一个mapping任务都是平等的:mappers没有特定“标识物”与其关联。因此,任意的mapper都可以处理任意
2014-11-27 14:51:18 2214
原创 在CentOS 运行你的第一个MapReduce程序
在进行本文的操作之前要先搭建一个Hadoop的环境,为了便于实验,可采用单节点部署的方式,具体方法可参见:Centos 6.5 下Hadoop 1.2.1单节点环境的创建编写源码主要为创建一个解析气象数据的程序,可以从数据文件中选择气温最高的一年,采用Maven进行编译。下面只包含Maper,Reduce,以及Main函数的代码。完整项目代码请参见https://g
2014-11-26 14:14:20 2567
原创 Centos 6.5 下Hadoop 1.2.1单节点环境的创建
安装以及配置JavaJDK安装#chmod 777 jre-6u31-linux-x64-rpm.bin#./jre-6u31-linux-x64-rpm.bin添加java环境变量#vim /etc/profile#最后添加# set java environmentexport JA
2014-11-25 16:36:29 1654
原创 Ceph实践总结之:CephFS客户端的配置
由于CephFS目前不算很稳定,可能更多的还是用在实验中。在进行本章的操作之前,要先完成基本集群的搭建,请参考http://blog.csdn.net/eric_sunah/article/details/40862215文件系统挂载的操作可以再虚拟机上进行,也可以在独立的物理机上执行,请不要在ceph集群中的机器上进行下面的操作前期准备¶通过 OS Recomme
2014-11-20 15:59:50 5018
原创 Ceph实践总结之:Centos 下RBD块设备客户端的配置
在进行本章的操作之前,要先完成基本集群的搭建,请参考http://blog.csdn.net/eric_sunah/article/details/40862215Ceph的块设备又称为 RBD 或是RADOS. 块设备实验的过程中,可以用虚拟机来作为ceph-client的节点,但是为了保证集群的稳定,不要在集群的节点上做下面的操作安装Ceph
2014-11-20 15:08:54 9889
转载 将centos 6.5 升级内核 linux 3.12.17
环境: 系统硬件:vmware vsphere (CPU:2*4核,内存2G) 系统版本:Linux centos 2.6.32-431.el6.x86_64(Centos-6.5-x86_64-minimal.iso ) 升级内核版本:longterm:3.12.17 升级步骤: 1.虚拟系统安装 要求mininal方式安装(205个包),具体步骤省略。
2014-11-19 15:13:56 4036
原创 Ceph 集群的扩展
前文讲述了如何创建一个集群,结构如下,本文讲述如何对该集群进行扩展IPhostname描述192.168.40.106dataprovider部署管理节点192.168.40.107mdsnodeMON节点192.168.40.108osdnode1OSD
2014-11-18 16:39:40 3639 1
原创 Centos 下NTP环境的创建
最近在搭建Openstack以及Ceph的集群,由于集群中都存在多个节点,且节点间需要时间的同步,所以需要使用NTP,又考虑到有些时候网络环境是封闭的,所以需要自己搭建一个NTP的服务器 服务器IP角色 说明同步方式 192.168.100.203 NTPD服务 1、负责与外部公共NTPD服务同
2014-11-14 13:44:27 1932
转载 Ceph中Paxos 算法的由来
Paxos 是分布式计算里非常重要的一个算法,最初由 Leslie Lamport 在1990年发表,题为:The Part-time Parliament,这是一篇很有趣的论文,Lamport 在这篇论文里面把人物(分布式计算领域内的重要科学家)的英文名字用希腊文代替,并且整篇论文站在人类学家的立场、古文明、议会的角度来写导致人们很难理解这是一篇计算机学术论文,所以论文一直没能被发表,更糟的是,
2014-11-11 14:38:28 3195
原创 Centos6.5下Ceph存储集群的搭建
简单介绍Ceph的部署模式下主要包含以下几个类型的节点• Ceph OSDs: A Ceph OSD 进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时,要求至少有2个Ceph OSD进程
2014-11-06 16:08:54 6287 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人