hadoop
aiwujiangjie_job
生活不易 天天开心
展开
-
haddop2新特性
Hadoop2中新增的两个最重要的特性就是HA和联邦机制:HA是为了解决hdfs主从架构中典型的单点故障问题(当主结点宕机时迅速切换备用结点),联邦机制是允许多台namenode通过共享存储系统zookeeper、NFS(网络文件系统,通过TCP/IP协议共享网络资源)、QJM(Quorum Journal Manager)共享底层DataNode对外提供服务。经典的HA场景是一个集群中有两个原创 2017-07-20 09:39:33 · 225 阅读 · 0 评论 -
hadoop中的DistCp和FastCopy
DistCp是集群内部或者集群之间高性能拷贝工具,使用mapreduce实现文件分发、数据处理、报告生成。DistCp1最大的特点就是map-only,可以加快文件传输速度。由于需要保证文件中block块的有序性,mapreduce以文件为分发单位。加上map阶段是静态分配map task的,分发时容易造成负载不均匀。DistCp2采用动态分配map task机制,”多劳多得“。目录文件被原创 2017-07-20 10:20:28 · 1808 阅读 · 0 评论