Hadoop
文章平均质量分 79
勇敢先生
这个作者很懒,什么都没留下…
展开
-
Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法
1. 问题 :运行hadoop的hdfs的客户端的时候出现警告如下 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2.问题原因:Hdfs在实现IO操作的时候,为了提升IO的性能默认使用C...原创 2018-04-10 13:00:51 · 3872 阅读 · 0 评论 -
HA-高可用的HDFS搭建(hdfs+zookeeper)(一)
早期的Hadoop1.x版本,NN是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法使用。为了解决这个问题在Hadoop2.x中借助于中间特定的中间渠道解决单点故障点问题,官方文档中提供两种解决方法: NFS和QJMNFS:采用的是网络共享文件模式QJM:Quorum Journal Manager 是hdfs用来共享Action NameNode与St...原创 2018-04-10 19:11:00 · 3163 阅读 · 0 评论 -
Namenode数据不断积累造成的问题
1、启动时间变长。NameNode的启动过程可以分成FsImage数据加载、editlogs回放、Checkpoint、DataNode的BlockReport几个阶段。数据规模较小时,启动时间可以控制在~10min以内,当元数据规模达到5亿(Namespace中INode数超过2亿,Block数接近3亿),FsImage文件大小将接近到20GB,加载FsImage数据就需要~14min,Chec...原创 2018-07-03 20:15:40 · 1397 阅读 · 0 评论