hadoop
hotbigdata
这个作者很懒,什么都没留下…
展开
-
Hadoop安装过程中的HA切换不成功的坑
在hadoop安装配置过程中,有很多同学按照网上教程配置完成,并启动HA即两台NameNode后,看到其中一台服务器是active,另一台则是standby模式,而且文件也可以正常写入到hdfs中,但是并没有去做HA的切换测试,当在测试或者开发中发现出现两个standby的namenode后才知道HA没有正常工作,即一台active的namenode挂掉后,另一台namenode也...原创 2018-04-20 08:40:34 · 1465 阅读 · 0 评论 -
Hadoop单节点中副本存放策略
在实际的大数据生产环境中,每个数据节点也就是DataNode,会配置多个数据磁盘,每个磁盘对应一个数据目录,将这些数据目录配置到DataNode的hdfs-site.xml(dfs.datanode.data.dir),使用逗号分隔多个数据目录,这样做的好处可以使数据节点的增加读写效率,毕竟每个目录对应单独的磁盘IO,不互相占用或竞争,也可以增加数据节点的高可用性,通过配置dfs.d...原创 2018-04-20 08:41:48 · 956 阅读 · 0 评论