hadoop
xthurm
全职养生,兼职写代码
展开
-
【hadoop】 java客户端 使用append方法添加文件时报hdfs空间不足
使用java 代码 append 文件 实际上是创建一个新文件与存在的文件合并,然后丢弃(这部分操作时透明不可见)。 在创建新文件的时候,hdfs会预先给其划分一个 block大小的空间,即使该文件小于 block大小 。所以当append的内容过小时,容易产生大量的block文件,造成资源的浪费,占用过多的空闲资源,不等操作完成,还未回收该block空间,此时hdfs系统空间不足,报错。 解原创 2018-01-03 21:50:51 · 464 阅读 · 0 评论 -
【hadoop】HA集群时遇到的问题
【持续更新】解决一些使用HA集群遇到的问题,包括搭建、使用、开发等 1. 在格式化HDFS时报错: 17/11/25 16:44:25 WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to原创 2018-01-20 11:46:38 · 2229 阅读 · 0 评论 -
【hadoop】搭建 ha 高可用集群
本文前半部分配置高可用集群参考Hadoop HA高可用集群搭建(2.7.2),后半部分是解决在个人环境中配置遇到的一些问题。(由于遇到的问题较多,已迁移【hadoop】HA集群遇到的问题) 配置HA 集群 配置zk 的zoo.cfg,由于zk的master是选举的,所以zk节点的格式必须为单数且至少3个,在该集群中,只有4个节点,所以设置master2、slave1、slave2为zk节点转载 2017-12-16 15:41:08 · 242 阅读 · 0 评论