hadoop
文章平均质量分 76
kamereon
这个作者很懒,什么都没留下…
展开
-
hadoop 2.7.3 启动Hadoop HDFS时的“Incompatible clusterIDs”
“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前,没有清空DataNode节点的data目录。 网上一些文章和帖子说是tmp目录,它本身也是没问题的,但Hadoop 2.7.3是data目录.从上述描述不难看出,解决办法就是清空所有DataNode的data目录,但注意不要将data目录本身给删除了。转载 2017-01-03 15:44:20 · 1220 阅读 · 0 评论 -
MapReduce 中 map 分片大小确定 和map任务数的计算
Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是:goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.block.si转载 2017-01-08 01:16:38 · 4247 阅读 · 0 评论 -
内网环境NTP服务及时间同步(CentOS6.x)配置和部署
今有一小型项目,完全自主弄,原来以为很简单的NTP服务,我给折腾了2个多小时才整撑头(以前都是运维搞,没太注意,所以这技术的东西,在简单都需要亲尝啊),这里记录为以后别再浪费时间。 目标环境,5台linux centos 6.3, 一台作为NTPD服务与外部公共NTP服务同步时间,同时作为内网的NTPD服务器,其他机器与这台服务做时间同步。 服务器I转载 2017-01-11 15:37:53 · 16322 阅读 · 2 评论 -
hadoop2.X如何将namenode与SecondaryNameNode分开配置
问题导读1.如何将namenode与SecondaryNameNode分开?2.SecondaryNameNode单独配置,需要修改那些配置文件?3.masters文件的作用是什么?我们这里假设你已经安装配置了hadoop2.2,至于如何配置可以参考,hadoop2.2完全分布式最新高可靠安装文档。在这个基础上,我们对配置文件做一些修改:转载 2017-01-12 09:46:30 · 394 阅读 · 0 评论 -
SecondaryNameNode启动异常端口被占用
2017-01-12 01:27:04,313 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: registered UNIX signal handlers for [TERM, HUP, INT]2017-01-12 01:27:04,824 INFO org.apache.hadoop.metrics2.imp原创 2017-01-12 09:51:51 · 3406 阅读 · 1 评论 -
ZooKeeper-3.4.9集群安装配置及注意事项
ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在转载 2017-01-12 17:01:09 · 2587 阅读 · 1 评论 -
hbase1.2.3+zookeeper3.4.9+hadoop2.7.3完全分布式部署遇到的问题
启动start-hbase.sh 后hbase没有启动查看日志如下:ERROR [main] master.HMasterCommandLine: Master exitingjava.io.IOException: Could not start ZK with 3 ZK servers in local mode deployment. Aborting as clients (e原创 2017-01-17 14:27:07 · 3137 阅读 · 0 评论 -
启动hbase输出ignoring option PermSize=128m; support was removed in 8.0告警信息
./start-hbase.sh starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-hd1.outJava HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was r原创 2017-01-17 14:45:35 · 36839 阅读 · 5 评论