2017年01月_kamereon

原创启动hbase输出ignoring option PermSize=128m; support was removed in 8.0告警信息

./start-hbase.sh starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-hd1.outJava HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was r

2017-01-17 14:45:35 36840 5

原创 hbase1.2.3+zookeeper3.4.9+hadoop2.7.3完全分布式部署遇到的问题

启动start-hbase.sh 后hbase没有启动查看日志如下：ERROR [main] master.HMasterCommandLine: Master exitingjava.io.IOException: Could not start ZK with 3 ZK servers in local mode deployment. Aborting as clients (e

2017-01-17 14:27:07 3138

转载 ZooKeeper-3.4.9集群安装配置及注意事项

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在

2017-01-12 17:01:09 2587 1

原创 SecondaryNameNode启动异常端口被占用

2017-01-12 01:27:04,313 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: registered UNIX signal handlers for [TERM, HUP, INT]2017-01-12 01:27:04,824 INFO org.apache.hadoop.metrics2.imp

2017-01-12 09:51:51 3406 1

转载 hadoop2.X如何将namenode与SecondaryNameNode分开配置

问题导读1.如何将namenode与SecondaryNameNode分开？2.SecondaryNameNode单独配置，需要修改那些配置文件？3.masters文件的作用是什么？我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：

2017-01-12 09:46:30 394

转载内网环境NTP服务及时间同步(CentOS6.x)配置和部署

今有一小型项目，完全自主弄，原来以为很简单的NTP服务，我给折腾了2个多小时才整撑头（以前都是运维搞，没太注意，所以这技术的东西，在简单都需要亲尝啊），这里记录为以后别再浪费时间。目标环境，5台linux centos 6.3，一台作为NTPD服务与外部公共NTP服务同步时间，同时作为内网的NTPD服务器，其他机器与这台服务做时间同步。服务器I

2017-01-11 15:37:53 16322 2

转载 MapReduce 中 map 分片大小确定和map任务数的计算

Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是：goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.block.si

2017-01-08 01:16:38 4247

转载 hadoop 2.7.3 启动Hadoop HDFS时的“Incompatible clusterIDs”

“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.7.3是data目录.从上述描述不难看出，解决办法就是清空所有DataNode的data目录，但注意不要将data目录本身给删除了。

2017-01-03 15:44:20 1220

kamereon的博客