- 博客(6)
- 收藏
- 关注
原创 HBase的基本配置要点
打开HDFS的dfs.support.append属性。它决定HDFS是否支持追加(sync)功能。在hdfs-site.xml文件中配置,默认为false,将其设为true,在区域服务器崩溃时不至于数据丢失。即启用了HDFS写盘功能,在启动了该功能之后,就可以通过调用flush函数来让HDFS写进程确保对数据进行了持久化。这样就可以保证在一台区域服务器发生宕机时,我们可以通过在其它区域服务器上重
2016-09-23 14:17:40 486
原创 HBase修改内核参数设置
HBase是运行在Hadoop上的数据库,和其他数据库一样,它也要同时打开很多个文件。Linux对于一个进程可打开文件描述符的个数是有限制的。默认的限制是每个进程可以打开1024个文件。为了使HBase能够顺畅的运行,需要调高启动HBase的那个用户允许打开的文件描述符的最大个数。还需要调高nproc设置。nproc设置指定了用户可以同时启动的最大进程数量。 调整的话要调
2016-09-23 12:42:55 1295
原创 HRegionServer进程启动失败,HMaster正常
原因是各子节点时间不同步!!!使用命令:ntpdate cn.pool.ntp.org进行时间同步!若报错为:ntpdate[3779]: the NTP socket is in use, exiting。原因是系统ntpd服务器正在运行中,可以通过 ps aux | grep ntpd 查看,如果还是要手动同步时间,就必须先停止该服务。可以使用命令 service ntpd s
2016-09-22 23:18:44 739
原创 最全的hadoop2.4.1版本分布式集群高可用模式安装步骤
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA。本次安装基于hadoop-2.4.1。 注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统
2016-09-22 14:57:39 385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人