Hbase集群安装前注意事项

1）  Java：（hadoop已经安装了）， 2）  Hadoop 0.20.x / Hadoop-2.x 已经正确安装（    hadoop安装参考hadoop2完全分布式最新高可靠安装文档），并且可以启动 HDFS 系统，并且需要确保hdfs能够上传和读写文件。例如： 我们上传hbase的所有xml配置文件 上传文件： 上面说明，hdfs运行正常。 3）  ssh 必须安装ssh ， sshd 也必须运行，这样Hadoop的脚本才可以远程操控其他的Hadoop和Hbase进程。ssh之间必须都打通，不用密码都可以登录。ssh打通可以参考：CentOS6.4之图解SSH无验证双向登陆配置、linux（ubuntu）无密码相互登录高可靠文档 4）  NTP：集群的时钟要保证基本的一致。稍有不一致是可以容忍的，但是很大的不一致会 造成奇怪的行为。 运行 NTP 或者其他什么东西来同步你的时间. 如果你查询的时候或者是遇到奇怪的故障，可以检查一下系统时间是否正确! 设置集群各个节点时钟：date -s “2012-02-13 14:00:00” ubuntu可以参考ubuntu ntp时间同步服务器搭建与使用 5）  ulimit 和 nproc: HBase是数据库，会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的，会导致FAQ:FAQ: Why do I see "java.io.IOException...(Too many open files)" in my logs?异常。还可能会发生这样的异常      2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: ExceptionincreateBlockOutputStream java.io.EOFException      2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient:Abandoning block blk_-6935524980745310745_1391901 所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc，如果过低会造成 OutOfMemoryError异常。 需要澄清的，这两个设置是针对操作系统的，不是Hbase本身的。有一个常见的错误是Hbase运行的用户，和设置最大值的用户不是一个用户。在Hbase启动的时候，第一行日志会现在ulimit信息，所以你最好检查一下。  6）在Ubuntu上设置ulimit 可以先查看当前用户 ulimit： ulimit -n 设置ulimit: 如果你使用的是Ubuntu,你可以这样设置: 在文件 /etc/security/limits.conf 添加一行，如: hadoop  -       nofile 32768 复制代码 可以把 hadoop 替换成你运行Hbase和Hadoop的用户。如果你用两个用户，你就需要配两个。还有配nproc hard 和 softlimits. 在文件 /etc/security/limits.conf 添加一行下面内容: hadoop soft/hard nproc 32000 复制代码 在 /etc/pam.d/common-session 加上这一行: session required  pam_limits.so 复制代码 否则在 /etc/security/limits.conf上的配置不会生效. 还有注销再登录，这些配置才能生效! --------------------------------------------------------------------------------------------------------------  下面为什么对上面设置，做一下说明： 一、在 /etc/pam.d/common-session 加上这一行: session required pam_limit.so 复制代码 那么这一行的作用是什么？ pam_limits.so模块可以使用在对一般应用程序使用的资源限制方面。如果需要在SSH服务器上对来自不同用户的ssh访问进行限制，就可以调用该模块来实现相关功能。当需要限制用户admin登录到SSH服务器时的最大连接数（防止同一个用户开启过多的登录进程），就可以在/etc/pam.d/sshd文件中增加一行对pam_limits.so模块的调用： session    required        pam_limit.so 二、在文件 /etc/security/limits.conf 添加如下两行一行， hadoop - nofile 32768 hadoop hard nproc 16384 复制代码 他们的含义分别为： hadoop  -       nofile 32768 这个的含义是什么？ hadoop最大能打开的文件数不超过65536 hadoop           hard    nproc   16384 这个的含义是什么？ hadoop用户最大能开启的进程数不超过16384 原文地址：http://www.aboutyun.com/thread-7746-1-1.html