尝试了安装了一次HBASE,也学到了一点东西,记录下来
1)、增加hbase用户可以操作的文件和进程的最大数
网上看了教程,发现好多说BASE数据库会用到好多文件,需要配置一下LINUX用户的文件和进程限制。先按照网上的方法进行了配置,如下
切换到root用户
vi etc/security/limits.conf
在最后面加上
hadoop - nproc 32000
hadoop - nofile 32768
然后
vi /etc/pam.d/login
在后面加上
session required pam_limits.so
重新用hadoop用户登录,输入命令
ulimit -a
可以看到
open files (-n) 32768
max user processes (-u) 32000
可以打开的文件数和进程数已经变大
----以上文件和配置的具体含义可以查看http://blog.csdn.net/huayu0815/article/details/9090891
2)、增加Hadoop HDFS Datanode处理文件的上限
一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers,需要增加它的数目,至少要4096
vi conf/hdfs-site.xml
增加配置
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
每个DataNode都配置上,配好后,重启hadoop。
3)、安装HBASE
下载hbase,我用的是hadoop-0.20.0和hbase-0.90.5
解压到自己指定的目录
1.配置conf/hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HBASE_MANAGES_ZK=true
export HBASE_HEAPSIZE=1024
HBASE喜欢内存,#The maximum amount of heap to use
还是让HBASE_HEAPSIZE大一些
一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。这个集群会随着Hbase的启动而启动。当然,你也可以自己管理一个zookeeper集群,但需要配置Hbase。你需要修改conf/hbase-env.sh
里面的HBASE_MANAGES_ZK
来切换。这个值默认是true的,作用是让Hbase启动的时候同时也启动zookeeper.
让Hbase使用一个现有的不被Hbase托管的Zookeep集群,需要设置 conf/hbase-env.sh
文件中的HBASE_MANAGES_ZK
属性为 false
2.修改conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop0:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
</property>
</configuration>
hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的'/hbase'目录,namenode 运行在hadoop0的9000端口。则需要设置为hdfs://hadoop0:9000/hbase。默认情况下Hbase是写到/tmp的。不改这个配置,数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase
hbase.cluster.distributed :Hbase的运行模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。默认: false
在hbase-site.xml配置zookeeper:
当Hbase管理zookeeper的时候,你可以通过修改zoo.cfg来配置zookeeper,
一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。
对于zookeepr的配置,你至少要在 hbase-site.xml中列出zookeepr的ensemble servers,具体的字段是 hbase.zookeeper.quorum. 该这个字段的默认值是 localhost,这个值对于分布式应用显然是不可以的. (远程连接无法使用)。
hbase.zookeeper.property.clientPort:ZooKeeper的zoo.conf中的配置。 客户端连接的端口。
hbase.zookeeper.quorum:Zookeeper集群的地址列表,用逗号分割。例如:"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK,这些ZooKeeper节点就会和Hbase一起启动。
默认: localhost
运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就越高,当然只能部署奇数个,偶数个是不可以的。你需要给每个zookeeper 1G左右的内存,如果可能的话,最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重,不要把Zookeeper和RegionServer运行在同一台机器上面。就像DataNodes 和 TaskTrackers一样
hbase.zookeeper.property.dataDir:ZooKeeper的zoo.conf中的配置。 快照的存储位置
把ZooKeeper保存数据的目录地址改掉。默认值是 /tmp ,这里在重启的时候会被操作系统删掉,可以把它修改到 /home/hadoop/zookeeper (这个路径hadoop用户拥有操作权限)
对于独立的Zookeeper,要指明Zookeeper的host和端口。可以在 hbase-site.xml中设置, 也可以在Hbase的CLASSPATH下面加一个zoo.cfg配置文件。 HBase 会优先加载 zoo.cfg 里面的配置,把hbase-site.xml里面的覆盖掉.
3.配置conf/regionservers
类似hadoop的slaves文件的配置,一行一个节点,即hbase开启regionserver服务的节点
4)、将hbase配置到环境变量里边
vi .bash_profile
HBASE_HOME=……
PATH=$HBASE_HOME/bin:$PATH
5)、测试
输入start-hbase.sh
输入jps
发现没有网上说的master上多出hmaster进程
网上查了一下,是HBSE依赖HADOOP,在HBASE的lib里边有一个打过补丁的hadoop.jar,出现了版本冲突
解决办法:
从hadoop_home/下面cp一个hadoop/hadoop-core-0.20.203.0.jar到hbase_home/lib下。
再次执行jps.发现在主节点上会加一个HMaster的进程
但是发现有个slave节点没有HRegionServer进程
看了日志及网上查找,发现是slave节点的时间和master上的时间相差太大引起的,默认是不能相差超过3000MS。
修改了各个节点的时间,好了,OK了,slave节点会增加对应的HRegionServer进程,配了zookeeper的节点会添加HQuorumPeer进程
(对于时间同步,网上看了,有个NTP的东西可以同步服务器时间,这个之后有时间了再看吧,先练习一下hbase的基本用法再说)