Spark安装:
1、使用hadoop账户登录
2、在相应的软件包中修改regionservers,hbase-site.xml,hbase-env.sh这些配置文件
修改方式如下:
Regionservers中加入regionserver 的节点信息:
##此文件中为所有的regionserver 节点,一般添加所有的datanode 即可, 每个一行
hbase-site.xml中修改如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop001,hadoop002,hadoop003</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<property>
<name>hbase.regionserver.handler.count</name>
<value>40</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>hbase.hregion.max.filesize</name>
<value>2147483648</value>
</property>
<property>
<name>hbase.regionserver.lease.period</name>
<value>240000</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>300000</value>
</property>
<property>
<name>dfs.socket.timeout</name>
<value>180000</value>
</property>
<property>
<name>dfs.datanode.socket.write.timeout</name>
<value>0</value>
</property>
<property>
<name>hbase.hregion.majorcompaction</name>
<value>0</value>
</property>
</configuration>
hbase-env.sh中修改:
export JAVA_HOME=……/core/jdk
export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
#内存设置需要视情况而定
export HBASE_LOG_DIR=${……}/logs/hbase
export HBASE_PID_DIR=${……}/tmp
export HBASE_MANAGES_ZK=false
3、启动:
#在所有regionserver 角色上执行
/……/hbase/bin/hbase-daemon.sh start regionserver
#在需要登陆的客户端上执行
/……/hbase/bin/hbase-daemon.sh start master