hbase新增DataNode、RegionServer节点操作记录
由于客户现场服务器问题,新增DataNode、RegionSercer是在master所在服务器上安装
一:安装DataNode
(1):安装组件
yum install avro-libs
yum install bigtop-utils
yum install parquet-format --nodeps
yum install parquet --nodeps
yum install zookeeper
yum install hadoop
yum install bigtop-jsvc
yum install hadoop-hdfs
yum install hadoop-hdfs-datanode
(2):创建目录
mkdir -p /opt/appdata/hadoop/dn
chown -R hdfs:hdfs /opt/appdata/hadoop/dn
chmod 700 /opt/appdata/hadoop/dn
(3):创建配置文件
cp -r /etc/hadoop/conf.empty /etc/hadoop/conf.pro
alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.pro 50
alternatives --set hadoop-conf /etc/hadoop/conf.pro
(4):配置JAVA_HOME
vi /etc/hadoop/conf/hadoop-env.sh
增加下列内容并保存:
export JAVA_HOME=/opt/founder/jdk1.8.0_65(修改成实际路径)
(5):修改配置文件
vi /etc/hadoop/conf/core-site.xml
在<configuration>节点中增加下列内容并保存:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
vi /etc/hadoop/conf/hdfs-site.xml
在<configuration>节点中增加下列内容并保存:
<property>
<name>dfs.permissions.superusergroup</name>
<value>hadoop</value>
</property>
<property>
<name> dfs.datanode.data.dir</name>
<value>file:///opt/appdata/hadoop/dn</value>
</property>
<property>
<name> dfs.datanode.fsdataset.volume.choosing.policy</name>
<value> org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>
(6):启动与停止DataNode
以hadoop用户启动与停止:
启动:sudo systemctl start hadoop-hdfs-datanode
停止:sudo systemctl stop hadoop-hdfs-datanode
查询状态:sudo systemctl status hadoop-hdfs-datanode
通过地址http://master的ip:50070可以查看DataNode的相关信息
二:配置HBase RegionServer服务器
(1):安装组件
yum install hbase-regionserver
(2):创建目录
mkdir -p /opt/appdata/hbase/tmp
mkdir -p /opt/appdata/hbase/staging
sudo chown -R hbase /opt/appdata/hbase
hdfs dfs -mkdir /hbase (切换为hadoop用户)
hdfs dfs -chown hbase:hbase /hbase (切换为hadoop用户)
(3):创建配置文件
cp -r /etc/hbase/conf.dist /etc/hbase/conf.pro
alternatives --install /etc/hbase/conf hbase-conf /etc/hbase/conf.pro 50
alternatives --set hbase-conf /etc/hbase/conf.pro
(4):配置环境变量
vi /etc/hbase/conf/hbase-env.sh
增加下列内容并保存:
export JAVA_HOME=/opt/founder/jdk1.8.0_65(修改为实际路径)
(5):修改配置文件:
vi /etc/hbase/conf/hbase-site.xml
在<configuration>节点中增加下列内容并保存:
<property>
<name>hbase.tmp.dir</name>
<value>/opt/appdata/hbase/tmp</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:8020/hbase</value>
</property>
<property>
<name>hbase.fs.tmp.dir</name>
<value>/opt/appdata/hbase/staging</value>
</property>
<property>
<name> hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name> hbase.zookeeper.quorum</name>
<value>master:2181</value>s
</property>
(6):以hadoop用户启动与停止RegionServer
启动:sudo systemctl start hbase-regionserver
停止:sudo systemctl stop hbase-regionserver
查询状态:sudo systemctl status hbase-regionserver
通过地址http://master的ip:60010可以查看RegionServer的相关信息
切换至hadoop用户,执行 sudo -u hdfs hdfs balancer命令,以实现数据平衡。