cdh客户端部署

cdh客户端部署

目录

cdh客户端部署

1. 服务器准备

2. 安装jdk1.8

3. 下载CDH的parcels包，并上传服务器

4. 下载CDH的配置文件（从已有的cdh集群），并上传服务器

5. parcels和config都准备好了，开始配置cdh客户端

6. 验证cdh客户端配置成功与否

7. 一切都ok，则说明配置成功

---

1. 服务器准备

• linux服务器CentOS7

2. 安装jdk1.8

• 基本操作，这儿就不做介绍了

3. 下载CDH的parcels包，并上传服务器

• 下载版本（这儿展示CDH6.1.0的，其他版本操作也一样的）
• cdh6.1.0 parcels下载地址,这儿建议挂代理下，否则可能有点慢，差不多1.9G

• 上传parcels包到CentOS7服务器上

mkdir -p /opt/cloudera/parcels
cd /opt/cloudera/parcels
rz 上传刚才的的parcel包
tar -zxvf CDH-6.1.0-1.cdh6.1.0.p0.770702-el6.parcel
ln -s CDH-6.1.0-1.cdh6.1.0.p0.770702 CDH

• 效果图

4. 下载CDH的配置文件（从已有的cdh集群），并上传服务器

• 下载hive-clientconfig.zip(hive配置文件中已经包含了hdfs和yarn、mapreduce的)
• 下载hbase-clientconfig.zip

5. parcels和config都准备好了，开始配置cdh客户端

• 上传hive、hbase配置文件(步骤和效果图如下)

mkdir -p /opt/cloudera/etc/
cd /opt/cloudera/etc/
rz 上传刚才的hive-clientconfig.zip和hbase-clientconfig.zip
unizp 解压

• 配置环境变量，profile文件和bashrc文件

vim /etc/profile

#java env
export JAVA_HOME=/opt/env/jdk1.8.0_144
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#python env
export PYTHON_HOME=/usr/local/python3

# hadoop env
export HADOOP_HOME=/opt/cloudera/parcels/CDH
export HADOOP_CONF_DIR=/opt/cloudera/etc/hive-conf
export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce

# hive env
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HCAT_HOME=/opt/cloudera/parcels/CDH
export HIVE_CONF_DIR=/opt/cloudera/etc/hive-conf
export HIVE_CONF=/opt/cloudera/etc/hive-conf

# hbase env
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HBASE_CONF_DIR=/opt/cloudera/etc/hbase-conf

# yarn env
export YARN_CONF_DIR=/opt/cloudera/etc/hive-conf

# spark env
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export SPARK_CONF_DIR=$SPARK_HOME/bin/spark-submit

export PATH=${PATH}:${JAVA_HOME}/bin:$PYTHON_HOME/bin:${HADOOP_CONF_DIR}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

unset HADOOP_HOME
# 不配置unset HADOOP_HOME可能报错（Cannot execute /home/hadoop/hadoop/libexec/hadoop-config.sh），重置hadoop，即可


source /etc/profile #使更改生效

vim /etc/bashrc #操作一样

6. 验证cdh客户端配置成功与否

• hdfs验证

hadoop fs -ls /

• hive验证（hive shell和beeline两种都得验证）

1）方式1
hive #进入shell
hive> showdatabases;

2）方式2
beeline -u jdbc:hive2://hiveServer2_host:10000 -n hdfs-p hdfs -e "show tables"
# hiveServer2所在机器的ip，-n是用户名 -p是密码

• hbase验证

hbase shell

list

#可以进入hbase shell，并且可以列出hbase中的表名，证明hbase客户端配置成功

• spark验证

spark-submit
#可以使用命令则说明ok了

7. 一切都ok，则说明配置成功