CDH版 Hadoop Hive Sqoop 安装

快速搭建CDH版Hadoop
1、先关闭已经启动的所有服务
2、规划目录结构
3、解压Hadoop到指定目录
4、修改三个*-env.sh配置文件，Java路径
  echo KaTeX parse error: Expected 'EOF', got '&' at position 21: …HOME 获取 Java路径 &̲nbsp;   三个… bin/hdfs namenode -format
11、启动HDFS和yarn所有进程

12、最后可以替换一下native本地库，注意使用CDH版本的，把lib下的native替换过来

快速搭建CDH版本hive
1、在HDFS上新建hive的仓库地址
$ bin/hdfs dfs -mkdir -p /user/hive/warehouse
$ bin/hdfs dfs -chmod g+w /tmp
$ bin/hdfs dfs -chmod g+w /user/hive/warehouse
2、解压hive tar -zxf /源地址  /解压地址
3、新建hive-site
在conf下 使用命令 cp hive-default.xml.template hive-site.xml
4、修改hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/opt/cdh5/hadoop-2.5.0-cdh5.3.6


# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/opt/cdh5/hive-0.13.1-cdh5.3.6/conf
5、修改hive log4j
hive.log.dir=/opt/cdh5/hive-0.13.1-cdh5.3.6/logs
6、修改hive-site
<property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://bigdata-01.yushu.com:3306/cdhmetastore?createDatabaseIfNotExist=true</value>          
        </property>


        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
        </property>


        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
        </property>


        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
        </property>


        <property>
          <name>hive.cli.print.header</name>
          <value>true</value>
        </property>


        <property>
          <name>hive.cli.print.current.db</name>
          <value>true</value>
        </property>
7、mysql链接驱动
$ cp /opt/software/mysql-connector-java-5.1.27-bin.jar lib/
8、mysql原先配置过就不用再配置了
   mysql -uroot -p123456  登陆mysql
9、启动hive
   bin/hive
10、建库
create database if not exists db_emp;

sqoop的部署和使用
1、早期就是一些MR程序组成的，进行打包jar，最后形成了sqoop单独的框架
2、sqoop的底层就是MR
3、利用MapReduce加快数据传输速度，批处理方式进行数据传输
-》充分利用了MR的并行计算的特点
4、sqoop无论是导入还是导出是没有reduce的，只有map
5、解压sqoop
6、修改/opt/cdh5/sqoop-1.4.5-cdh5.3.6/conf sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/cdh5/hadoop-2.5.0-cdh5.3.6


export HADOOP_MAPRED_HOME=/opt/cdh5/hadoop-2.5.0-cdh5.3.6


export HIVE_HOME=/opt/cdh5/hive-0.13.1-cdh5.3.6
7、将mysql驱动包放到sqoop的lib目录下
8、测试连接数据库

$ bin/sqoop list-databases -connect jdbc:mysql://bigdata-01.yushu.com:3306 -username root -password 123456

bin/sqoop \
list-tables \
--connect jdbc:mysql://bigdata-01.yushu.com:3306/metastore \
--username root \
--password 123456

文章转载自：https://blog.csdn.net/weixin_40652340/article/details/78664911