cdh mysql sqoop 驱动_CDH商业版本的搭建（hadoop+hive+sqoop）

一：准备工作

1.步骤

1)hadoop

-》下载解压

-》修改配置文件

-》hadoop-env

JAVA_HOME

-》core-site

fs.defaultFS

hadoop.tmp.dir

-》hdfs-site

dfs.replication

permission

-》mapred-site

mapreduce.frame.work

historyserver

-》yarn-site

mapreduce-》shuffle

resourcemanager地址：0.0.0.0

日志聚集

-》yarn-env

JAVA_HOME

-》slaves

datanode/nodemanager hostname

-》格式化

bin/hdfs namenode -formatf

-》启动

2)hive

-》下载解压

-》创建数据仓库

/user/hive/warehouse

-》修改配置

-》hive-env

HADOOP_HOME

HIVE_CONF_DIR

-》log4j

-》日志目录

-》hive-site

-》连接mysql

-》数据库地址

-》连接驱动

-》用户名

-》密码

-》显示当前数据库

-》显示表头

-》把mysql连接驱动放入lib

-》启动

3)sqoop

-》解压

-》修改*env.sh

-》加载驱动

-》驱动

二：安装Hadoop

1.新建目录cdh-5.3.6,并修改权限

image

2.解压

image

3.修改/etc/profile

image

4.配置*env.sh中的JAVA_HOME

5.配置core-site.xml环境

image

6.配置hdfs-site.xml环境

image

7.配置mapred-site.xml

image

8.配置slaves

image

9.配置yarn-site.xml

image

10.格式化

image

11.启动

image

三：hive

1.解压

image

2.在HDFS上创建数据仓库并修改权限

在hadoop主目录下创建并修改权限。

image

3.启用一些配置

image

4.配置env.sh

image

5.log4j的配置

image

6.hive-site.xml的配置

image

7.加载驱动

image

8.启动hive之前mysql的内容

image

9.启动

image

10.出现新的数据库

image

四：sqoop

1.概述

用于关系型数据库与hadoop之间的数据转换。

底层是mapreduce模板，通过不同的参数，封装打包成jar，提交给yarn。

导入与导出是基于hdfs而言。

2.解压到cdh-5.3.6

3.拷贝相关的配置文件

image

4.配置sqoop.env.sh

image

5.加载驱动

image

6.简单使用

image