CentOS下sqoop安装
1.在官网找到适合 hadoop2.X 的sqoop进行下载
2.输入 mkdir /usr/local/sqoop 建立sqoop目录
3.将下载好的tar包放到该目录
4.进入该目录,输入解压命令,解压tar包
5.输入 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 修改文件名,这里不修改也可以,主要是文件名太长了,改短点好看
6.输入 vi /etc/profile 修改环境变量,加入以下内容,保存并退出
SQOOP_HOME=/usr/local/sqoop/sqoop1.4.6
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin
7.输入 . /etc/profile 使配置文件生效
8.进入sqoop的conf目录,输入 cp sqoop-env-template.sh sqoop-env.sh 复制并重命名配置文件,接着输入 vi sqoop-env.sh 修改配置文件
9.根据自己的安装目录,配置3个环境变量,具体如下,这里以hive为例,hbase就不再配置,保存并退出
export HADOOP_COMMON_HOME=/usr/local/hadoop/hadoop-2.7.3/
export HADOOP_MAPRED_HOME=/usr/local/hadoop/hadoop-2.7.3/
export HBASE_HOME=/usr/local/hbase/hbase-1.2.4/
export HIVE_HOME=/usr/local/hive/apache-hive-0.13.0-bin/
10.进入sqoop的bin目录,输入 vi configure-sqoop 修改配置
11.注释掉几个没有配置的选项,防止启动报错,保存并退出
12.将mysql的驱动jar包放到sqoop的lib目录下
13.输入 sqoop list-databases --connect jdbc:mysql://192.168.88.16:3306/ --username root --password Admin=123! 通过sqoop查看mysql数据库中的所有表,标红部门需要修改,IP和mysql数据库的密码根据自己电脑的设置进行修改
14.进入hadoop的sbin目录,输入 ./start-all.sh 启动hadoop
15.任意位置输入 hive --service metastore 开启hive数据仓库,若卡住不动如下,其实已经开启了数据仓库,直接打开另一个shell窗口操作即可(例如右键CRT的IP,点击克隆会话)
16.任意位置输入 hive cli 进入hive客户端,再输入 show tables 查看hive中的所有表
17.输入 exit; 退出hive客户端
18.任意位置输入 mysql -u root -p 进入mysql
19.输入 create database it; 创建一个名为it的库
20.输入 use it; 切换到it库
21.输入 create table spark(id int,name varchar(10)); 创建一张用于测试sqoop的表
22.输入 exit 退出mysql数据库
23.任意位置输入 sqoop import --connect jdbc:mysql://192.168.88.16:3306/it --username root --password Admin=123! --table spark --hive-import -m 1 --driver com.mysql.jdbc.Driver 将mysql的mysql库中的user表通过sqoop导入hive,注意标红位置根据自己的IP和mysql密码修改,标蓝部分为mysql的库和表
24.任意位置输入 hive cli 进入hive客户端,然后输入 show tables; 查看hive中的表,此时多出一张spark表,这是在mysql的it库中创建的spark表。成功完成了通过使用sqoop,将mysql中的表迁移到hive