八、sqoop安装

1.解压

 2.改名

3.修改配置文件

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop

export HBASE_HOME=/usr/local/hbase

export HIVE_HOME=/usr/local/hive

4.修改环境变量

 export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin 

5.配置MySQL连接

 6.启动MySQL

7.连接MySQL

sqoop list-databases --connect jdbc:mysql://master:3306 --username root --password 123456

8.使用sqoop完成MySQL和hdfs的数据互导

1.进入MySQL

 2.创建test数据库

3.进入test数据库

4.创建test1表

create table test1(
    -> ip varchar(100) not null,
    -> time varchar(100) not null,
    -> url varchar(100) not null);

5.插入数据

insert into test1 value('127.100.0.1','18:20','www.baidu.com');

 6.上传数据到hdfs

sqoop import --connect jdbc:mysql://localhost:3306/test --username root -P --table test1 -m 1

7.说明上传成功

8.可以在浏览器上访问HDFS网页查看是否上传成功（网址：localhost:50070）

9.在hdfs查看数据

hdfs dfs -text /user/root/test1/part-m-00000

10.回到MySQL，创建text2

11.可以看到test2是空的

12.用sqoop 将hdfs上的数据传入MySQL

sqoop export --connect jdbc:mysql://localhost:3306/test --username root -P --table test2 --export-dir /user/root/test1/part-m-00000  -m 1

13.上传成功

14.回到MySQL查询