利用sqoop将hive和MySQL数据互导入

1.    hadoop、hive、MySQL安装（略）启动hadoop

执行start-all.sh start-dfs.sh start-yarn.sh

2.    下载sqoop

#wget http://www.apache.org/dyn/closer.lua/sqoop/1.4.6

3.    解压

#tar -zxvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

4.    建立软连接

#ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop

5.    加执行文件路径

#export PATH=$PATH:/home/grid/sqoop/bin

6.    把MySQL Java链接器的jar文件拷贝到sqoop的lib目录下

连接器mysql-connector-java-5.1.35-bin.jar的下载地址：http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35.tar.gz将其解压后找到mysql-connector-java-5.1.35-bin.jar

(注意：连接器的版本最低为5.1.35)

#cpmysql-connector-java-5.1.3-bin.jar /etc/yum.repos.d/sqoop/lib/(sqoop的所在的目录)

 

 

 

 

7.    测试

（1）   列出mysql数据库中的所有数据库

#sqooplist-databases --connect jdbc:mysql://192.168.56.104:3306?useSSL=false--username root --password 123456  （其中192.168.56.104位主机ip，root为MySQL数据库用户名、123456位密码（我的MySQL数据库名与密码为hive，hive其他的会出现权限问题））

（2）     连接MySQL并列出数据库中的表

#sqoop list-tables --connect jdbc:mysql://192.168.56.104:3306/test?useSSL=false--username root --password 123456（test为数据库名）

（3）     将MySQL的test.t1（数据库test中的t1表）表结构复制到Hive的test库中，表名为mysql_t1

#sqoop create-hive-table --connectjdbc:mysql://192.168.56.104:3306/test?useSSL=false --table t1 --username root--password 123456 --hive-table test.mysql_t1 （test.mysql_t1为Hive数据库中test数据库中的mysql_t1表）

注：该命令可以多次执行不报错

（4）     将MySQL表的数据导入到hive中

追加数据

#sqoop import --connect jdbc:mysql://192.168.56.104:3306/test?useSSL=false--username root --password 123456 --table t1 --hive-import --hive-tabletest.mysql_t1

（5）     将Hive表的数据导入到MySQL中

#sqoop export --connectjdbc:mysql://192.168.56.104:3306/test?useSSL=false --username root --password123456 --table t2 --export-dir /user/hive/warehouse/test.db/mysql_t1  （注意主键中数据不可以重复）

注意：若出现Output directory hdfs://SparkMaster:9000/user/root/uk already exists的错误时，

解决方案：先把HDFS中的输出目录干掉

#hadoopfs -ls -R (可查看目录)

#hadoopfs -rmr output  (删除多余的输出文件例如错误提示中所提到已经存在的文件)

MapReduce执行是不允许输出目录存在的，自动创建！

参考：http://blog.csdn.net/wzy0623/article/details/50921702

            https://www.cnblogs.com/wrencai/p/3908533.html