sqoop安装

[b]1.安装：[/b]
1.1:下载： http://mirrors.cnnic.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.2:解压：tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
1.3:重命名：mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop1.4.4
[b]2.配置环境变量[/b]
2.1：
#sqoop1.4.4
export SQOOP_HOME=/opt/program/sqoop1.4.4
export PATH=$SQOOP_HOME/bin:$PATH
2.2.添加MySQL-connect-java.*.jar包[
把MySQL连接包放到sqoop的lib下
[b]3 修改SQOOP的文件sqoop1.44/bin/configure-sqoop，注释掉hbase和zookeeper检查（除非你准备使用HABASE等HADOOP上的组件）[/b]
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
还有其他HBASE和ZOOKEEPER的部分也需要注释掉。
[b].在使用sqoop之前需要首先启动hadoop[/b]
[b]4.常用的sqoop命令：[/b]
[b]4.1列出mysql数据库中的所有数据库[/b]
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root -- password 123456
[b]4.2连接mysql并列出数据库中的表[/b]
sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
[b]4.3将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去。[/b]
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table sqoop_test --username root --password 123456 --hive-table test
其中 --table sqoop_test为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
[b]4.4从关系数据库导入文件到hive中[/b]
sqoop import --connect jdbc:mysql://localhost:3306/zxtest --username root --password 123456 --table sqoop_test --hive-import --hive-table s_test -m 1 --fields-terminated-by ",";
[b]4.5将hive中的表数据导入到mysql中,在进行导入之前，mysql中的表hive_test必须已经提起创建好了。[/b]
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username cxqmysql --password cxq123 --table t1 --hive-import --hive-table t1 -m 1
[b]4.6从数据库导出表的数据到HDFS上文件[/b]
sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username root --password 123456 --table hive_test -m 1