sqoop配置与简单应用

Sqoop = SQL- to-Hadoop，是易用、并行的导入导出工具。

一. 安装

1.1 安装并设置环境变量
解压缩，重命名为sqoop

sudo gedit /etc/profile

文末添加安装路径，别忘了source一下

export SQOOP_HOME=/home/hduser/sqoop
export PATH=$SQOOP_HOME/bin:$PATH

1.2 修改配置文件sqoop-env.sh

mv  sqoop-env-template.sh  sqoop-env.sh

配置文件内容

export HADOOP_COMMON_HOME=/home/hduser/hadoop-2.2.0
export HADOOP_MAPRED_HOME=/home/hduser/hadoop-2.2.0
export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/home/hduser/hive
export ZOOCFGDIR=/usr/local/zk

1.3 将JDBC驱动复制到sqoop的lib目录
mysql的jdbc驱动mysql-connector-java-5.1.10.jar复制到sqoop项目的lib目录下

1.4 启动Hadoop集群

start-all.sh

---

二 . sqoop 小实例

2.1 Sqoop入门－使用方法
用法: sqoop COMMAND [ARGS]
支持的指令(command):

        codegen             生成关系数据库表映射的Java文件
        create-hive-table   生成与关系数据库对应的 Hive表
        export              导出hdfs目录到关系数据库中
        import              导入关系数据库表到HDFS
        import-all-tables   导入关系数据库所有表到HDFS
        list-databases      显示关系数据库所有的数据库
        list-tables         显示关系数据库所有的表  
        eval                执行SQL并显示结果
        version             显示版本信息

2.2 Mysql到Hive–初始化mysql数据库

mysql -uroot -p

create database study;
use study;
create table table1 (id int,name varchar(