sqoop建表_sqoop使用详解

1、sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；

导出数据：从Hadoop的文件系统中导出数据到关系数据库

2、将导入或导出命令翻译成mapreduce程序来实现

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3、解压压缩包，修改启动脚本

$ cd $SQOOP_HOME/conf

$ mv sqoop-env-template.sh sqoop-env.sh

打开sqoop-env.sh并编辑下面几行：

export HADOOP_COMMON_HOME=/soft/hadoop/export HADOOP_MAPRED_HOME=/soft/hadoop/export HIVE_HOME=/soft/hive

4、环境 sudo nano /etc/profile

export SQOOP_HOME=/soft/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/

$ cd $SQOOP_HOME/bin

$ sqoop-version

5、建表

create databaseuserdb;grant all privileges on userdb.* to 'sqoop'@'%' identified by 'sqoop';grant all privilege