hbase sqoop 实验_SQOOP安装及使用-实验

SQOOP是用于对数据进行导入导出的。

(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中

(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

(3)导入导出的事务是以Mapper任务为单位。

1、sqoop的安装步骤

1.1、执行命令：tar -zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz解压

1.2、执行命令：mv sqoop-1.4.3.bin__hadoop-1.0.0 sqoop重命名路径

1.3、配置环境变量：并执行命令：source /etc/profile

export SQOOP_HOME=/home/hadoop/app/sqoop

export PATH=.:$SQOOP_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$JAVA_HOME/bin:$PATH

View Code

1.4、cp /home/hadoop/app/mysql-connector-java-5.1.10.jar $SQOOP_HOME/lib/

2、sqoop的使用

2.1、把数据从mysql导入到hdfs中：默认路径是/user/，注意这里的username是登录主机的用户，不是数据库的用户

sqoop ##sqoop命令

import ##表示导入

--connect jdbc:mysql://hadoop:3306/test ##告诉jdbc，连接mysql的url,其中test表示要导出数据的数据库名称

--username root ##连接mysql的用户名

--password hadoop123 ##连接mysql的密码

--table users ##从mysql导出的表名称

--fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符

--null-string '**' ##指定空值的显示为**

-m 1 ##复制过程使用1个map作业,默认为4

--append ##指定插入数据的方式

--hive-import ##把mysql表数据复制到hive中,如果不使用该选项,意味着复制到hdfs中

--check-column 'ID' ##指定增量导入要检查的字段

--incremental append ##指定增量导入数据的方式

--last-value 6 ##指定增量导入数据的分割值

View Code

2.2、把数据从hdfs导出到mysql中

sqoop

export ##表示数据从hive复制到mysql中

--connect jdbc:mysql://hadoop:3306/test

--username root

--password admin

--table users_bak ##mysql中的表，即将被导入的表名称,必须存在

--export-dir '/hive/users' ##hive中被导出的文件目录

--fields-terminated-by '\t' ##hive中被导出的文件字段的分隔符

View Code

2.3、设置为作业，运行作业

sqoop

job #表示JOB命令

--create myjob #创建的JOB名称

-- #不能省略！后面跟JOB的定义内容

import

--connect jdbc:mysql://hadoop:3306/test

--username root

--password hadoop123

--table users

--fields-terminated-by '\t'

--null-string '**'

-m 1

--append

--hive-import

View Code

查看JOB：sqoop job --list

执行JOB：sqoop job --exec myjob

删除JOB：sqoop job --delete myjob

执行后会要求输入密码注意是输入：JOB定义内容中的password 的值！

如果不想输入密码修改$SQOOP_HOME/conf/sqoop-site.xml中的参数

sqoop.metastore.client.record.password

true

If true, allow saved passwords in the metastore.

View Code