Linux下Sqoop 的安装及job的使用

 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本实验学习Sqoop的安装和使用，版本是1.4.6。

目录

一、安装sqoop

1、下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz、解压（至app）​编辑

2、配置环境变量SQOOP_HOME和PATH并source

3、将$SQOOP_HOME/conf下的sqoop-env-template.sh复制一份命名为sqoop-env.sh（cp）

​编辑

4、把mysql驱动添加到$SQOOP_HOME/lib下

5、测试与mysql的连接

 二、sqoop job的使用

 1、创建job

 2、查看job

 3、查看全部

 4、执行job

 5、删除job

---

一、安装sqoop

1、下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz、解压（至app）

tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C ../app

目录名太长，改名为sqoop-1.4.6（mv）

 

2、配置环境变量SQOOP_HOME和PATH并source

3、将$SQOOP_HOME/conf下的sqoop-env-template.sh复制一份命名为sqoop-env.sh（cp）

编辑以下内容（这4个属性已经存在，把前面#号去掉，设置对应值，可从.bash_profile 中拷贝）

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.7.1
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.7.1
#set the path to where bin/hbase is available
export HBASE_HOME=/home/hadoop/app/hbase-1.1.5
#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/app/apache-hive-1.2.1-bin

 4、把mysql驱动添加到$SQOOP_HOME/lib下

5、测试与mysql的连接

首先启动mysql服务，在前面实验中我们已经把mysql服务设置为开机启动。通过systemctl status mariadb.service可以查看

然后输入以下命令

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --P

输入mysql 用户root的密码root，能看到mysql下数据库信息就成功了。

 二、sqoop job的使用

 1、创建job

创建job前先建立隐藏密码文件.mysql.password(该文件路径及名字任意，以.打头是隐藏文件，将密码暴露在外面不安全)

echo -n "root" > .mysql.password

（密码为root）

注意用上面命令写入密码，不能直接在文件中输入。

然后创建job

sqoop job --create job1 
-- import 
--connect jdbc:mysql://localhost:3306/test 
--username root --password-file file:/home/hadoop/.mysql.password 
--table t1 --target-dir /sqoop/t1 
--driver com.mysql.jdbc.Driver -m 1 --check-column id --incremental append --last-value 0--verbose

 注意--和import之间有一个空格，--verbose含义是打印命令运行时的详细信息。

2、查看job

sqoop job –show job1

 3、查看全部

sqoop job –list

 4、执行job

sqoop job --exec myjob

5、删除job

sqoop job --delete myjob

---

本篇文章仅是对自己大数据计算框架作业的一次总结，其中安装包及驱动并未提供，如有需要请私信。