sqoop 安装及简单使用

sqoop 安装

1. 下载安装包

下载地址: http://mirrors.hust.edu.cn/apache/sqoop/

2.解压

命令: tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3.修改名字

命令:mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4

4.配置环境变量

命令: vi /etc/profile

使配置文件生效,命令: source /etc/profile

5.找一个mysql jar包(如果配置过hive,hive下的lib里就有),复制到sqoop的lib目录下

命令: cp mysql-connector-java-5.1.43.jar /home/bigdata/sqoop-1.4/lib/

如图所示,sqoop的lib目录下有了mysql jar包

6.进入sqoop的conf目录下,复制 sqoop-env-template.sh,取名为 sqoop-env.sh

配置 sqoop-env.sh

export HADOOP_COMMON_HOME=/home/bigdata/hadoop-2.6.0
export HADOOP_MAPRED_HOME=/home/bigdata/hadoop-2.6.0
export HBASE_HOME=/home/bigdata/hbase-1.1.2
export HIVE_HOME=/home/bigdata/hive-1.2
export ZOOCFGDIR=/home/bigdata/zookeeper

输入 sqoop version,出现以下页面,表示安装成功

sqoop的简单使用

a.列出mysql数据库中的所有数据库

sqoop list-databases -connect jdbc:mysql://tt-hadoop1:3306 -username root -password root

b.列出数据库yun中的所有数据表

sqoop list-tables -connect jdbc:mysql:///yun -username root -password root

c.执行SQL语句(查询库yun下user表的所有信息)

sqoop eval -connect jdbc:mysql:///yun -username root -password root -query 'select * from user'