sqoop mysql 安装_Sqoop安装与学习

Sqoop安装与学习

下载sqoop及mysqlconnector并解压

tar -zxvf sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz -C /opt/modules/

cp mysql-connector-java-5.1.37-bin.jar /opt/modules/sqoop-1.4.6.bin__hadoop-1.0.0/lib/

修改bin目录下 configure-sqoop 文件：

注释掉hbase和 zookeeper检查，因为目前还没有启用hbase/zookeeper等hadoop上的组件

#if [ -z "${ZOOKEEPER_HOME}" ]; then

#  if [ -d "/usr/lib/zookeeper" ]; then

#    ZOOKEEPER_HOME=/usr/lib/zookeeper

#  else

#    ZOOKEEPER_HOME=${SQOOP_HOME}/../zookeeper

#  fi

#fi

export SQOOP_HOME=/opt/modules/sqoop-1.4.6.bin__hadoop-1.0.0

export PATH=$PATH:$SQOOP_HOME/bin

环境变量生效

source /etc/profile

echo $SQOOP_HOME

cp sqoop-env-template.sh  sqoop-env.sh

修改conf配置文件sqoop-env.sh

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/opt/modules/hadoop-1.2.1

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/opt/modules/hadoop-1.2.1

#set the path to where bin/hbase is available

export HBASE_HOME=/opt/modules/hbase-0.98.15-hadoop1

#Set the path to where bin/hive is available

export HIVE_HOME=/opt/modules/hive-1.0.1

测试bin/

./sqoop list-databases --connect jdbc:mysql://192.168.192.129:3306/ --username root --password root

./sqoop list-databases --connect jdbc:mysql://10.0.119.91:3306/ --username root --password root

可以用sqoop help import 查看帮助信息

测试mysql导入HDFS：

./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table bus --m 1 --target-dir /opt/bus/sqoop

./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --fields-terminated-by ',' --m 1 --target-dir /opt/student

./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --null-string '**'  -m 1  --hive-import   #--null-string '**'当字符串为空替换为**,操作默认是追加

将mysql的表导入到hive中：

./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table bus --hive-import -m 1

./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --hive-import -m 1

将数据从关系数据库导入文件到hive表中，--query 语句使用 (可以导入hive文件目录下,也可以直接导入hive)

./sqoop import --append --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --query "select id,name,age from student where id=7 and \$CONDITIONS"  -m 1  --target-dir /user/hive/warehouse/student --fields-terminated-by "\0001";

将数据从关系数据库导入文件到hive表中，--columns  --where 语句使用

./sqoop import --append --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --columns "id,name,age"  --where "id > 3 and (age = 2 or age = 66)"  -m 1  --target-dir /user/hive/warehouse/student --fields-terminated-by "\0001";

测试mysql导入HBase

./sqoop import --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table student --hbase-create-table --hbase-table student --column-family info

qoop ##sqoop命令解释

import ##表示导入

--connect jdbc:mysql://192.168.192.129:3306/bus  ##告诉jdbc，连接mysql的url,这个bus是数据库名

--username root ##连接mysql的用户名

--password root ##连接mysql的密码

--table bus ##从mysql导出的表名称,这个bus是表名

--fields-terminated-by '\t' ##指定输出文件中的行的字段分隔符

-m 1 ##复制过程使用1个map作业

--target-dir /opt/bus/sqoop  ##导入到的HDFS目标目录

--split-by id  ##默认是主键

--default-character-set=latin1   ##字符集

--map-column-java   转换为java数据类型

--map-column-hive   转转为hive数据类型

增量导入  增量导入模式append通过指定一个递增的列

--incremental append  --check-column num_iid  --last-value 0  满足比0大的num_iid值

--incremental append  --check-column ID --last-value 8 (ID为varchar类型的递增数字)

--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00' 只导入created 比'2012-02-01 11:0:00'更大的数据。

--incremental (mode)  Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.指定如何确定哪些行。值包括追加模式和最后修改日期。

--check-column (col)  Specifies the column to be examined when determining which rows to import.指定在导入时哪个列满足某个哪个条件。

--last-value (value)  Specifies the maximum value of the check column from the previous import. 指定从先前导入的复选列的最大值

hive导入参数

--hive-home   重写$HIVE_HOME

--hive-import          插入数据到hive当中，使用hive的默认分隔符

--hive-overwrite  重写插入

--create-hive-table  建表，如果表已经存在，该操作会报错！

--hive-table [table]  设置到hive当中的表名

--hive-drop-import-delims  导入到hive时删除 \n, \r, and \01

--hive-delims-replacement  导入到hive时用自定义的字符替换掉 \n, \r, and \01

--hive-partition-key          hive分区的key

--hive-partition-value   hive分区的值

--map-column-hive           类型匹配，sql类型对应到hive类型

导入数据到hbase

导入的时候加上--hbase-table，它就会把内容导入到hbase当中，默认是用主键作为split列

也可以用--hbase-row-key来指定，列族用--column-family来指定,它不支持--direct。

如果不想手动建表或者列族，就用--hbase-create-table参数

以上的命令中后面的##部分是注释，执行的时候需要删掉；另外，命令的所有内容不能换行，只能一行才能执行。以下操作类似。

该命令执行结束后，观察hdfs的目录/user/{USER_NAME}，下面会有一个文件夹是aa，里面有个文件是part-m-00000。该文件的内容就是数据表aa的内容，字段之间是使用制表符分割的。

把数据从hdfs导出到mysql中

把上一步导入到hdfs的数据导出到mysql中。我们已知该文件有两个字段，使用制表符分隔的。那么，我们现在数据库test中创建一个数据表叫做bb，里面有两个字段。然后执行下面的命令

./sqoop export --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root --table sqoopbus --export-dir '/opt/bus1/part-m-00001' --fields-terminated-by ','

sqoop

export ##表示数据从hive复制到mysql中

--connect jdbc:mysql://192.168.192.129:3306/bus

--username root

--password root

--table sqoopbus ##mysql中的表，即将被导入的表名称  注意：sqoopbus必须存在

--export-dir '/opt/bus1/part-m-00001' ##hive中被导出的文件/HDFS中的文件

--fields-terminated-by ',' ##hive中被导出的文件字段的分隔符/HDFS中的文件字段的分隔符

命令执行完后，再去观察表bb中的数据，是不是已经存在了！

1、列出mysql数据库中的所有数据库

./sqoop list-databases --connect jdbc:mysql://192.168.192.129:3306 -username root -password root

回到顶部

2、连接mysql并列出数据库中的表

./sqoop list-tables --connect jdbc:mysql://192.168.192.129:3306/bus --username root --password root

回到顶部

3、将关系型数据的表结构复制到hive中

./sqoop create-hive-table --connect jdbc:mysql://192.168.192.129:3306/bus --table student --username root --password root --hive-table student2  --fields-terminated-by "\0001"  --lines-terminated-by "\n";

参数说明：

--fields-terminated-by "\0001"  是设置每列之间的分隔符，"\0001"是ASCII码中的1，它也是hive的默认行内分隔符，  需同创建hive表时保持一致, 而sqoop的默认行内分隔符为","

--lines-terminated-by "\n"  设置的是每行之间的分隔符，此处为换行符，也是默认的分隔符；

例子

#指定列

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--columns "employee_id,first_name,last_name,job_title"

#使用8个线程

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

-m 8

#快速模式

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--direct

#使用sequencefile作为存储方式

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--class-name com.foocorp.Employee --as-sequencefile

#分隔符

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--fields-terminated-by '\t' --lines-terminated-by '\n' \

--optionally-enclosed-by '\"'

#导入到hive

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--hive-import

#条件过滤

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--where "start_date > '2010-01-01'"

#用dept_id作为分个字段

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \

--split-by dept_id

#追加导入

$ sqoop import --connect jdbc:mysql://db.foo.com/somedb --table sometable \

--where "id > 100000" --target-dir /incremental_dataset --append

sqoop import \

--connect jdbc:mysql://mysql.example.com/sqoop \

--username sqoop \

--password sqoop \

--table visits \

--incremental lastmodified \

--check-column last_update_date \

--last-value “2013-05-22 01:01:01”

 数据库中有一列last_update_date，记录了上次修改时间；

 Sqoop仅将某时刻后的数据导入Hadoop。

参考http://www.aboutyun.com/thread-9983-1-1.html或有道云笔记