sqoop的安装部署与使用

sqoop的安装部署与使用

下载:

wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压:

tar -zxvfsqoop 1.4

进入conf目录

cp  sqoop-env-template.sh  sqoop-env.sh

vi sqoop-env.sh设置以下配置项：

#Set pathto where bin/hadoop is available

exportHADOOP_COMMON_HOME=/usr/local/hadoop/

#Set pathto where hadoop-*-core.jar is available

exportHADOOP_MAPRED_HOME=/usr/local/hadoop

#Set thepath to where bin/hive is available

exportHIVE_HOME=/usr/local/hive

 

把JDBC连接包(mysql-connector-java-5.1.32-bin.jar ) 放到sqoop的 lib目录下即可

1.mysql数据导入到hdfs

./sqoop import --connectjdbc:mysql://192.168.21.19:3306/hive --username root --password root --tableTBLS --fields-terminated-by '\t' -m 1;

2.mysql导入hive

Sqoop默认的会将NULL值以string类型导入，在Hive中默认是使用\N表示NULL。这会导致，在Hive中执行查询的使用(likeIS NULL)不起作用。你可以使用 --null-strin