通过sqoop 导入导出

Hive-mysql

./sqoop export

--connect jdbc:mysql://ip地址:3306/库 \

--username root \

--passwrd 123456 \

--table 表名 \

--export-dir /hive路径  \

--fields-terminated-by ‘,’

 

 

2.mysql-hdfs

./sqoop import \

--connect jdbc:mysql://ip地址 \

--username root \

--passowrd 123456 \

--table 表 \

--target-dir /hdfs路径 \（必须是新的地址）

--m 1

 

 

3.mysql-hive

./sqoop import \

--connect jdbc:mysql://ip地址 \

--username root \

--password 123456 \

--table 表 \

--fields-terminated-by ‘,’ \

--delete-target-dir \

--num-mappers 1 \

--hive-import \

--hive-database 库 \

--hive-table 表

 

如果出现：FAILED: SemanticException [Error 10072]: Database does not exist: hive 报错

则把hive/conf  hive-site.xml 文件复制到sqoop/conf

cp hive/conf/hive-site.xml /sqoop/conf

2. 21/05/31 13:29:55 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

21/05/31 13:29:55 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

     at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)

如果出现以上报错

则把文件配置里添加以下内容

export HADOOP_CLASSPATH=/usr/local/src/hadoop/lib

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/src/hive/lib/*

export HIVE_CONF_DIR=$HIVE_HOME/conf:$PATH

export PATH=$HIVE_HOME/bin:$PATH