sqoop:
1.配置
配置conf/sqoop-env-templete.sh,修改 HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME、HIVE_HOME、HBASE_HOME
拷贝相应的jdbc驱动:例如,如果是mysql,则将mysqljdbc驱动拷贝到lib/
也可以直接配置HADOOP_HOME 这样 会根据hadoop_home寻找 HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME
2.import导出数据到hdfs
./sqoop import --connect jdbc:mysql://192.168.249.133:3306/test --username root --password 123456 --table test --input-fields-terminated-by ',' --lines-terminated-by '\n' --warehouse-dir /sqoop -m 1
通过select语句指定特定的输出目录:
./sqoop import --connect jdbc:mysql://192.168.249.133:3306/test --username root --password 123456 --input-fields-terminated-by ',' --lines-terminated-by '\n' --target-dir /sqoop/test1 --query 'select *from test where id>2 and $CONDITIONS ;' -m 1
通过where指定查找条件:
./sqoop import --connect jdbc:mysql://192.168.249.133:3306/test --user