用Sqoop定时增量读取mysql数据库的数据并写入hdfs

1.创建sqoop job 数据增量导入作业
但是这种方法把密码暴露在外面，不安全

sqoop job --create myjob -- import --connect jdbc:mysql://192.168.56.1:3306/fangsou 
--username root --password root
 --table ershoufang  -m 1 
 --target-dir /home/dyw/hdfs/data/ershoufang 
 --check-column "id" 
 --incremental "append" 
 --last-value "1" --verbose 

下面使用把密码存入隐藏文件的形式，创建job
2.把密码存入隐藏文件

echo -n "12345678" >/usr/local/src/sqoop-1.4.6-cdh5.7.0/.mysql.password

3.使用文件存入密码方式创建job

sqoop job --create myjob -- import --connect jdbc:mysql://192.168.56.1:3306/fangsou
 --username root --password-file file:///usr/local/src/sqoop-1.4.6-cdh5.7.0/.mysql.password   --table ershoufang  -m 1
  --target-dir /ershoufang --check-column "id"
   --incremental "append" 
   --last-value "50" --verbose 

用linux自带的 定时器crontab来定时调度sqoop任务，以此达到sqoop定时读取mysql数据，并写入hdfs
4.创建脚本

#!/bin/bash
/usr/local/src/sqoop-1.4.6-cdh5.7.0/bin/sqoop job --exec myjob

5.创建定时任务

*/1****sh /usr/local/src/sqoop-1.4.6-cdh5.7.0/sqoop_ershoufang.sh

6.用sqoop job --show myjob查看job
7.过一分钟查看hdfs目录

hadoop fs -ls hdfs://hadoop:9000/ershoufang