sqoop详细例子-按天定时把postgresql数据库中的数据导出到hdfs

环境信息：

sqoop 1.4.6

使用需求：

每天凌晨00:30按天把postgresql数据库中的数据导出到hdfs，并按年月日分级分目录存储

详细描述：

首先先写好sqoop脚本，在配置定时任务

sqoop脚本：

#!/bin/bash
source /etc/profile
today=$(date +%Y-%m-%d\ 00:00:00)
preday=$(date -d yesterday +%Y-%m-%d\ 00:00:00)
year=$(date -d yesterday +%Y)
month=$(date -d yesterday +%m)
day=$(date -d yesterday +%d)
filename1="/marinetraffic/voyage/$year/$month/$day"
filename2="/marinetraffic/position/$year/$month/$day"
echo "start-sqoop-voyage"
sqoop import --connect jdbc:mysql://192.168.10.43/haixinyuan --username root --password root --table vessel_voyage_history --compress --compression-codec gzip --where "send_time < '$today' and send_time >= '$preday'" --fields-terminated-by '\t' --target-dir $filename1 -m 1 &&
echo "done $preday"-"$today" &&
echo "start-sqoop-position" &&
sqoop import --connect jdbc:mysql://192.168.10.43/haixinyuan --username root --password root --table vessel_position --compress --compression-codec gzip --where "send_time < '$today' and send_time >= '$preday'" --fields-terminated-by '\t' --target-dir $filename2 -m 1 &&
echo "done $preday"-"$today"

解释：

第1行是刷新环境变量，使得在脚本中可以直接使用sqoop命令

第2，3行是获取当天零点和前一天零点的时间，用来在sqoop命令中拼接where条件获取指定数据

第4,5,6行是获取年月日信息用以拼接hdfs存储路径

第7,8行是拼接hdfs的存储路径

第10,13行是针对两个不同的表生成两个sqoop任务，参数配置请参照官网相关信息

配置完成后保存成sqoop.sh，赋给755权限

定时任务：

通过linux自带的crontab来设置

执行crontab -e进行配置

30 00 * * * /root/sqoop.sh > /root/sqoop.txt

该配置的意思是每天00:30分执行sqoop.sh脚本，并将执行结果追加到sqoop.txt上，其中sqoop.sh以及sqoop.txt相关的路径根据实际情况进行配置即可

保存后即可以定时执行