工作测试文章

#启动flume日志采集系统
#下面启动agent代理：
flume-ng agent -n a1 -f source_avro-sink_hdfs.properties
#启动avro-client客户端向agent代理发送数据：
flume-ng avro-client -H localhost -p 44444 -F log
hadoop fs -rmr srcData
hadoop fs -mkdir srcData
hadoop fs -put ConsumerDetails.csv srcData
#数据清洗
#输出结果在hdfs里面的tmpResult_1中
hadoop fs -rmr tmpResult_1
pig handle_1.pig
#商品关联map/reduce实现
#输出结果在hdfs里面的tmpResult_2中
hadoop fs -rmr tmpResult_2
hadoop fs -rmr tmpResult_1/_SUCCESS
hadoop fs -rmr tmpResult_1/_logs
hadoop jar goods.jar goods.GoodHandle_2 tmpResult_1 tmpResult_2
#hadoop fs -rmr tmpResult_1
hadoop fs -rmr tmpResult_2/_SUCCESS
hadoop fs -rmr tmpResult_2/_logs
hadoop fs -rmr finallResult
pig handle_2.pig
rm -rf part-r-00000
hadoop fs -get finallResult/part-r-00000 ./
rm -rf result
mv part-r-00000 result
#hadoop fs -rmr finallResult
#把hdfs里面的数据导入到mysql数据库（'\t'表示以tab作为分隔符）
sqoop export --connect jdbc:mysql://192.168.8.22:3306/test?characterEncoding\=UTF-8 --username root --password '' --table goods --export-dir finallResult/part-r-00000 --fields-terminated-by '\t'