Hadoop数据导入导出
qq_43193797
github:https://github.com/yanjie666
展开
-
思考:数据量不大时,如何将HDFS上的数据导入到Mysql中
公司代码:outputDir=/data/jobfile/dsp-etl/data#直接将是查询后的数据保存到linux某个文件上function calculateflow(){ local data_date=$1 hive -S -e "set mapreduce.job.queuename=root.etl;SELECT t1.channel AS channel...原创 2019-06-06 16:16:13 · 822 阅读 · 0 评论 -
如何简单高效地验证清洗hdfs数据的正确性
使用spark,如图:启动spark-shell,使用spark的filter算子过滤出自己想要的数据,和源数据进行对比。在我实际工作中,遇到最后一个值90%都是0.0(这个值同时也是MR程序清洗的默认值),但是存在数据是1的情况。,如何过滤看到其他值从而判断数据清洗的正确性。...原创 2019-06-19 11:23:24 · 529 阅读 · 0 评论 -
Java中枚举类型Enum的一种使用方式
Java中枚举类型Enum的一种使用方式public enum Status { SCUUESS("1", "成功"), FAILED("2", "失败"); private String value; private String desc; public String getValue() { return value; }...原创 2019-06-19 13:20:33 · 265 阅读 · 0 评论