
Hadoop数据导入导出
qq_43193797
github:https://github.com/yanjie666
展开
-
思考:数据量不大时,如何将HDFS上的数据导入到Mysql中
公司代码: outputDir=/data/jobfile/dsp-etl/data #直接将是查询后的数据保存到linux某个文件上 function calculateflow() { local data_date=$1 hive -S -e " set mapreduce.job.queuename=root.etl; SELECT t1.channel AS channel ...原创 2019-06-06 16:16:13 · 860 阅读 · 0 评论 -
如何简单高效地验证清洗hdfs数据的正确性
使用spark,如图:启动spark-shell,使用spark的filter算子过滤出自己想要的数据,和源数据进行对比。 在我实际工作中,遇到最后一个值90%都是0.0(这个值同时也是MR程序清洗的默认值),但是存在数据是1的情况。,如何过滤看到其他值从而判断数据清洗的正确性。 ...原创 2019-06-19 11:23:24 · 565 阅读 · 0 评论 -
Java中枚举类型Enum的一种使用方式
Java中枚举类型Enum的一种使用方式 public enum Status { SCUUESS("1", "成功"), FAILED("2", "失败"); private String value; private String desc; public String getValue() { return value; } ...原创 2019-06-19 13:20:33 · 314 阅读 · 0 评论