kafka source、memory channel、hdfs sink
a1.channels=c1
a1.sinks=k1
a1.sinks.k1.type=hdfs
s1.sinks.k1.channel=c1
s1.sinks.k1.hdfs.path=/user/hive/warehouse/ods.db/ods_flow_ph/dt=%Y-%m-%d/
hdfs.codeC=lzo #设置压缩方式为lzo压缩
#设置滚动方式,共三种
hdfs.rollInterval=120
hdfs.rollSize=110M
hdfs.rollCount=110000
说明:kafka一天数据如果是1亿条,每条1kb,一天约100G,每秒约1M,128M为120s
滚动的话满足任一条件即可滚动,但是如果设置为128M滚动一次,如果上次是127.9M此时,未满足128M不滚动,但是下次数据来了之后会使数据超过128M,滚动为2块,所以设置的值应该小于128M.
写一个怎么配置的,还有怎么配置拦截器