大数据
善良的小聪哥
生活的理想就是为了理想的生活。
展开
-
flink读取kafka数据并写入HDFS
flink的官网对于写入HDFS的例子比较简单,很难跑起来,缺少更详细的描述。 目标: 本地代码flink streaming读取远程环境的kafka的数据,写入远程环境的HDFS中; 核心代码: public static void main(String[] args) throws Exception { // set up the streaming execut...原创 2019-08-15 09:49:25 · 2759 阅读 · 1 评论 -
Flink读取kafka数据并以parquet格式写入HDFS
转发请标注:https://blog.csdn.net/u012798083/article/details/85852830 大数据业务场景中,经常有一种场景:外部数据发送到kafka中,flink作为中间件消费kafka数据并进行业务处理;处理完成之后的数据可能还需要写入到数据库或者文件系统中,比如写入hdfs中;目前基于spark进行计算比较主流,需要读取hdfs上的数据,可以通过读取pa...原创 2019-08-15 09:49:03 · 4523 阅读 · 12 评论