![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
文章平均质量分 70
cigg153
大数据开发
展开
-
从源码看flume采集的数据是如何进入到kafka主题的同一分区
00 背景 在实际开发过程中,会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景,为消费者消费数据提供便利,例如,同一会员的消费信息、浏览信息等等。 此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区,并且希望能够在为类似需求场景提供解决方案的时候,提供可复制的思路,起到举一反三的效果。 01 工具 flume官网 flume源码 kafka集群 flume 0...原创 2018-10-07 16:04:48 · 1752 阅读 · 0 评论 -
Spark算子常规训练一
应用场景一:统计单词总长度,以及类似场景 /** * * 统计单词总长度,以及类似场景 * map应用 * * @author ccc */ public class HelloWorldMap implements Serializable { public static void main(String[] args) { SparkConf sparkC...原创 2018-10-25 23:38:41 · 258 阅读 · 0 评论 -
实时计算组件-flink本地开发环境搭建
本篇记录搭建flink本地开发环境的过程,使用的flink版本为1.5。 00 下载安装、启动 一、JDK版本要求 想要运行flink,JDK版本需要是JDK8+,如果版本低于8,需要进行升级噢。 二、下载安装、启动 从下载页面下载一个二进制文件,根据自己的实际情况,选择Hadoop/Scala组合版本。如果是使用本地文件系统的话,选择任何Hadoop版本都可以。 1.点击flink版本查看fl...原创 2018-11-25 13:41:53 · 7273 阅读 · 1 评论