kafka
文章平均质量分 73
董可伦
博主曾获2014年全国数学建模竞赛国家一等奖;有八年大数据经验,大数据领域专家、CSDN博客专家。Apache Hudi Active Contributor,喜欢开源,擅长并乐于分享Flink、Hudi、Spark等大数据领域的技术
展开
-
Spark Streaming连接Kafka入门教程
转载请务必注明原创地址为:https://dongkelun.com/2018/05/17/sparkKafka/前言首先要安装好kafka,这里不做kafka安装的介绍,本文是Spark Streaming入门教程,只是简单的介绍如何利用spark 连接kafka,并消费数据,由于博主也是才学,所以其中代码以实现为主,可能并不是最好的实现方式。1、对应依赖根据kafka版本选...原创 2018-05-18 16:19:19 · 5261 阅读 · 1 评论 -
利用ogg实现oracle到kafka的增量数据实时同步
ogg即Oracle GoldenGate是Oracle的同步工具,本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中,其中同步消息格式为json。下面是我的源端和目标端的一些配置信息:可在这里或旧版本查询下载注意:源端和目标端的文件不一样,目标端需要下载Oracle GoldenGate for Big Data,......原创 2018-05-25 09:50:49 · 55613 阅读 · 40 评论 -
Kafka安装启动入门教程
转载请务必注明原创地址为:https://dongkelun.com/2018/05/21/kafkaConf/前言本文讲如何安装启动kafka,并进行测试,其中zookeepr是kafka自带的,本文基本按照官网文档进行安装启动的,并提出可能会出现的问题。官方文档:http://kafka.apache.org/quickstart 本文虚拟机系统:centos7,不过其他版本的Lin......原创 2018-05-22 23:39:00 · 16439 阅读 · 0 评论 -
SparkStreaming+Kafka 实现基于缓存的实时wordcount程序
转载请务必注明原创地址为:https://dongkelun.com/2018/06/14/updateStateBykeyWordCount/前言本文利用SparkStreaming和Kafka实现基于缓存的实时wordcount程序,什么意思呢,因为一般的SparkStreaming的wordcount程序比如官网上的,只能统计最新时间间隔内的每个单词的数量,而不能将历史的累加起来,本...原创 2018-06-25 09:44:58 · 1727 阅读 · 1 评论 -
spark-submit提交Spark Streamming+Kafka程序
转载请务必注明原创地址为:https://dongkelun.com/2018/06/19/sparkSubmitKafka/前言Spark Streaming本身是没有Kafka相关的jar包和API的,如果想利用Spark Streaming获取Kafka里的数据,需要自己将依赖添加SBT或Maven项目中,添加依赖更新项目之后,就可以在Eclipse等IDE里直接运行Spark St...原创 2018-06-28 17:09:31 · 3257 阅读 · 0 评论 -
Spark Streamming+Kafka提交offset实现有且仅有一次
本文讲Spark Streamming使用Direct方式读取Kafka,并在输出(存储)操作之后提交offset到Kafka里实现程序读写操作有且仅有一次,即程序重启之后之前消费并且输出过的数据不再重复消费,接着上次消费的位置继续消费Kafka里的数据。...原创 2018-07-06 16:41:05 · 7346 阅读 · 0 评论 -
通过offsets.retention.minutes设置kafka offset的过期时间
本文记录博主如何设置kafka的offset过期时间并测试其效果。原创 2018-07-06 16:43:58 · 9040 阅读 · 0 评论 -
SparkStreaming+Kafka 实现统计基于缓存的实时uv
转载请务必注明原创地址为:https://dongkelun.com/2018/06/25/KafkaUV/前言本文利用SparkStreaming+Kafka实现实时的统计uv,即独立访客,一个用户一天内访问多次算一次,这个看起来要对用户去重,其实只要按照WordCount的思路,最后输出key的数量即可,所以可以利用SparkStreaming+Kafka 实现基于缓存的实时wordc...原创 2018-07-06 16:45:20 · 4429 阅读 · 1 评论