![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
风是外衣衣衣
这个作者很懒,什么都没留下…
展开
-
SparkStreaming整合KafkaCDH6.3.2版本(Offset保存在zookeeper上,Spark2.4 + kafka0.10.X)
依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target>转载 2020-08-25 11:41:43 · 549 阅读 · 0 评论 -
streaming读取kafka数据再保存到es7.7.0代码及踩过的坑
代码 import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.st原创 2020-05-26 10:58:13 · 481 阅读 · 0 评论 -
kafka详解
转载请注明出处 : http://blog.csdn.net/suifeng3051/article/details/480539651.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消...转载 2018-03-11 19:26:56 · 216 阅读 · 0 评论 -
kafka 容器报内存不足异常(failed; error='Cannot allocate memory' (errno=12))
原路径https://blog.csdn.net/womenrendeme/article/details/76855490 异常: OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory'...转载 2018-08-02 17:18:54 · 1249 阅读 · 2 评论