SparkStreaming
文章平均质量分 80
子秦1117
大数据学员,软件功能测试人员
展开
-
开发SparkStreaming消费Kafka的应用要注意OutOfMemoryError
这里写自定义目录标题遇到的问题新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入遇到的问题其他部门的同事开发了一个SparkStreaming消费Kafka数据的应用,运行了一个多月后,不能消费数据了,但是应用在Yarn上原创 2021-03-07 23:38:26 · 276 阅读 · 1 评论 -
CDH集成Kafka时配置的版本问题
CDH集成Kafka时配置的版本问题问题原因解决方法问题当提交使用了Kafka的Spark应用到CDH集群时,抛出异常如下2020-01-27 11:33:48,289 ERROR [TestApp] - java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/u...原创 2020-01-29 23:52:30 · 1566 阅读 · 2 评论 -
解决提交SparkStreaming应用读取启用了Kerberos的Kafka中数据的问题
集群版本:CDH: 5.14.2Kafka:1.0.1-kafka-3.1.1Spark:2.3.0遇到的问题 1:SparkStreaming读取Kafka数据时抛出jaas.conf文件不存在的错误jaas.conf文件的内容KafkaClient { com.sun.security.auth.module.Krb5LoginModule required debug=...原创 2019-11-08 10:29:07 · 2632 阅读 · 6 评论