Spark
文章平均质量分 78
CircleLee404
这个作者很懒,什么都没留下…
展开
-
ElasticSearch集群升级Spark出现EsHadoopIllegalArgumentException:Unsupported/Unknown Elasticsearch version解决
近期由于平台提供方ES集群升级,由5.5.0升级为6.4.3 原SparkStreaming访问ES使用elasticsearch-hadoop依赖中EsSpark.saveJsonToEs写入数据。 将elasticsearch-hadoop依赖包升级为对应6.x版本后esMap添加Xpack参数: es.nodes es.port es.mapping.id es.net.http.auth.user es.net.http.auth.pass 本地调试读写均正常,但在提交yarn集群运原创 2020-09-02 15:59:28 · 1816 阅读 · 0 评论 -
SparkStreaming+kafka参数设置
近期项目中对SparkStreaming+Kafka模式使用过程中需要限制单批次最大数据量,在容器节点计算出现延迟或故障时进行自动降低消费频率,在此对几个参数进行分享,同时也为加深自己的印象; 由于项目中使用的技术组件主要为SparkStreaming+Kafka+Hbase+Elasticsearch,覆盖了从数据接入-逻辑计算-结果输出几个环节,且业务需求关系,计算逻辑较为复杂,需要与Hb...原创 2019-12-02 17:42:59 · 3479 阅读 · 0 评论