笔记
叮咚菜鸟许某人
这个作者很懒,什么都没留下…
展开
-
Structured Streaming篇1:Structured Streaming将json数据写入carbondata
spark篇3:Structured Streaming将json数据写入carbondata废话不多说,直接上干货package xytestimport com.iflytek.utils.Utilsimport org.apache.carbondata.core.util.path.CarbonTablePathimport org.apache.carbondata.stre...2020-04-12 21:59:40 · 587 阅读 · 0 评论 -
Spark Streaming篇5:Spark Streaming自定义zookeeper管理offset
spark篇7:sparkstreaming自定义zookeeper管理offset废话不多说,直接上干货package com.iflytek.offsetimport org.apache.curator.framework.CuratorFrameworkFactoryimport org.apache.curator.retry.ExponentialBackoffRetryi...2020-04-12 21:58:22 · 214 阅读 · 0 评论 -
Spark Streaming篇3:Spark Streaming 把数据发往kafka,并实现去重
spark篇6:sparkstreaming 把数据发往kafka,并实现6s去重废话不多说,直接上干货package com.iflytek.kafkaimport java.util.Propertiesimport com.iflytek.kafkaManager.KafkaSinkimport org.apache.kafka.clients.consumer.Consume...2020-04-12 21:58:07 · 835 阅读 · 0 评论 -
Spark Streaming篇4:Spark Streaming动态广播大变量并进行黑名单过滤
spark篇4:SparkStreaming动态广播大变量并进行黑名单过滤广播变量后,一般变量发生更改后,但是广播的值却不能随之更改,假设从mysql中读取了黑名单数据,后面黑名单数据发送改变,那么如何动态广播变量呢?废话不多说,直接上干货BroadcastWrapper用于动态更新广播变量package com.iflytek.sparking.算子import java.io.{O...2020-04-12 21:57:36 · 703 阅读 · 0 评论 -
spark篇2:spark通过KuduContext操作kudu
spark篇2:spark通过KuduContext操作kudu废话不多说,直接上干货创建kudu表package kudu.sparkKuduimport org.apache.kudu.spark.kudu.KuduContextimport org.apache.spark.sql.SparkSessionimport org.apache.spark.{SparkConf, ...2020-04-12 21:56:17 · 1179 阅读 · 0 评论 -
笔记1:carbondata的流式操作
笔记1:carbondata的流式操作更新流sparkSession.sql("UPDATE test_streaming_2 SET (id) = (22) WHERE name = 'cb'").show();报错如下:org.apache.carbondata.common.exceptions.sql.MalformedCarbonCommandException: Data up...2020-04-12 21:55:42 · 265 阅读 · 0 评论