Spark学习之路
Hello Guava
坚持写一些JAVA、大数据相关的博文,有助于自己工作、学习、成长!
展开
-
SparkStreaming写入Hive遇到的问题记录
需求:SparkStreaming实时写入Hive 关于怎么写,网上一大堆,我简单点列下代码: SparkConf sparkConf = new SparkConf().setAppName("sparkStreaming-order").setMaster(SPARK_MASTER); sparkConf.set("spark.serializer", "org.apache.spark.se...原创 2020-04-11 18:39:13 · 1822 阅读 · 0 评论 -
sparkSreaming对接kafka,手动提交offset(java版本)
其实官网上写的都很清楚,在这边整合下做个记录 给需要的小伙伴看看 直接上代码 @Slf4j public class Sink2HiveTask { public static void main(String[] args) throws Exception { String topic = "test5"; SparkConf sparkConf ...原创 2020-03-10 09:48:42 · 776 阅读 · 0 评论 -
sparkStreaming中用sparksql时遇到的问题总结
今天准备用sparkStreaming介入kafka再写入hive,准备在流里面执行sparksql,按照官网的写法,一开始的代码是这样的: SparkConf sparkConf = new SparkConf().setMaster("local[2]").setAppName("test"); sparkConf.set("spark.serializer", "org.apache.spa...原创 2020-03-09 17:44:36 · 713 阅读 · 1 评论