![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark2.0
坚持的道路注定孤独
这个作者很懒,什么都没留下…
展开
-
Spark2.X之scala JDBCDataSource
/**1.获取MySQL数据库中学生基本信息表与学生成绩表2.通过join操作与filter操作将学生分数大于等于80分的学生存入好学生的表中。**/import org.apache.spark.sql.SparkSessionimport org.apache.commons.collections.map.HashedMapimport java.util.Propertiesimport ...原创 2018-03-19 17:39:48 · 405 阅读 · 0 评论 -
Spark 2.2 Java版本 jdbcDataSource
/**1.创建sparkSessinon2.通过sparkSession read方法将MySQL的数据加载为dataframe3.将DataFrame转换为RDD,使用Spark Core提供的各种算子进行操作4.将得到的数据结果,通过foreach()算子,写入mysql、hbase、redis等等db / cache中**/import java.sql.Connection;import ...原创 2018-03-19 17:55:47 · 1212 阅读 · 2 评论 -
Spark2.X Streaming+kafka wordCount代码
package cn.spark.study.streaming;import java.util.Arrays;import java.util.HashMap;import java.util.Map;import org.apache.spark.SparkConf;import org.apache.spark.streaming.Durations;import org....原创 2018-04-08 13:16:01 · 286 阅读 · 0 评论 -
基于Kafka Direct方式的实时wordcount程序
package cn.spark.study.streaming;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.Map;import java.util.Set;import org.ap...原创 2018-04-08 14:26:01 · 598 阅读 · 0 评论