Spark
很迷的一只小白
这个作者很懒,什么都没留下…
展开
-
SpringBoot+Spark+hadoop环境 maven配置
网上这个配置整合貌似挺少的 自己配了一个 亲测可用没有用到scala 因为用起来感觉没有用java顺手 直接用了Spark的Java API<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w...原创 2019-09-27 14:53:05 · 1102 阅读 · 0 评论 -
Spark JavaRDD转换各种Java类型集合
刚开始接触JavaRDD有点迷糊 各种数据类型约束也转得比较头疼 Spring后台返回的Json貌似不能直接用RDD 得用java集合 弄了一天终于有点懂了 写个总结首先导一个数据集作为RDDSparkConf sparkConf = new SparkConf().setAppName("MapPartitionsRdd").setMaster("local");JavaSparkC...原创 2019-09-27 15:21:38 · 2416 阅读 · 0 评论