java大数据
liuSir的一亩三分地
致力于Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
Java版本的一些常见Spark算子
这里我列举了几个常见的Java类型的spark算子,主要包括Join、GroupByKey、mapPartition、mapPartitionWithIndex、sortBy算子 Join案例: package com.liuze; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apac原创 2021-04-22 21:25:41 · 533 阅读 · 0 评论 -
Java版spark入门WordCount
最近新入职了一家公司,这家公司主要以开发大数据平台为主,主流语言用的是java语言,涉及到的组件有很多很多 kafaka、pg数据库、hbase、hudi、atlas、flink、spark、hive、hadoop、mongdb、presto、hbase、dolphinscheduler、alluxio等等,以前很少用java去写spark代码,如此一来感觉十分懵逼,以后准备更新以Java语言方向为主的大数据开发。这里先从基础开发,我这里先整理的是Java,JavaLambda,Scala三种方式的word原创 2021-04-19 21:08:59 · 535 阅读 · 0 评论