![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 79
成程晨
2019.06-2019.08 实习于上海-蚂蚁金服-CTO线
2019.12-2020.06 实习于深圳-腾讯-TEG
2020.07-至今 工作于北京-FreeWheel-Forecast Team
展开
-
Spark之UDF失效
Spark之UDF失效原创 2022-10-22 10:10:50 · 791 阅读 · 0 评论 -
Spark优化之在大数据环境判断两个列表是否有交集
Spark优化之在大数据环境判断两个列表是否有交集原创 2022-09-24 13:58:36 · 855 阅读 · 0 评论 -
Spark读入ProtoMessage并写出为Parquet
Spark如何快速将ProtoMessage写出为Parquet原创 2022-09-18 20:17:38 · 658 阅读 · 0 评论 -
SparkStreaming之socketTextStream遇到的一些小问题
实验环境主机名 IP 操作系统 host1 192.168.110.1 Windows host2 192.168.110.13 Linux 实验准备首先在host2上使用nc命令打开端口7777,之后在host1上运行代码实验代码import org.apache.spark._import org.apache.spark.s...原创 2019-05-28 18:11:18 · 4371 阅读 · 2 评论 -
一句标准的Spark WordCount代码究竟产生了多少个RDD?
sc.textFile("./data/input") .flatMap(x -> Arrays.asList(x.split(" ")).iterator()) .mapToPair(x -> new Tuple2<>(x, 1)) .reduceByKey((x1, x2) -> x1 + x2) .saveAsTextFile("./data/o...原创 2019-10-04 13:54:45 · 350 阅读 · 0 评论