![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scala
文章平均质量分 79
成程晨
2019.06-2019.08 实习于上海-蚂蚁金服-CTO线
2019.12-2020.06 实习于深圳-腾讯-TEG
2020.07-至今 工作于北京-FreeWheel-Forecast Team
展开
-
Spark之UDF失效
Spark之UDF失效原创 2022-10-22 10:10:50 · 762 阅读 · 0 评论 -
Spark优化之在大数据环境判断两个列表是否有交集
Spark优化之在大数据环境判断两个列表是否有交集原创 2022-09-24 13:58:36 · 840 阅读 · 0 评论 -
Spark读入ProtoMessage并写出为Parquet
Spark如何快速将ProtoMessage写出为Parquet原创 2022-09-18 20:17:38 · 641 阅读 · 0 评论 -
Scala之wordCount
代码import scala.collection.mutable.HashMapimport scala.io.Sourceobject Test { def main(args: Array[String]): Unit = { wordCount("dictName") } def wordCount(dictName: String): Unit ={ ...原创 2019-05-13 17:58:56 · 234 阅读 · 0 评论 -
Scala之flatMap操作
个人理解调用flatMap方法的是一个可迭代集合(注意:字符串是一个可迭代集合,字符串中的元素为字符) 什么类型调用的flatMap方法,则返回的也是什么类型 flatMap = map + flatten 即先对集合中的每个元素进行map,再对map后的每个元素(map后的每个元素必须还是集合)中的每个元素进行flatten 进行map的对象可以是只含一层的集合,但进行flatten操...原创 2019-05-13 11:00:18 · 23029 阅读 · 1 评论