scala
82年的哇哈哈
这个作者很懒,什么都没留下…
展开
-
map和flatmap的区别
map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”: 操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象 操作2:最后将所有对象合并为一个对象 o...原创 2020-09-29 13:45:13 · 295 阅读 · 0 评论 -
创建一个scala的maven项目
1 创建Maven工程 <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>1.6.2</version> GroupId,可以理解为用来标志你整个项目组的,或者你这些代码属于某一个完...原创 2019-01-04 20:06:10 · 755 阅读 · 0 评论