南风知我意

如何理解Scala中的WrappedArray和Array

Scala模式匹配match case

Scala：Any, AnyRef, AnyVal

Scala常用数据结构

toArray: 将此可遍历或迭代器的所有元素复制到缓冲区。注意：对于无限大小的集合不会终止。toIterator: 返回此iterable集合中元素的迭代器。生成与迭代器相同的结果。前者会将所有元素复制到缓存区，所以大数据量下会占用很多内存，后者返回迭代器，数据持续读出，所以占用内存少。

类似于wordcount的写法：map算子把元素转为一个带有null的元组；使用reducebykey对具有相同key的元素进行统计；之后再使用map算子，取得元组中的单词元素，实现去重的效果。

类似于 Map 算子，但是不是基于每一条数据，而是基于一个 partition 来计算的，func 将接受一个迭代器，可以从迭代器中获取每一条数据进行操作，返回一个迭代器。形成一个新的 RDD。

flatMap其实就是将RDD里的每一个元素执行自定义函数f，这时这个元素的结果转换成iterator，最后将这些再拼接成一个新的RDD，也可以理解成原本的每个元素由横向执行函数f后再变为纵向。next一直在回调，当RDD内没有元素为止

JsonObject遍历（scala、alibaba_fastjson）

- head 表示数组的第一个元素- tail 表示数组除去 head 后的数组- last 表示数组的最后一个元素- init 表示数组除去 last 后的数组

前言最近在优化之前的老代码，于是想把代码中的map换成mapPartitions，就详细了解了下两者的区别，看到了这篇优质文章觉得不错，就转一下。网上推崇 mapPartitions 的原因按照某些文章的原话来说一次函数调用会处理一个partition所有的数据，而不是一次函数调用处理一条，性能相对来说会高一些。又比如说如果是普通的map，比如一个partition中有1万条数据；那么你的function要执行和计算1万次。但是，使用MapPartitions操作之后，一个task仅仅会执行一

ConfigFactory的使用：1，首先pom文件引入依赖 <dependency> <groupId>com.typesafe</groupId> <artifactId>config</artifactId> <version>1.4.2</version> </dependency>source目录下创建 .conf文件/.properties文件#编写配置文

项目场景：记一次Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class问题描述Scala版本不一致导致的Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at scopt.OptionParser.<init>(options.scala:175)