**知识点11:**wholeTextFiles方法主要用于处理XML和JSON等组织方式较为复杂的数据文件,因为这些文件一般需要整体解析,而逐行处理不现实。在实际练习中,可以使用这个方法来处理XML等数据,效果会更好。
顺序序号11:Multi-line Text Elements
**知识点12:**Parallelize方法用于在内存中生成RDD,主要用于测试目的。在实际应用中,不太可能通过代码直接将大量数据加载到RDD中,因为这样会导致代码量庞大,不切实际。
顺序序号12:Creating RDDs from Collestions
**知识点13:**主要讨论了RDD数据的保存方法。具体内容包括:
RDD数据保存可以使用内置的方法,如saveAsTextFile,也可以使用saveAsHadoopFile和saveAsNewHadoopFile方法来支持其他格式,但需要用户自己实现序列化。
对应RDD结果的保存路径需要符合特定规范,如存储在HDFS上需要指定目录,且不能预先存在。
在本地路径下生成结果目录后,可以使用ls命令查看生成的文件,通常会有多个分区文件,分区数量取决于数据分区情况。
顺序序号13:Saving RDDs
**知识点14:**主要介绍了RDD的操作,包括Transformation和Action类别的区分,以及RDD操作的惰性执行特性。Transformation操作在程序运行时不会立即执行,只有遇到Action操作时才会触发执行。
顺序序号14:RDD Operations
**知识点15:**主要介绍了RDD的操作,包括count、first、take、collection、saveAs等操作的说明,以及在Scala和Python中如何进行打印操作。同时强调了RDD的惰性执行特性,以及在进行验证时需要注意触发Action操作。
顺序序号15:RDD Action Operations