conquer000的博客

原创 RDD编程初级实践

需求描述 RDD是Spark的核心概念，它是一个只读的，可分区的分布式数据集，这个数据集可全部或部分缓存在内存中，在多次计算间重用。首先，通过对RDD编程初级实践的练习，我们会通过spark采用textFile()方法来从文件系统中加载数据创建RDD、各种操作API以及持久化和分区方法；其中，需要注意常用的RDD转换操作API：filter(func)、map(func)、flatMap(func)、groupByKey()、reduceByKey(func)等高阶函数；filter(func)操作会筛选.