sugar-foxs

Spark可以通过不同途径读取和存储数据。以下是基于java编程的。一，读存文本文件里的数据1，读取数据；file是文件路径SparkConf conf = new SparkConf().setAppName("Simple Application");JavaSparkContext sc = new JavaSparkContext(conf);JavaRDD<String> i...

学习Spark首先学到就是spark中数据核心抽象----RDD.Spark中的RDD是一个不可变分布式对象集合。每个RDD都被分为多个分区运行在集群的不同节点上。1. 创建RDD（1） 读取一个外部数据集textFile()函数将一个文本文件读入为一个存储字符串的RDD。（2） 读取在驱动器程序里分发驱动器程序中的对象集合。parallerlize()函数2. RDD转化操作（transform...