SX的博客

/** * 创建SparkSession方式1 */ val sparkSession1 = SparkSession.builder() .appName("SparkSQLDemo") .master("local") .getOrCreate()/** * 创建SparkSession方式2 */ val conf = new SparkCo...

RDD转换为DataFrame

mapPartitions作用是通过向这个RDD的每个分区应用一个函数来返回一个新的RDD。源码：f: Iterator[T] => Iterator[U]应用场景：当数据量不太大的时候，可以用mapPartitions，可以提高运行效率当数据量太大的时候，有可能会发生oom举例说明：1.初始化RDD，我们以2个分区的简单RDD如图所示为例2.我们假设需求是将RDD中的元...

废话不多说直接上代码val list = List("rose is beautiful","jennie is beautiful","lisa is beautiful","jisoo is beautiful") /** * 第一步，将list中的元素按照分隔符这里是空格拆分，然后展开 * 先map(_.split(" "))将每一个元素按照空格拆分 ...

废话不多说直接上代码/** * 初始化 */ val conf = new SparkConf().setAppName("wordCount").setMaster("local[2]") val sc = new SparkContext(conf) val list = sc.makeRDD(List("Lisa Jennie Rosé Ji...

1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDIS1.Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2.Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项...