Spark
fff2zrx
这个作者很懒,什么都没留下…
展开
-
pyspark常用笔记
pyspark处理数据常用方法原创 2021-05-24 19:51:55 · 265 阅读 · 0 评论 -
Spark操作实例
创建spark对象 spark = SparkSession.builder.config(conf = SparkConf()).getOrCreate() 读取文件 1.直接读取为dataframe格式 data=spark.read.orc(r"gaowang.orc") 2.读取为rdd格式 data = spark.sparkContext.tex...原创 2020-02-16 21:43:24 · 659 阅读 · 0 评论 -
Spark学习笔记(三):Spark DataFrame
系列博客是学习厦门大学林子雨老师spark编程基础课程的笔记,方便回顾 系列博客: Spark学习笔记(一):Spark概述与运行原理 Spark学习笔记(二):RDD编程基础 DataFrame的创建 ...原创 2020-02-14 17:32:01 · 872 阅读 · 0 评论 -
Spark学习笔记(二):RDD编程基础
系列博客是学习厦门大学林子雨老师spark编程基础课程的笔记,方便回顾 1.RDD创建 (1)从文件中加载数据创建 lines=sc.textFile("word.txt") lines.foreach(print) (2)通过并行集合(列表)创建RDD array=[1,2,3,4,5] rdd=sc.parallelize(array) rdd.foreach(p...原创 2020-02-14 16:56:02 · 1002 阅读 · 0 评论 -
Spark学习笔记(一):Spark概述与运行原理
最近的项目数据太大,小周终于也投入了大数据的怀抱,开始了Spark编程学习之路。原创 2020-02-13 22:08:19 · 674 阅读 · 0 评论