![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
沉淀技术这十年
我尽量把我的时间花费在提升技术上,沉淀技术这十年2018.07-2028.07
展开
-
RDD分区详解
参考资料:尚硅谷大数据一、RDD分区数RDD的分区数量和RDD的两种创建方式有关。1.1通过集合创建RDD的方式 val conf: SparkConf = new SparkConf().setAppName("PartitionsDemo02").setMaster("local[*]") val sc: SparkContext = new SparkContext(conf) val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4,5))原创 2020-08-22 13:27:13 · 1410 阅读 · 1 评论 -
spark的DataFrame和DataSet
创建DataSet的几种方式:1、读取文件的方式创建只有一列,每一列对应文本的一行数据:DataSet既可以进行RDD的一些操作,又可以进行DataFrame的一些操作:如果是DataFrame就不能简单的进行上述操作。2、通过自定义类来创建3、通过RDD创建4、通过DF创建一般DF转DS用的少。下面这种方式简单:DataFrame的创建方式1、DS转DF2、RDD转DF将DF注册成临时表:通过spark SQL进行操作:...原创 2020-05-23 00:49:57 · 227 阅读 · 0 评论 -
spark学习笔记
学习本地链接:H:\迁移文件\大数据资料\牛牛学堂大数据24期\06-Spark安装部署到高级-10天原创 2020-05-04 22:57:57 · 633 阅读 · 0 评论