- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark学习之sparksql中dataframe的常用函数
SparkSql-DataFrame一、DataFrame的相关方法1、show作用：展示数据show(numRows:Int,truncate:Boolean)show(numRows:Int)numRows：表示展示的行数（默认展示20行）Truncate:只有两个取值true,false,表示一个字段是否最多显示20个字符，默认为true2、collect作用：获取一个dataframe的里面的数据 形成的是一个数组注意：返回的是一个array 适用于数据量比较小的场景
2020-10-11 23:44:36
3159
原创 spark之sparkcore学习笔记
SparkCore第一章 Spark和hadoop的关系1、Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎，spark的调度系统和存储都是基于hadoop的组件hdfs。2、Spark作为分析计算的框架是基于内存的，hadoop是基于磁盘的。3、Spark Task的启动时间快。Spark采用fork线程的方式，而Hadoop采用创建新的进程的方式。第二章 Spark的快速上手pom文件<dependencies> <dependency>
2020-10-11 23:00:37
331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人