Carnation_s的博客

SparkSql-DataFrame一、DataFrame的相关方法1、show作用：展示数据show(numRows:Int,truncate:Boolean)show(numRows:Int)numRows：表示展示的行数（默认展示20行）Truncate:只有两个取值true,false,表示一个字段是否最多显示20个字符，默认为true2、collect作用：获取一个dataframe的里面的数据 形成的是一个数组注意：返回的是一个array 适用于数据量比较小的场景

SparkCore第一章 Spark和hadoop的关系1、Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎，spark的调度系统和存储都是基于hadoop的组件hdfs。2、Spark作为分析计算的框架是基于内存的，hadoop是基于磁盘的。3、Spark Task的启动时间快。Spark采用fork线程的方式，而Hadoop采用创建新的进程的方式。第二章 Spark的快速上手pom文件<dependencies> <dependency>