Spark学习总结

1.Spark是什么?

    Spark是一个基于内存的快速的用于大规模数据处理的统一分析引擎。

2.Spark有什么特性?

    容错、并行

3.Spark的核心组件有哪些?

    Spark core、Spark SQL、Spark Streaming、Spark MLlib、Spark Graphx

4.Spark的核心数据模型?

    RDD(Resilient Distrubuted Dataset,弹性分布式数据集)是一个抽象的元素集合,包含有数据。

    弹性体现在,RDD的数据默认情况下是存储在内存中的,如果内存中存储不下,spark会自动将RDD中的数据写入到磁盘中。

    分布式体现在,RDD的数据是分区存储的,这样不同分区的数据就可以分布在不同的节点上并行处理。

5.sparkSession.sql("语句")

  1. 语句中如果出现判断类型的语句,如 String = Int时,不需要类型转换。
  2. as 是可以使用的,跟sql中的作用一样
  3. 双引号换行要注意换行符或者空格的使用
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值