spark
happyzwh
代码民工
展开
-
Spark2.x 与 Spark1.x 关系
Spark2.x 与 Spark1.x 关系Spark2.x 引入了很多优秀特性,性能上有较大提升,API 更易用。在“编程统一”方面非常惊艳,实现了离线计算和流计算 API 的统一,实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spark 2.x 基本上是基于 Spark 1.x 进行了更多的功能和模块的扩展,及性能的提升。Spark2.x 新特性1). S...转载 2018-09-17 12:15:19 · 326 阅读 · 0 评论 -
spark 最佳实践学习笔记
大数据的特征4v1、大量2、多样3、快速4、价值如何存储和计算大数据大数据交易加州大学伯克利分校AMP实验室spark 读取HDFS的数据到内存,在内存中使用弹性分布式数据集RDD组织数据支持常见的mapreduce范式,还支持图形计算、流计算spark支持scala、python、RRDD主要分两类操作:1、转换(transformation)2、动作 ...原创 2018-09-23 10:15:35 · 1251 阅读 · 1 评论