- 博客(3)
- 资源 (5)
- 收藏
- 关注
原创 spark概念详解以及四大核心介绍!!!
Spark特点:大数据分布式计算框架,内存计算分布式计算内存计算 中间结果在内存 迭代容错性多计算范式四大核心扩展功能: Spark SQL:Sql on hadoop系统,提供交互式查询、能够利用传统的可视化工具 在Spark上进行类似SQL的查询操作,报表查询等功能 GraphX:图计算引擎,大规模图运算,pagerank MLlib:聚类分类 分类 推荐 等机器学习算法*Applicatio...
2018-06-19 15:12:17 7429
原创 spark的一些难以理解的概念和一些知识点的解读(高频考点!!)(Unit1)
这篇文章是对于还没有入门和刚刚入门的spark小白提的,大佬可以给出意见,本人接受!!!关于RDD部分,首先你要知道什么什么RDDRDD字面意思就是弹性分布式数据集。。。。。。。(百度一下都是这种字眼很让人反感)个人感觉应该要分开理解1。弹性 1. RDD可以在内存和磁盘之间手动或自动切换(后续会仔细讲解) 2. RDD可以...
2018-06-12 16:49:21 4026 1
原创 小白spark学习感悟 AND spark两大版本的比较!!!
Spark2.x 与 Spark1.x 关系Spark2.x 引入了很多优秀特性,性能上有较大提升,API 更易用。在“编程统一”方面非常惊艳,实现了离线计算和流计算 API 的统一,实现了 Spark sql 和 Hive Sql 操作 API 的统一。Spark 2.x 基本上是基于 Spark 1.x 进行了更多的功能和模块的扩展,及性能的提升。Spark2.x 新特性1). SparkCo...
2018-06-04 20:18:09 9217 1
一个很牛逼的spark项目连接
2018-10-10
本人的spark项目代码以及数据,请下载查看
2018-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人