本文介绍了Spark的三种运行模式：standalone、Spark on Mesos和Spark on YARN，详细解析了每种模式的工作原理和应用场景。其中standalone模式由Master和Slave构成，资源分配单位为槽；Spark on Mesos利用Mesos进行资源调度；Spark on YARN模式下，根据Driver位置分为YARN-Client和YARN-Cluster，适合多计算框架共存的环境。此外，文章还提及了大数据学习资源分享。
2.非结构化数据：不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
3.半结构化数据：就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。
spark通用性指的什么？
Spark SQL(即席查询），Spark Streaming(实时流处理），Spark MLlib(机器学习库），Spark GraphX(图计算）
spark 的组件
1 Spark Core
包含了Spark的基本功能，包含任务调度，内存管理，容错机制等等。
内部定义了RDD（弹性分布式数据集）
提供了很多APIs来创建和操作这些RDD
应用场景：为其他组件提供底层的服务
2 Spark SQL
是Spark处理结构化数据的库，就像Hive SQL，Mysql一样。
应用场景：企业中用来做报表统计
3
最低0.47元/天 解锁文章
3194
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
