Spark
十四不是八
这个作者很懒,什么都没留下…
展开
-
Spark运行模式及原理(一)
Spark的运行模式多种多样,灵活多变,部署在单机上时,既可以用本地模式运行,也可以用伪分布式模式运行;而当以分布式集群的方式部署时,也有众多的运行模式可供选择,这取决于集群的实际情况,底层的资源调度既可以依赖于外部的资源调度框架,也可以使用Spark内建的Standalone模式。对于外部资源调度框架的支持,目前的实现包括相对稳定的Mesos模式,以及还在持续开发更新中的Hadoop YARN模转载 2016-03-19 19:47:11 · 2228 阅读 · 0 评论 -
Spark安装与基础使用
Spark快速入门指南 – Spark安装与基础使用Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce 的处理速度快 100 倍。此外,Spark 提供了简单易用的 API,几行代码就能实现 WordCount。本教程主要参考官网快速入门教程,介绍了转载 2016-03-21 15:35:18 · 5236 阅读 · 2 评论 -
关于使用“Hadoop free”版本的Spark
Using Spark's "Hadoop Free" BuildSpark uses Hadoop client libraries for HDFS and YARN. Starting in version Spark 1.4, the project packages “Hadoop free” builds that lets you more easily connect a原创 2016-03-21 17:12:30 · 736 阅读 · 0 评论