![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 88
天空中的一缕微风
加油可以的哦
展开
-
Spark 1.5.1快速指南
Spark 1.5.1快速指南说明:本翻译基本遵照Spark的官方翻译,但是某些不太顺口的地方还是做了一下处理,请原谅我poor的外语能力。官网链接:http://spark.apache.org/docs/latest/quick-start.html使用Spark Shell进行交互分析基本操作Spark的shell提供了一种简单的方式来学习Api,同时它也是一个强大的具有交互功能的数据分析工具翻译 2015-11-02 09:27:44 · 1167 阅读 · 0 评论 -
Spark编程指南
Spark 编程指南概览从上层来看,集群中每个Spark应用都包含一个驱动程序来运行用户的main函数并且执行不同的并行操作。Spark提供的主要抽象概念就是弹性分布式数据集(RDD),其实就是一个数据集合分区后放在了集群的不同节点上,而且它可以被并行处理。RDD可以通过Hadoop的文件系统被创建(或者任何其它Hadoop支持的文件系统),或者是驱动程序中一个存在的Scala集合转换得到。用户可能翻译 2015-11-13 10:30:38 · 1293 阅读 · 0 评论 -
Spark Streaming + Kafka整合指南
前言 翻译之官网http://spark.apache.org/docs/latest/streaming-kafka-integration.html,spark版本为1.6.1,kafka版本为2.10,由于某些部分比较绕口,所以这里并没有完全遵照官网进行翻译。正文 Apache Kafka是一个实现发布-订阅方式的消息系统,它可以用来实现分布式、可分区、可复制翻译 2016-04-06 12:45:49 · 1538 阅读 · 0 评论