- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 eclipse开发hadoop环境搭建
[b]Hadoop2.6.0集群搭建完毕后，下面介绍一下eclipse是如何开发hadoop程序（即MapReduce程序）的。[/b]1.jdk安装hadoop集群的搭建，不再详述，参考[url]http://kevin12.iteye.com/blog/2273556[/url]；下面运行下hadoop自带的wordcount例子：2.先将hadoop-2.6.0目录下面的READ...
2016-02-13 14:54:26
260
原创 Spark RDD弹性表现和来源
hadoop 的MapReduce是基于数据集的,位置感知，容错 负载均衡基于数据集的处理：从物理存储上加载数据，然后操作数据，然后写入物理存储设备；基于数据集的操作不适应的场景：1，不适合于大量的迭代2，交互式查询重点是：基于数据流的方式 不能够复用曾经的结果或者中间计算结果;spark RDD是基于工作集的工作流和工作集的共同特点：位置感知，自动容错，负载均衡等...
2016-02-09 20:12:56
502
原创 Spark内核架构
1.在将spark内核架构前，先了解一下Hadoop的MR，Hadoop的MR分为Map和Reduce阶段，在Map阶段产生的中间结果要写回到磁盘，它和Reduce之间还有Shuffle操作，这个操作需要从网络节点进行数据拷贝，大量时间耗费在网络传输上，网络传输导致Hadoop的MR慢的原因之一，所以在很多情况下只适合离线计算。2.Spark的RDD（Resilient Distributed...
2016-02-07 12:24:56
102
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人