- 博客(4)
- 收藏
- 关注
RSS订阅转载 通过可视化途径理解你的Spark应用程序
在过去，Spark UI一直是用户应用程序调试的帮手。而在版本的Spark 1.4中，我们很高兴地宣布，一个新的因素被注入到Spark UI——数据可视化。在此版本中，可视化带来的提升主要包括三个部分： 1、Spark events时间轴视图 2、Execution DAG 3、Spark Streaming统计数字可视化 我们会通过一个系列的两篇博文来介绍上述特性
2016-05-23 11:11:52
864
转载 RDD：基于内存的集群计算容错抽象
摘要 本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具。这两种情况下，将数据保存在内存中能够极大地提高性能。
2016-05-22 20:49:22
1482
转载 Hive原理及查询优化
Hive是构建在Hadoop上的数据仓库软件框架，支持使用SQL来读，写和管理大规模数据集合。Hive入门非常简单，功能非常强大，所以非常流行。通常来说，Hive只支持数据查询和加载，但后面的版本也支持了插入，更新和删除以及流式api。Ｈive具有目前Hadoop上最丰富最全的SQL语法，也拥有最慢最稳定的执行。是目前Hadoop上几乎标准的ETL和数据仓库工具。Hive这个特点与
2016-05-21 12:24:26
12848
2
转载 Zookeeper全解析——Paxos作为灵魂
ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布式计算中，Google的Chubby，Apache的Zookeeper都是基于它的理论来实现的，Paxos还被认为是到目前为止唯一的分布式一致性算
2016-05-17 21:38:03
647
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人