- 博客(10)
- 收藏
- 关注
转载 RDD原文翻译
该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。这篇译文翻译得很不错
2016-04-26 09:51:32
2601
转载 Spark的发展历程
2014年的大数据领域,Apache Spark(以下简称Spark)无疑最受瞩目。Spark,出自名门伯克利AMPLab之手,目前由商业公司Databricks保驾护航。自2014年3月份跻身Apache顶级项目(TLP),Spark已然成为ASF最活跃的项目之一,得到了业内广泛的支持——2014年12月发布的Spark 1.2版本包含了来自172位Contributor贡献的1000多个com
2016-04-20 16:34:52
1179
转载 graphx中Pregel函数详解
1、PregelAPI图本质上是一种递归的数据结构,其顶点的属性值依赖于其邻接顶点,而其邻接顶点属性又依赖于其邻接顶点,许多重要的图算法通过迭代计算每个顶点的属性直到到达定点条件,这些迭代的图算法被抽象成一系列图并行操作。 2、Pregel的计算模型主要分为三个函数:1、vertexProgram函数2、sendMessage函数3、messag
2016-03-07 16:06:26
4290
1
转载 网络爬虫结合搜索引擎
网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。搜 索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩、高可用。对大量信息的索引与搜
2015-11-30 16:06:10
4633
转载 Spark自定义分区(Partitioner)
转载自过往记忆(http://www.iteblog.com/)我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略(这两种分区的代码解析可以参见:《Spark分区器HashPartitioner和RangePartitioner代码详解》),这两种分区策略在很多情况下都适合我们的场景。但是有些情况下,Spark内部不能符合咱们的需求,
2015-11-13 09:17:48
712
转载 软件测试
近来,软件测试行业发展迅速,企业越来越重视测试了。越来越多的人加入了测试大军中,很多人也想通过自学来学习软件测试技术加入这个行业,但是现在软件测试的书籍越来越多,也良莠不齐,而且软件测试涉及的技术也越来越多。本文主要说明的是从事软件测试行业需要必备的知识,以及该如何学习,主要给大家提供一些比较优秀的书籍,并给出学习的顺序。希望通过阅读本文,读者可以明确该如何学习测试,并学习哪些知识。由于仅是个人建
2015-11-09 17:31:54
508
原创 基本正则表达式
基本正则表达式(1)^ 行开始符 例如:"^jacline"匹配所有以jacline开始的行(2)$ 行结束符 例如:"jacline$"匹配所有以jacline结束的行(3). 匹配任意一个字符 例如:jacl.ne可以匹配jacline、jaclnne等(4)[]匹配其中一个 例如:[Jj]可以匹配Jacline或者jacline其中
2015-10-23 15:30:29
343
转载 spark GraphX官方文档翻译--转载
6、 Spark GraphX6.1 概述GraphX是spark的一个新组件用于图和并行图计算。在一个高水平,GraphX通过引进一个新的图抽象扩展了spark RDD:带有顶点和边属性的有向多重图。为了支持图计算,GraphX 提供了很多基本的操作(像 subgraph, joinVertices, and aggregateMessages)和pregel的一个优化变种。除此
2015-07-02 10:35:27
1644
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人