wjlwangluo的博客

对Giraph的一些理解这两天又重新看了一下Giraph源码，对整体架构的理解又有了新的认识和理解，下面逐点来说。一、          Giraph本质的理解:大家都知道，Giraph对用户来讲可能是一个基于Pregel模型的图运算项目，但是对于Hadoop来讲，其实它是一个普通的MapReduce任务。因此我们在运行时可以把他看成是一个mapreduce任务，只是这个任务有点特殊和

简要截取：本篇博客以经典的wordcount程序为例来说明context的用法： 直接上代码：package MapReduce;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;impo

最近发现Hadoop Job集群的load非常高，最后发现是mapred.child.Java.opts设置过大导致的，我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽，进而开始不断swap磁盘上数据，load升高在执行一个Task的时候，首先会根据JobConf中设定的JVM参数写入一个taskjvm.sh文件中，然后调用Linux命令 bin/bash -

如果Hadoop用户标识不同于客户机上的用户账号，可以通过hadoop.job.ugi属性来显式设定Hadoop用户名和组名。用户名和组名之间有半角逗号隔开例如：1preston,diecotrs,inventors其中preston为用户名，diecotrs和inventor为组名。

Java 中的instanceof 运算符是用来在运行时指出对象是否是特定类的一个实例。instanceof通过返回一个布尔值来指出，这个对象是否是这个特定类或者是它的子类的一个实例。 用法：result = object instanceof class参数：Result：布尔类型。Object：必选项。任意对象表达式。Class：必选项。任意已定义的对象类。说明：

MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，现在我分析下这些默认Counter的含义，方便大家观察job结果。    我的分析是基于Ha

前言MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。什么是InputSplit       InputSplit是指分片，在MapReduce当中作业中，作为map task最小输入单位。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了等信息。在MapTask拿到这些分片后，会知道从哪开始读取数据。Job提交

static{}(即static块)，会在类被加载的时候执行且仅会被执行一次，一般用来初始化静态变量和调用静态方法，下面我们详细的讨论一下该语句块的特性及应用。 class Test{ public static int X=100; public final static int Y;=200 public

深度学习需要掌握的25个基本概念

问题导读：1.job的本质是什么？2.任务的本质是什么？3.文件系统的Namespace由谁来管理，Namespace的作用是什么？4.Namespace 镜像文件(Namespaceimage)和操作日志文件(editlog)文件的作用是什么？5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？6.客户端读写某个数据时

什么是接口？一个Java 接口（interface）是一些方法特征的集合，这些方法特征来自于具体方法，这些方法符合它们一般来自于一些在系统中不断出现的方法。一个接口只有方法的特征，而没有方法的实现，因此这些方法在不同的地方被实现时，可以具有完全不同的行为。在Java语言中，Java接口还可以定义public的变量。接口把方法的特征和方法的实现分割开来。这种分割，体现在接口常常代表一个角

很容易从Java.lang.System的源代码看出来/** * Terminates the currently running Java Virtual Machine. The * argument serves as a status code; by convention, a nonzero status * code indicates abnorm

封闭开发工作计划目前要做的工作大概分成以下几个部分：1.    目前我们的图系统在效率方面已经做到同类中的最好，但是它只是一个图系统，需要用户熟悉相关知识来自己编写代码实现想要的功能（以点为中心的编程模型），而到这里之后才了解到这里的需求，可能要把它改成图数据库，支持增删改查的功能，比较侧重的是查询，鉴于实验室之前的积累，现在比较明确的就是对于查询方面，在该系统上之前有实现过RDF查询（Sparq