- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 PageRank的一个简单实现
public class PageRank { private BinaryData adjacencyMatrix = null; private double threshold = 0.000000001; private double alpha = 0.3; private double beta = 0.6; private double gamma = 0.1;
2011-12-28 14:22:51 2620
原创 Notepad++添加新语言支持
Notepad plus与语言相关的配置文件主要有:langs.xml - all the keywords of supported languages to be highlighted are in this file.langs.model.xml - A backup file?userDefineLang.xml - this file contains all the d
2011-12-06 16:16:02 12811 1
转载 Hadoop学习笔记
原文参见 http://www.distream.org/?p=384应用开发主要知识点如下:Configuration类(支持overwrite,variable $)测试(mock单元测试,本地测试,集群测试) Tool, ToolRunner 集群测试(package, 启动job, Job web UI for nam
2011-12-03 00:11:32 12917 2
原创 Hadoop源码解析-作业执行流程-集群模式
前面讲到在集群模式时,submitJob将调用JobTracker的submitJob。JobTracker.submitJob()启动一个新的Job。该函数内部创建一个JobInProgress对象,它包含JobProfile和JobStatus两个对象。JobProfile的成员是MapReduce的一些属性信息。String user; final JobID jobi
2011-12-02 23:48:47 2887
原创 Hadoop源码解析-作业执行流程-本地模式
执行一个作业有很多方法,这看两种方法:1. JobClient.runJob(conf); //JobConf2. job.waitForCompletion(true);//JobrunJob接受一个作业配置对象JobConf,然后初始化一个JobClient,作业的提交最终有依靠该对象。 public static RunningJob runJob(JobConf job)
2011-12-02 17:12:10 3648
原创 酱油HADOOP 1
有很多介绍Hadoop的资源,Hadoop自动的Doc文件夹中也包含很多学习文档,有中文版的。http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html 关于MapReduce的内容,建议看看孟岩的这篇MapReduce:The Free Lunch Is Not Over! import java.io.IOEx
2011-12-02 11:06:06 3199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人