吴楚狂生

征服自己!

hadoop 学习

Hadoop 的文件系统,最重要是 FileSystem 类,以及它的两个子类 LocalFileSystem 和 DistributedFileSystem。 这里先分析 FileSystem。抽象类 FileSystem,提高了一系列对文件/目录操作的接口,还有一些辅助方法。分别说明一下:1...

2006-12-10 14:07:00

阅读数:5701

评论数:2

hadoop 初记-试用

Hadoop Learning My DemoStatistic.java1. 初始化配置文件,临时文件存放目录,还有具体的Job。        Configuration defaults = new Configuration();        File tempDir = new ...

2006-12-10 13:58:00

阅读数:3051

评论数:0

Hadoop笔记--不需要分布式编程经验地分布式编程

作者:江南白衣    Hadoop 是 Google labs 的MapReduce的一个实现,Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式,让程序可以自动在普通机器组成的集群中以并行方式分布执行。    就如同java程序员可以不考虑内存泄露一样,Ma...

2006-12-10 13:44:00

阅读数:2046

评论数:0

新闻聚类系统---news.baidu.com

要做一个新闻聚类系统,大概就和http://news.baidu.com类似的。 可是没有什么想法呀!  怎么办呢?  这样的新闻,  要有抓取,存到一种“格式”里,或XML,或HDFS或DB里,  二是要用分类器,基于SVM也好,KNN也好,  三是要有聚类-carrot2,或其它。  这样,三...

2006-12-01 22:31:00

阅读数:2563

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭