- 博客(4)
- 收藏
- 关注
RSS订阅转载 hadoop 学习
Hadoop 的文件系统，最重要是 FileSystem 类，以及它的两个子类 LocalFileSystem 和 DistributedFileSystem。 这里先分析 FileSystem。抽象类 FileSystem，提高了一系列对文件/目录操作的接口，还有一些辅助方法。分别说明一下:1. open，create，delete，rename等，非abstract，部分返回 FSData
2006-12-10 14:07:00
5948
2
转载 hadoop 初记－试用
Hadoop Learning My DemoStatistic.java1. 初始化配置文件，临时文件存放目录，还有具体的Job。 Configuration defaults = new Configuration(); File tempDir = new File("tmp/stat-temp-"+Integer.toString(
2006-12-10 13:58:00
3283
转载 Hadoop笔记--不需要分布式编程经验地分布式编程
作者：江南白衣 Hadoop 是 Google labs 的MapReduce的一个实现，Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式，让程序可以自动在普通机器组成的集群中以并行方式分布执行。 就如同java程序员可以不考虑内存泄露一样，MapReduce程序员也不许要关心海量数据如何被分配到多台机器上，不需要考虑机器失效的处理，不需
2006-12-10 13:44:00
2170
原创 新闻聚类系统－－－news.baidu.com
要做一个新闻聚类系统，大概就和http://news.baidu.com类似的。 可是没有什么想法呀！ 怎么办呢？ 这样的新闻， 要有抓取，存到一种“格式”里，或XML，或HDFS或DB里， 二是要用分类器，基于SVM也好，KNN也好， 三是要有聚类－carrot2,或其它。 这样，三个重要组件都已经想到了，接下来就要设计了－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
2006-12-01 22:31:00
3523
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人