Hadoop
Bleachswh
To Live is To Change The World!
展开
-
Hadoop I/O
Hadoop自带一套原子操作用于数据I/O,其中一些技术比Hadoop本身更常用。原创 2015-11-27 21:41:45 · 429 阅读 · 0 评论 -
Hadoop基础
Hadoop:HDFS 实现数据存储,MapReduce实现数据分析处理。HDFS(Hadoop Distributed File System) : Hadoop 分布式文件系统特点: 超大文件(普通数据库处理数据集大小在GB级别,Hadoop处理的数据集大小在PB级别) 流式访问(一次写入,多次读取) 商用硬件 概念: 数据块:(默认64M。Hadoop块大,降低块索引时间,使得传输文件的时间主原创 2015-11-27 17:12:49 · 432 阅读 · 0 评论 -
Hadoop WordCount代码
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache转载 2015-12-05 18:01:15 · 637 阅读 · 0 评论