hadoop
keep_moving_
这个作者很懒,什么都没留下…
展开
-
run hadoop wordcount demo
1)将文件上传至hdfs系统bin/hadoop原创 2014-05-23 17:59:30 · 451 阅读 · 0 评论 -
hadoop 2(文件)
1) hadoop 读取 HDFS 文件过程原创 2014-07-02 09:49:40 · 353 阅读 · 0 评论 -
hadoop 3(I/O)
1)校验和每个文件均按照块方式存储,每个块的元数据存储在namenode的内存中,因此Hadoop存储小文件会非常低效,小文件会消耗namenode中大部分内存checksum:HDFS会对写入的数据计算校验和,并在读取数据时验证校验和。datanode在验证收到的数据后存储数据和校验和。客户端从datanode读取数据时也会验证校验和。2) 压缩在考虑如何压缩将由MapReduc原创 2014-07-02 14:10:13 · 474 阅读 · 0 评论 -
hadoop 4(作业运行机制)
1) 4个独立的实体客户端: 提交MapReduce作业jobtracker: 协调原创 2014-07-02 16:24:44 · 712 阅读 · 0 评论 -
hadoop 1
1)Hadoop 将 MapReduce的输入数据原创 2014-07-02 09:05:57 · 358 阅读 · 0 评论 -
hadoop 6(hbase)
1) Hbase是在HDFS上开发的面向l原创 2014-07-03 14:45:17 · 522 阅读 · 0 评论 -
hadoop 7(ZooKeeper)
1) znode可以将ZooKeeper看作一个原创 2014-07-03 15:25:20 · 421 阅读 · 0 评论 -
hadoop 命令
1) start-dfs.sh启动HDFS,即name原创 2014-07-05 21:41:08 · 353 阅读 · 0 评论