![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
benbendy1984
这个作者很懒,什么都没留下…
展开
-
hadoop 笔记
1 如何设置hadoop 输入为二进制? 首先包含文件: import org.apache.hadoop.mapred.SequenceFileInputFormat; 再在confJob中设置: conf.setInputFormat(SequenceFileInputFormat.class);原创 2014-01-27 15:29:25 · 1102 阅读 · 0 评论 -
hadoop 运行 wordcount
<br />1 源代码<br />package com.felix; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import原创 2010-11-09 11:25:00 · 2855 阅读 · 0 评论 -
hadoop 命令
1 getmerge 用于从hdfs上的文件合并为一个本地的文件 hadoop fs -getmerge原创 2014-01-28 15:24:51 · 1085 阅读 · 0 评论 -
storm 基本命令
1 提交 storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology wordcount 2 退出任务 /home/a/storm/bin/storm kill wordcount 3原创 2014-03-04 15:23:09 · 4507 阅读 · 0 评论 -
hdfs 块信息
# 基础数据block这里是我们数据存储的基本单位,我们可以看到一个数据块对应的两个文件: blk_1234 blk_1234_5678.meta上面的1234就是这个数据块的编号, 5678是版本号。 对应的block结构就很简单 private long blockId; //块的唯一id private long numBytes; //占据的空间大小原创 2016-12-07 10:35:12 · 1139 阅读 · 0 评论