- 博客(6)
- 问答 (5)
- 收藏
- 关注
转载 hadoop SequenceFile 读取例程注释
[java] view plaincopy import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.ap
2015-01-08 22:23:36 408
转载 如何在Hadoop的MapReduce程序中处理JSON文件
简介: 最近在写MapReduce程序处理日志时,需要解析JSON配置文件,简化Java程序和处理逻辑。但是Hadoop本身似乎没有内置对JSON文件的解析功能,我们不得不求助于第三方JSON工具包。这里选择json-simple实现我们的功能。 在Hadoop上执行Java程序的命令如下所示: [plain] view plaincopyprint?
2015-01-08 22:21:16 1102
转载 mapreduce读取sequencefile文件中的数据
[java] view plaincopy sequencefile中的数据是以key,value对存储的。 [java] view plaincopy 通过mapreduce模式,可以读取sequencefile中的数据。 [java] view plaincopy
2015-01-08 22:16:29 455
转载 读取hadoop Sequence格式的文件的代码
http://blog.csdn.net/longerandlonger/article/details/8482477 [java] view plaincopy public static void main(String[] args) { org.apache.hadoop.io.SequenceFile.Reader re
2015-01-08 22:10:22 403
转载 Hadoop Core 学习笔记(二) lzo文件的写入和读取
zhuanzi :http://guoyunsky.iteye.com/blog/1266226 压缩是绕不开的话题,因为当今很多程序的压力还是在IO.特别是Hadoop这种分布式存储和运算框架,单台机器的IO,网络通信IO都是压力和挑战.关于Hadoop为什么要用Lzo来压缩而没有选用传统的压缩方法,我这里不再阐述.相关资料很多.有兴趣的可以查看cloudera这篇博客:http:
2015-01-08 22:02:36 1076 1
转载 Hadoop Core 学习笔记(一) SequenceFile文件写入和读取Writable数据
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1265944 刚接触Hadoop时,对SequenceFile和Writable还产生了一点联想,以为是什么神奇的东西.后来也明白,不过就是自己IO的一些协议,用于自己的输入输出.这里介绍下如何从sequence file中读出和写入Writable数据. Writ
2015-01-08 21:47:52 606
空空如也
用java实现SFTP server
2016-04-03
怎么知道shell 运行结束?
2016-03-02
亚马逊推出了一个平台,用户可以租用,可以使用低配置电脑跑高配置软件,这个平台是什么
2015-06-04
mysql的问题,大神帮忙看下
2015-05-12
python中的类型怎么对应java中的byte[]
2014-12-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人