Java
文章平均质量分 66
萧杨
这个作者很懒,什么都没留下…
展开
-
Hadoop Streaming 实战: 多路输出
streaming把reduce的输出作为一个任务的最终输出,输出文件形如: part-00000、part-00001…… 文件个数为reduce任务个数 但是,有的时候,我们有多路输出的需求,eg:一部分数据作为下一个mapreduce任务的输入,另一部分数据直接供下游任务抓取,此时,我们就需要使用reduce的多路输出。在hadoop-v2-u7中转载 2012-05-28 17:47:14 · 631 阅读 · 0 评论 -
java缓存读写文件小例子
在一个叫掏你屋的博客上看到的小例子,缓存读写文件: package com.taoniwu; import java.util.regex.*; import java.io.*; public class TestRead { public staticvoid main (String[] args) { File file=new Fi转载 2012-08-20 15:38:02 · 915 阅读 · 0 评论 -
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件Hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.tmp.dir/home/zhangzk/hadoopA base转载 2013-04-24 11:47:09 · 441 阅读 · 0 评论 -
Java读SequenceFile
protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); interestfile = context.getConfiguration().get("interestfile"); Configurati原创 2013-06-18 11:33:05 · 1144 阅读 · 0 评论 -
java获取网页信息或提交请求函数
import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.UnsupportedEncodingException;import java.net.MalformedURLException;import java.net.UR原创 2013-06-24 14:25:49 · 820 阅读 · 0 评论 -
java 自动识别并解压HDFS压缩文件
使用java读取gz压缩的hdfs文件根据hdfs文件的后缀类型自动识别并解压: Path hdfsPath = new Path(args[0]); Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf); Compressio转载 2014-03-11 18:04:18 · 3346 阅读 · 0 评论