hadoop
文章平均质量分 70
qq_35488275
这个作者很懒,什么都没留下…
展开
-
hadoop之map shuffle reducer 过程
转载自http://bit1129.iteye.com/blog/2184239深入Spark Shuffle之前,首先总结下Hadoop MapReduce的Shuffle过程,了解了Hadoop MR的shuffle过程,有助于对Spark的Shuffle过程的理解 Hadoo MapReduce的Shuffle总体流程图 问题:下图中Map转载 2017-03-20 13:22:46 · 967 阅读 · 0 评论 -
hadoopAPI之FileSystem和FSDataInputStream对象
这个程序将一个文件读取两编利用了FileSystem的open方法创建一个InputStream赋值给FSDataInputStream。import java.io.IOException;import java.net.URI;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configurati原创 2017-03-27 16:09:27 · 754 阅读 · 0 评论 -
HDFS之删除数据
import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class FSdelete { publ原创 2017-03-27 16:26:14 · 2332 阅读 · 0 评论 -
hadoop之Writable序列化
代码如下:import java.io.ByteArrayInputStream;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.IOException;import org.apache.commons.io.output.ByteArrayOutputStream;impo原创 2017-03-15 21:27:04 · 366 阅读 · 0 评论 -
hadoopAPI之LineReader类
在keams算法代码里发现其中用了一个LineReader类中的readline方法故查看api代码中用了第三个方法创建了一个lineReader实例在调用lineReader实例的readline(String)方法把输入流fsis中的一行写入到Text型的line中返回一个int型如果大于零说明这一行不为空。原创 2017-03-25 16:58:53 · 739 阅读 · 0 评论 -
mapreduce代码整理之实现压缩输出减少网络传输
在mian函数里这样写public static void main(String[] args) throws Exception { Configuration conf = new Configuration();conf.setStrings("mapred.tasktracker.reduce.tasks.maximum", "4");conf.setClass("mapred.原创 2017-04-05 11:17:49 · 485 阅读 · 0 评论