- 博客(14)
- 资源 (96)
- 问答 (1)
- 收藏
- 关注
原创 mapreduce combine
最近使用Map-Reduce的时候,有几个小问题一直困扰着我,因为刚接触Map-Reduce也没多久,对Map-Reduce整个体系没有多少认识,所以仅仅通过实验来猜测结果,慢慢积累,或许以后能阅读Hadoop的源代码。 问题如下:1、如果文件中的记录key为空,那么这些key为空的记录是否会被认为key相等呢?2、reduce结束条件是什么?3、Jo
2012-04-21 10:43:10 2317 1
mapreduce combine
最近使用Map-Reduce的时候,有几个小问题一直困扰着我,因为刚接触Map-Reduce也没多久,对Map-Reduce整个体系没有多少认识,所以仅仅通过实验来猜测结果,慢慢积累,或许以后能阅读Hadoop的源代码。 问题如下:1、如果文件中的记录key为空,那么这些key为空的记录是否会被认为key相等呢?2、reduce结束条件是什么?3、JobCon...
2012-04-21 10:43:00 98
原创 java list序列化
编图书馆的时候用了很多ArrayList,发现了反序列化后出现了如下问题:序列化前两个ArrayList中的某一元素指向同一对象,经过序列化再反序列化过程后,他们居然指向了不同对象,出现了不同步的问题,那是为什么呢? 查看一下Java.util里面的ArrayList源代码,发现ArrayList 重写了writeObject方法和readObject方法:/**
2012-04-21 10:29:12 3908
java list序列化
编图书馆的时候用了很多ArrayList,发现了反序列化后出现了如下问题:序列化前两个ArrayList中的某一元素指向同一对象,经过序列化再反序列化过程后,他们居然指向了不同对象,出现了不同步的问题,那是为什么呢? 查看一下Java.util里面的ArrayList源代码,发现ArrayList 重写了writeObject方法和readObject方法:/** * ...
2012-04-21 10:29:00 106
原创 java序列化反序列化
首先解释两个概念,何为序列化?何为反序列化?序列化:将对象转化成流的过程称为序列化反序列化:将流转化成对象的过程称之为反序列化序列化与反序列化必须遵守的原则a) Java对象在java中要想使一个java对象可以实现序列化与反序列化,必须让该类实现java.io.Serializable接口java.io.Serializable接口定义如下:
2012-04-21 10:27:33 1306
java序列化反序列化
首先解释两个概念,何为序列化?何为反序列化?序列化:将对象转化成流的过程称为序列化反序列化:将流转化成对象的过程称之为反序列化序列化与反序列化必须遵守的原则a)Java对象在java中要想使一个java对象可以实现序列化与反序列化,必须让该类实现java.io.Serializable接口java.io.Serializable接口定义如下:publicin...
2012-04-21 10:27:00 61
原创 java取得URL顶级域名
String url = "http://anotherbug.blog.chinajavaworld.com/entry/4545/0/";Pattern p = Pattern.compile("(?Matcher matcher = p.matcher(url);matcher.find();System.out.println(matcher.group());
2012-04-21 10:24:34 6100 2
java取得URL顶级域名
String url = "http://anotherbug.blog.chinajavaworld.com/entry/4545/0/";Pattern p = Pattern.compile("(?<=http://|\\.)[^.]*?\\.(com|cn|net|org|biz|info|cc|tv)",Pattern.CASE_INSENSITIVE);Matcher m...
2012-04-21 10:24:00 85
转载 hadoop InputFormat解析
在执行一个Job的时候,Hadoop会将输入数据划分成N个Split,然后启动相应的N个Map程序来分别处理它们。数据如何划分?Split如何调度(如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发:1、运行mapred程序;2、本次运行将生成一
2012-04-13 17:41:17 795
hadoop InputFormat解析
在执行一个Job的时候,Hadoop会将输入数据划分成N个Split,然后启动相应的N个Map程序来分别处理它们。数据如何划分?Split如何调度(如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发:1、运行mapred程序;2、本次运行将生成一个Job,于是JobClie...
2012-04-13 17:41:00 71
转载 用CombineFileInputFormat处理小文件的mapreduce程序
Dealing with lots of small files in Hadoop MapReduce with CombineFileInputFormatInput to Hadoop MapReduce process is abstracted by InputFormat. FileInputFormat is a default implementation th
2012-04-13 16:59:06 2513 2
用CombineFileInputFormat处理小文件的mapreduce程序
Dealing with lots of small files in Hadoop MapReduce with CombineFileInputFormatInput to Hadoop MapReduce process is abstracted by InputFormat. FileInputFormat is a default implementation ...
2012-04-13 16:59:00 60
转载 集群运行mapreduce原理
1.什么是MapReduce? MapReduce 是由Google公司的Jeffrey Dean 和 Sanjay Ghemawat 开发的一个针对大规模群组中的海量数据处理的分布式编程模型。MapReduce实现了两个功能。Map把一个函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集。而Reduce是把从两个或更多个Map中,通过多个线程,进程或者独立系统并行执
2012-04-11 15:59:28 1647 4
集群运行mapreduce原理
1.什么是MapReduce?MapReduce是由Google公司的Jeffrey Dean和Sanjay Ghemawat开发的一个针对大规模群组中的海量数据处理的分布式编程模型。MapReduce实现了两个功能。Map把一个函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集。而Reduce是把从两个或更多个Map中,通过多个线程,进程或者独立系统并行执行处理的结...
2012-04-11 15:59:00 59
myeclipse.10.0安装包+破解补丁
2012-03-25
SecureCRT7.0 官方下载及注册机和注册方法
2013-03-27
多维数据查询MDX教程(全)
2013-01-30
kettle 集成到自己的应用中_实例
2013-01-24
CDH3U4的eclipse插件(hadoop eclipse插件)
2012-12-11
java用CXF实现webservice如何自定义soapheader?
2013-06-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人