shujuboke的博客

Windows下Eclispe远程开发Mapreduce程序1.将hadoop-eclipse-plugin-2.6.0.jar拷贝到MyEclispe安装目录下的/plugins文件夹下2.Windows安装hadoop         1)解压hadoop-2.5.0.tar.gz到D:/根目录         右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序

我前段时间在完成一个公司业务时，遇到了一个这样的需求：将HDFS上按每天每小时存储的数据进行数据预处理，然后对应按天存储在HDFS........由此可得，MapReduce的输入路径是：[plain] view plain copy/user/data/yyyy/MM/dd/HH/  每天有24小时，dd/目录下

MultiPleOutputs原理MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的

MultipleInputs类指定不同的输入文件路径以及输入文化格式 现有两份数据 phone 123,good number 124,common number 125,bad number user zhangsan,123 lisi,124 wangwu,125 现在需要把user和phone按照phone number连接起来。得到下面的结果

之前有童鞋问到了这样一个问题：为什么我在 reduce 阶段遍历了一次 Iterable 之后，再次遍历的时候，数据都没了呢？可能有童鞋想当然的回答：Iterable 只能单向遍历一次，就这样简单的原因。。。事实果真如此吗？还是用代码说话：[java] view plain copypackage com.test;    

单词计数是最简单也是最能体现MapReduce思想的程序之一，该程序完整的代码可以在Hadoop安装包的src/examples目录下找到单词计数主要完成的功能是：统计一系列文本文件中每个单词出现的次数，如图所示：   1）源代码程序package org.apache.hadoop.examples;import java.io.I

一. MapReduce编程模板类结构图二. MapReduce模板代码骨架package com.hadoop.senior.mapreduce;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Conf

StringTokenizer类：根据自定义字符为分界符进行拆分，并将结果进行封装提供对应方法进行遍历取值，StringTokenizer 方法不区分标识符、数和带引号的字符串，它们也不识别并跳过注释；该方法用途类似于split方法，只是对结果进行了封装；StringTokenizer的三个构造方法：1.StringTokenizer(String str) ：被分割对象str，分隔符

Java中迭代器的使用由于Java中数据容器众多，而对数据容器的操作在很多时候都具有极大的共性，于是Java采用了迭代器为各种容器提供公共的操作接口------说明与具体的数据结构无关。使用Java的迭代器iterator可以使得对容器的遍历操作完全与其底层相隔离，可以到达极好的解耦效果。 public interface Iterable　　 IteratorT> iterator()