Hadoop 实战之使用RegexMapper

大家好，今天给大家介绍一下Hadoop一些有用的Mapper实现

IdentityMapper<K,V>: 实现了Mapper<K,V,K,V> 将输入直接映射为输出
InverseMapper<K,V>:实现了Mapper<K,V,V,K> 逆置key/value对
RegexMapper<K>: 实现了Mapper<K,Text,Text,LongWritable>,对匹配的项生成(match,1)对
TokenCount<K>: 实现了Mapper<K,Text,Text,LongWritable>,生成(token,1)对

为了便于大家更好地理解，我写了一个RegexMapperTest

环境：Vmware 8.0 和Ubuntu11.04

Hadoop 实战之使用RegexMapper

第一步：首先创建一个工程命名为HadoopTest.目录结构如下图:

第二步: 在/home/tanglg1987目录下新建一个start.sh脚本文件，每次启动虚拟机都要删除/tmp目录下的全部文件，重新格式化namenode，代码如下：