mapreduce
sherld
这个作者很懒,什么都没留下…
展开
-
MapReduce应用开发 简单筛选日志
利用hadoop eclipse插件可以方便的开发MapReduce程序,下面是一个简单的提取日志信息的示例,主要将日志中第一列、第二列和第六列中的信息提取出来,在代码中主要开发map的程序,reduce的使用hadoop的默认程序原创 2014-12-30 20:21:25 · 814 阅读 · 0 评论 -
MapReduce应用开发 倒排索引 以及打包在linux下运行
下面是一个简单的利用mapreduce进行倒排索引的开发 1.Mapper主要分割原始数据 以被叫作为KEY 以主叫作为VALUE 2.Reducer拥有相同被叫的主叫号码的一个集合 把主叫号码汇总 输出倒排索引 数据信息 算法实现 import java.io.IOException; import org.apache.hadoop.conf.Configurati原创 2014-12-31 16:23:04 · 658 阅读 · 0 评论