dcxhun3的博客

经过几天的努力与查资料，终于实现了分布式模式下运行C++版的MapReduce。下面介绍主要步骤和遇到的问题及解决方案。系统配置：在Linux系统上已安装好hadoop 2.5.2版本（本人系统为CentOS7.0（64位系统）。选择工具：Hadoop采用java编写，因而Hadoop天生支持java语言编写作业，但在实际应用中，有时候，因要用到非java的第三方库或者其他原因，要

最近完成了日志处理框架，由于日志也是文本，不需要自定义读取接口（图像需要）。故主要工作就是将日志格式进行解析和对日志要进行什么操作。在map函数中，调用编写的日志解析接口实现对每一条日志的解析，然后对解析后的日志进行指定的操作。代码如下：public class Map extends Mapper { private IntWritable one = new IntWritab

现在通过自定义图像接口ImageInputFormat ImageRecordReader等，实现了基于MapReduce的图像处理。 可处理的是常见的图像格式bmp,jpg,png等，但是对于DiCOM等医学图像的处理还处于学习阶段。现在还没实现，目前的想法是利用ImageJ plugin插件实现对DICOM格式的数据进行读取，具体的解析有待进一步学习。加油！望早日实现MapReduce对D

引言解决Eclipse+JDK 32 bit+hadoop 32bit 调试并提交MapReduce作业遇到的系列问题：  Exceptionin thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)

转自：http://rensanning.iteye.com/blog/1601663海量数据（又称大数据）已经成为各大互联网企业面临的最大问题，如何处理海量数据，提供更好的解决方案，是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广，大家都在构建自己的大数据处理，大数据分析平台。 相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热