![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
下木
关注分布式计算,操作系统以及计算机体系结构. 微博:http://weibo.com/u/2120698533
展开
-
为Hadoop的MapReduce程序编写makefile
最近需要把基于hadoop的MapReduce程序集成到一个大的用C/C++编写的框架中,需要在make的时候自动将MapReduce应用进行编译和打包。这里以简单的WordCount1为例说明具体的实现细节,注意:hadoop版本为2.4.0.原创 2014-07-15 13:34:53 · 2921 阅读 · 0 评论 -
Eclipse中运行MapReduce程序时控制台无法打印进度信息的问题
一般会在控制台上打印以下信息: log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/lo原创 2014-05-26 11:12:27 · 7737 阅读 · 0 评论 -
编译hadoop-2.4.0的eclipse插件
当前hadoop的最新版本是2.4.0,当前java的最新版本是原创 2014-05-26 11:35:10 · 1623 阅读 · 5 评论 -
在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
最近开始使用MapReduce,发现网上大部分例子都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理,这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。 本文以一个简单的应用场景为例:对按照二进制格式存储的整数做频数统计。以此来说明如何重写FileInputFormat来实现对非文本数据的处理。原创 2014-05-27 16:43:50 · 3212 阅读 · 1 评论 -
编译hadoop-2.4.0之HDFS的64位C++库
如果使用C++或者C语言进行分布式文件系统开发,HDFS是自然首选的分布式文件系统。HDFS提供了C/C++接口,但是这些接口在使用时需要我们在自己的机器上编译成库。本文简单的说明如何根据hadoop源代码中的C/C++文件制作可以使用HDFS设施的64位库.网上提到的很多的办法都是需要对整个hadoop进行编译,这个过程非常漫长,其实只需要编译C/C++文件即可。除此之外,本文也将说明如何利用hadoop自带的C++接口测试代码来验证编译的库是否可用.原创 2014-05-26 12:51:30 · 1715 阅读 · 0 评论 -
Hadoop中解决跨split问题
Split是逻辑分块,通过RecorderReader的进行key-value化是Mapper的输入数据,原创 2014-08-08 11:25:40 · 1084 阅读 · 0 评论 -
Hadoop问题记录:Wrong FS: hdfs://hp5-249:9000/, expected: file:///
一般在对文件操作的时候可能出现这个问题,可能是打开文件的时候出错,也可能是对目录进行遍历的时候出问题。 出现这种问题一般是在eclipse中运行hadoop的时候出现,直接切换到shell下发送命令,可能不会出现这个问题。 假设当前在eclipse的项目目录下,具体解决办法如下:原创 2014-11-08 21:01:04 · 1486 阅读 · 0 评论