![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop应用
文章平均质量分 80
kokojhuang
这个作者很懒,什么都没留下…
展开
-
Hadoop CDH4伪分布式安装
对于一名Hadoop开发人员来说,第一件事就是需要安装一个自己的Hadoop环境供日常的开发及学习使用,本文主要介绍如何安装Hadoop CDH4的伪分布式环境。 由于Hadoop是由Java编写,因此需要运行在JDK 1.6以上平台,所以第一步需要安装相应的JDK。相应的JDK可以通过下面这个连接下载。 JDK Download Page 安装JDK [kevin原创 2012-12-06 23:08:33 · 1637 阅读 · 0 评论 -
自定义Hadoop Writable
hadoop中已经定义了很多Writable的实现,基本上可以符合我们日常使用,但是在一些特殊的场景我们可能还是需要自己去实现Writable,下面主要说明如何去实现自己的Writeable,及使用自定义的Writable作为map/reduce中的key值时遇到的一些问题。 首先需要实现org.apache.hadoop.io.Writable这个接口,该接口有write和readFields原创 2012-12-09 22:36:14 · 2867 阅读 · 0 评论 -
map/reduce unit test
由于Map/Reudce Job是运行在hadoop分布式环境中,所以给日常开发map/reduce的时候带来了很多不便,包括调试或者测试等。但是Apache下面一个开源的项目(MRUnit)可以对Map/Reduce进行单元测试,这样就可以使用单元测试用例来对Map/Reduce进行Debug,从而也可能通过丰富的测试用例来进行测试。可以在本地开发机上保证基本业务正确的前提下,再发布到hadoo原创 2012-12-21 16:21:18 · 1230 阅读 · 0 评论