hadoop
文章平均质量分 77
Pirate_G
这个作者很懒,什么都没留下…
展开
-
Hadoop Map/Reduce教程
目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见:Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 概述Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并转载 2012-05-31 17:37:36 · 838 阅读 · 0 评论 -
MapReduce编程练习(一)
蒙特卡罗概率算法求π值的MapReduce并行实现 分析:我们可以按如下方法让计算变得可并行化:1. 在正方形内随机地生成一些点2. 计算这些点在圆形内的个数3. p = 圆形内的点的个数正方形内的点的个数4. π = 4p 代码:(注:为了简单起见,我选用正方形1/4区域计算)(1)Driver:public class piDriver { pu原创 2013-01-09 21:24:30 · 853 阅读 · 0 评论 -
Hadoop自定义InputFormat
本文定义的InputFormat主要用于处理不需要分割的文件(例如视频,音频等),并将并将key值定为文件名,value值定为文件路径代码如下:public class videoInputFormat extends FileInputFormat{ private static class videoRecordReader extends RecordReader{原创 2013-01-23 17:16:31 · 633 阅读 · 0 评论 -
Ganglia监控Hadoop
Ganglia集群监控配置操作系统环境:ubuntu-11.04-server-i386集群环境:namenode 192.168.1.1datanode1 192.168.1.2datanode2 192.168.1.3安装步骤1.ganglia的服务端安装在namenode上$ sudo apt-get install ganglia-moni转载 2013-01-04 10:11:12 · 1212 阅读 · 3 评论 -
Fuse-dfs on Ubuntu 11.04
首先需要有Hadoop环境和java(sun-java6-jdk)。(此处不再详述)1.环境需求sudo apt-get install gcc g++ make gawk ant automake2.安装Fuse下载Fuse,这里我用的是Fuse-2.8.4tar xvf Fuse-2.8.4.tar.gz ./configure --prefi原创 2012-12-29 16:56:04 · 1042 阅读 · 0 评论 -
Hadoop集群搭建
一 配置环境ubuntu 11.044台ubuntu11.04的虚拟机IP地址分别为:server1:59.64.158.209(指定为namenode)server2:59.64.159.145;server3:59.64.159.89;server4:59.64.159.156二 配置步骤1 使用VMware Workstation安装ubuntu11.04过程略去原创 2012-05-24 10:36:20 · 423 阅读 · 0 评论 -
MapReduce组合式,迭代式,链式
1.迭代式mapreduce一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务,例如Pagrank,Kmeans算法都需要多次的迭代,关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce的输出结果,作为下一个ma转载 2012-11-09 20:58:07 · 578 阅读 · 0 评论 -
解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
在eclipse运行某些关于hdfs的Java API时,可能会遇到如下问题:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory at org.apache.hadoop.conf.Configuration.(Configuration.java:原创 2012-10-24 11:24:33 · 5929 阅读 · 0 评论 -
eclipse+makefile开发hadoop
注:此篇文章是我在别的地方转载过来的,原文出处:http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617#a2.1安裝hadoop的eclipseplugin。在eclipse下开发hadoop程序很方便,但之前试了很多版本的eclipse都没有成功。有幸找到这篇文章,按照其一步一步配置,最后成功了。希望能给看到的人一些帮助。还有文中提到的hadoop-0转载 2012-09-20 15:33:56 · 956 阅读 · 0 评论