Pirate_G-CSDN博客

原创 Hadoop自定义InputFormat

本文定义的InputFormat主要用于处理不需要分割的文件（例如视频，音频等），并将并将key值定为文件名，value值定为文件路径代码如下：public class videoInputFormat extends FileInputFormat{ private static class videoRecordReader extends RecordReader{

2013-01-23 17:16:31 641

原创 MapReduce编程练习（一）

蒙特卡罗概率算法求π值的MapReduce并行实现分析：我们可以按如下方法让计算变得可并行化:1. 在正方形内随机地生成一些点2. 计算这些点在圆形内的个数3. p = 圆形内的点的个数正方形内的点的个数4. π = 4p 代码：（注：为了简单起见，我选用正方形1/4区域计算）（1）Driver：public class piDriver { pu

2013-01-09 21:24:30 878

转载 Ganglia监控Hadoop

Ganglia集群监控配置操作系统环境：ubuntu-11.04-server-i386集群环境:namenode 192.168.1.1datanode1 192.168.1.2datanode2 192.168.1.3安装步骤1.ganglia的服务端安装在namenode上$ sudo apt-get install ganglia-moni

2013-01-04 10:11:12 1277 3

原创值得分享学习的网站和博客

Python学习：简明Python教程：http://woodpecker.org.cn/abyteofpython_cn/chinese/Hadoop学习：Hadoop学习记录：http://lory-yang.com/2012/08/31/hadoop%e7%9a%84%e8%b5%b7%e6%ba%90/Sed学习：Sed简明教程：http://coolshell.cn/

2013-01-03 10:22:37 614

原创 Fuse-dfs on Ubuntu 11.04

首先需要有Hadoop环境和java（sun-java6-jdk）。（此处不再详述）1.环境需求sudo apt-get install gcc g++ make gawk ant automake2.安装Fuse下载Fuse，这里我用的是Fuse-2.8.4tar xvf Fuse-2.8.4.tar.gz ./configure --prefi

2012-12-29 16:56:04 1062

转载 MapReduce组合式，迭代式，链式

1.迭代式mapreduce一些复杂的任务难以用一次mapreduce处理完成，需要多次mapreduce才能完成任务，例如Pagrank，Kmeans算法都需要多次的迭代，关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。在map/reduce迭代过程中，思想还是比较简单，就像类似for循环一样，前一个mapreduce的输出结果，作为下一个ma

2012-11-09 20:58:07 584

原创解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory

在eclipse运行某些关于hdfs的Java API时，可能会遇到如下问题：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory at org.apache.hadoop.conf.Configuration.(Configuration.java:

2012-10-24 11:24:33 5933

注：此篇文章是我在别的地方转载过来的，原文出处：http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617#a2.1安裝hadoop的eclipseplugin。在eclipse下开发hadoop程序很方便，但之前试了很多版本的eclipse都没有成功。有幸找到这篇文章，按照其一步一步配置，最后成功了。希望能给看到的人一些帮助。还有文中提到的hadoop-0

2012-09-20 15:33:56 981

转载启动tomcat无法访问http://localhost:8080/的解决方案

当在eclipse中启动tomcat后,在浏览器器输入http://localhost:8080/,无法打开我们熟悉的tomcat默认主页,而http://localhost:8080/projectpath却可以进入项目主页,这是为什么呢?其实很简单,几步就解决问题:首先,找到servers标签(别告诉我你找不到啊,这样我就无话可说了),找到你已经配置好的tomcat,看看t

2012-09-18 21:54:52 3220

转载 Hadoop Map/Reduce教程

目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。概述Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并

2012-05-31 17:37:36 848

原创 Hadoop集群搭建

一配置环境ubuntu 11.044台ubuntu11.04的虚拟机IP地址分别为：server1：59.64.158.209（指定为namenode）server2：59.64.159.145；server3：59.64.159.89；server4：59.64.159.156二配置步骤1 使用VMware Workstation安装ubuntu11.04过程略去

2012-05-24 10:36:20 431

转载 UBUNTU 下编译安装opencv 2.3.1

1.首先在终端运行下列命令进行必要的编译环境安装。sudo apt-get installbuild-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg62-dev libtiff4-dev cmake libswscale-dev libjasper-dev2.下载相应的版本到电脑里面，这里我们以下载Ope

2012-05-24 09:35:51 483

Pirate_G的专栏