hadoop
逆风飞翔
我是一个简单的人,我喜欢技术,因为它可以让我感觉到成就感、感觉到快乐......
展开
-
Hadoop的源起----lucene
背景:Doug Cutting开创的开源软件,用java书写代码,实现类似google的搜索。2003-2004年,google公开了部分GFS和Mapreduce思想的细节,以此为基础DougCutting等人用了2年业余时间实现DFS和Mapreduce机制。Yahoo诏安Doug Cutting及其项目Hadoop于2005年秋天作为Lucene的子项原创 2013-08-05 16:43:16 · 1014 阅读 · 0 评论 -
【hadoop】hbase原理
前言: hadoop每一次修改,并不改变原来的数据,而是增加一行。删除也不是删除数据,而是增加一个记号,某一个行间被删除了。hbase是基于hdfs文件系统。Hbase安装:单机模式下载及解压hbase安装包修改conf/hbase-env.sh脚本,设置环境变量编辑hbase-site.xml进行配置启动Hbase原创 2013-08-16 10:49:00 · 1010 阅读 · 0 评论 -
org.apache.maven.plugin.MojoExecutionException: protoc failure
build hadoop 23 真的是千辛万苦,错误贴出来[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPSHOT:protoc (compile-protoc) on project hadoop-c [Help 1]org.apache.maven.lifec原创 2013-08-28 11:12:58 · 17889 阅读 · 1 评论 -
Hadoop 集群配置
先决条件1.先决条件,先安装好hadoop、sun-jdk、ssh etc2.jdk1.5+,必须安装。3.ssh本息安装并且保证sshd一直运行。准备工作操作系统:ubuntu我有两台机器:分别是 172.21.77.119 ,和172.21.78.63 两台物理ubuntu服务器。准备机器:一台master、若干台s原创 2013-08-16 17:00:22 · 847 阅读 · 0 评论 -
hadoop0.23 源码编译 错误及原因
1 编译 mvn clean install -Dmaven.test.skip=true[INFO] BUILD FAILURE[INFO] ------------------------------------------------------------------------[INFO] Total time: 36.016s[INFO] Finished原创 2013-08-26 15:19:48 · 2086 阅读 · 0 评论 -
编译hadoop 0.23 问题解决
1 .下载hadoop 0.23版本git clone .......git checkout ......git branch .....git checkout branch_XX2. 进入branch目录查看内容 vi buildXXXX.txtBuild instructions for Hadoop---原创 2013-08-26 16:04:36 · 1055 阅读 · 0 评论 -
【hadoop错误】Cannot run program "chmod": CreateProcess error=2 异常
解决办法:1.首先,看是否安装了cygwin,如果没有安装,直接到http://www.cygwin.com/下载。2.其次,如果安装好了,cygwin,配置好环境变量,并且配置到当前用户。3.就可以了,配置好main方法的args,hdfs://feixiang:9000/user/hadoop/input hdfs://feixiang:9000/user原创 2013-08-12 14:31:09 · 4034 阅读 · 0 评论 -
maven 编译hadoop错误解决
hadoop编译错误mvn eclipse:eclipse [INFO] ------------------------------------------------------------------------[INFO] Reactor Summary:[INFO][INFO] Apache Hadoop Main ....................原创 2013-08-23 17:25:47 · 8089 阅读 · 0 评论 -
Map-Reduce工作机制剖析
原创 2013-08-08 09:54:35 · 1043 阅读 · 0 评论 -
hadoop在ubuntu下的安装配置
一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的,没错,是在虚拟机上在安装虚拟机,然后安装ubuntu具体安装过程就不描述了,不过安装过程确实慢,除非你的网络很快。12.04的新主题使用真是别扭,在登陆界面切换到gonme classic,这里可以使用windows共享,可以很方便的从硬盘或者其他机器拉东西回来。原创 2013-08-06 16:25:59 · 788 阅读 · 0 评论 -
hadoop 源码分析一
由于本人愚笨,光阴似箭、日月如梭、随着年龄的增长,看着那么多大牛,写出了那么多知名的框架,对于框架的知识,不仅仅想知道怎么去使用它,还想为什么别人是这样设计,这样声明类和接口,就好比刚刚开始看的HDFS文件系统一样,为什么会有Fimage类对象和edits对象。我脑子里面总是在想,很多事情是从简单到复杂的,看hadoop的代码也是,所以我就从hadoop的最简单、最基础的地方开始。我首先下原创 2013-09-06 16:47:00 · 1450 阅读 · 0 评论