hadoop编译
迷途小码
大数据及后台开发
展开
-
Linux protobuf 2.5.0 安装
下载地址:https://code.google.com/p/protobuf/downloads/list,要下载2.5.0版本噢(编译hadoop-2.2.0需要)tar zxvf protobuf-2.5.0.tar.gzcd protobuf-2.5.0./configure --prefix=/usr/ #注:默认可能会安装在/usr/local目录下,可以加--prefi原创 2014-03-06 11:18:50 · 2364 阅读 · 0 评论 -
CentOS编译Hadoop 2.2.0 (cannot access AbstractLifeCycle)
1. 不要使用最新的 Maven3.1.1,与Maven3.0.x存在兼容性问题,所以老是出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。我选择环境如下:Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da转载 2014-11-03 16:32:09 · 727 阅读 · 0 评论 -
Hadoop 2.2 and Maven
Question:I wanted to switch from Hadoop 1.2.1 to Hadoop 2.2. In my project I'm using Maven and it can handle转载 2014-04-11 15:02:50 · 1005 阅读 · 0 评论 -
Hadoop1.x中的libhdfs和fuse-dfs构建快速云存储
安装版本:OS版本:CentOS 5.4Hadoop版本:0.20.203.0gcc:系统默认4.1.2Jdk:1.6.0.21FUSE:2.7.4环境需求:automake,autoconf,m4,libtool,pkgconfig,fuse,fuse-devel,fuse-libs。需要外部下载ant 1.8.2,在apach转载 2013-07-16 16:00:43 · 1441 阅读 · 0 评论 -
Ubuntu上使用Hadoop 2.x 三 编译2.2.0 64bit版本
下载源代码:[plain] view plaincopyprint?wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz 然后解压:[plain] view plaincopyprint?tar zxvf ha转载 2014-04-17 09:08:52 · 1173 阅读 · 0 评论 -
hdfs-over-ftp安装与配置
https://github.com/iponweb/hdfs-over-ftp1 安装jdk(1.6以上版本)并配置环境变量分别执行java -version和javac -version,若显示版本正确,则说明安装和配置成功 2 安装hadoop,并将服务启动并配置环境变量执行hadoop version,若显示正确版本号,说明安装和配置成功3 安装maven(3.转载 2013-07-17 16:53:06 · 1390 阅读 · 0 评论 -
Hadoop1.x 源码修改编译执行
以rpm方式安装的hadoop-1.1.2为例:1.cmd进入到$HADOOP_HOME目录中运行ant命令,就可以编译成功了,他会在$HADOOP_HOME目录下生成一个build目录,build目录下会生成新的jar包。2.将该jar包覆盖掉所有节点上的/usr/share/hadoop/(如果是tar.gz直接解压的话,目录是$HADOOP_HOME/)目录下的hadoop-*-1.原创 2013-07-25 17:36:45 · 3506 阅读 · 0 评论 -
CentOS 6.4 64位 源码编译 hadoop 2.2.0
搭建环境:Centos 6.4 64bit1、安装JDK 参考这里2、安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip解压文件后,同样在/etc/profie转载 2014-03-06 11:35:49 · 1267 阅读 · 0 评论 -
Ubuntu 编译安装 hadoop 2.2.0
Map Reduce什么的我是不懂啊。 今天是帮马同学搭建hadoop。 用的2.2.0版本,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告。 Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位。 解决的办法就是重新在64位的机器上转载 2014-03-06 11:27:10 · 737 阅读 · 0 评论 -
hadoop 2.0.0 fuse 安装 libhdfs fuse-dfs 编译
一、环境配置 1.主机系统:RedHat Enterprise Linux 6.1 (X86_64) hadoop版本:hadoop-2.0.0-cdh4.3.0 JDK的版本:jdk1.6.0_45 ant的版本:apache-ant-1.8.2 maven的版本:apache-转载 2014-03-06 11:57:01 · 1900 阅读 · 0 评论 -
hadoop编译报错
错误1:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:[ERRO转载 2015-10-20 13:11:56 · 1966 阅读 · 0 评论