一.系统环境介绍
1.系统:linux centos7 64位
2.开发工具:eclipse neno
3.hadoop版本:hadoop 2.5.2
4.java版本:jdk1.8
5.proto版本:2.5.0
6.maven
二。安装前准备
配置jdk maven。。。。
编译安装proto,并配置环境变量
三。编译hadoop
在源码根目录执行
mvn eclipse:eclipse –DskipTests
四。导入eclipse工程
五。错误处理
1.maven下载pom文件失败-->重新执行或者修改maven地址
2.hadoop-streaming中build path错误、
1.删除...hadoop-yarn-server-resourcemanager/conf
2.Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,名字conf
3.org.apache.hadoop.io.serializer.avro.TestAvroSerialization
下载avro-tools-1.7.4.jar:http://archive.apache.org/dist/avro/avro-1.7.4/java/
进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\avro
java -jar path/to/avro-tools-1.7.4.jar compile schema avroRecord.avsc ..\java
4.org.apache.hadoop.ipc.protobuf.TestProtos
进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\proto
protoc --java_out ../java *.proto