修改hadoop源码后,hadoop和spark的编译过程

在遇到修改Hadoop源码后,Hadoop和Spark编译过程中资源管理器无法连接的问题,尝试在yarn-site.xml配置未见效。进一步检查发现需修改spark-assembly.jar内的yarn-default.xml,完成修改并重新打包后,问题得到解决,程序运行恢复正常。
摘要由CSDN通过智能技术生成

近期对hadoop2.0源码做了一些修改,根据业务需要,添加了一点小小的功能。而且我们的hadoop2.0环境上同时运行着MapReduce和spark计算框架,所以hadoop源码的修改同时涉及到了hadoop的重新编译,以及spark的重新编译。下面是对编译过程的一点记录。编译的主要难点和关键在对spark的编译。
版本:
hadoop: cdh5.1.0-hadoop2.3.0
spark: spark1.0.2

hadoop源码的编译
1. 环境准备
(1) 安装maven3 。(这个过程很简单,就不描述了,只要下载maven包后解压,配置环境变量就可以了。注意版本,我的版本是apache-maven-3.1.1。)
(2) 安装protobuf-2.5.0。
(3) 其他需要的环境: yum install autoconf automake libtool ant gcc gcc-c++  make cmake openssl-devel ncurses-devel
2. 下载cdh5.1.0的源码包并解压:
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值