Hadoop 源码编译（CDH版）

最新推荐文章于 2024-04-12 04:46:23 发布
最新推荐文章于 2024-04-12 04:46:23 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44591209/article/details/89308513
版权
本文详细介绍了如何编译Hadoop-2.6.0-cdh5.7.0源码，包括为何要进行源码编译、前置需求如JDK和Maven的版本要求，以及编译过程，包括依赖库安装、protobuf配置和编译命令的执行。通过编译解决默认压缩格式不支持的问题，并提供了解决编译中可能出现的问题的建议。
摘要由CSDN通过智能技术生成

本文使用的hadoop版本为 hadoop-2.6.0-cdh5.7.0

为什么要源码编译？

      直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群对于许多的压缩格式都是不支持的（如下图），生产上是不可接受的，故需要重新编译hadoop使之支持压缩。

源码包下载地址 ： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0-src.tar.gz

前置需求

源码包中的BUILDING.txt文件中说明了编译的一些需求：

Unix系统： 这里使用的是centos7.6

JDK ：必须用1.7 ，用1.8会出错。下载地址：

https://www.oracle.com

最低0.47元/天 解锁文章
CentOS 64位上编译 Hadoop 2.6.0
(Andrew)的专栏
03-19 8368
1.操作系统编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装JDK 下载JDK1.7，注意只能用1.7，否则编译会出错 http://www.oracle.com/tech
CDH版本hadoop的源码编译
面向星辰大海
10-10 3542
在安装CDH版本的hadoop的时候, 我们下载下来的CDH的hadoop安装包中, 并没有native包, 所以我们在使用本地库 (本地库可以用来做压缩, 以及支持C程序等等) 的时候就会出问题, 好了废话不多说, 接下来看如何编译. 首先我们打开src目录下的BUILDING.txt文件 能够看到, 在官方说明中已经写明了编译所需要的准备工作 准备工作: linux系统 (准备一台干净的...
cloudera-hive-cdh6.3.2源码包
07-28
cloudera-hive-cdh6.3.2源码包
hadoop2.6.0-cdh5.14.0 源码
06-07
hadoop-2.6.0-cdh5.14.0 源码 。
Hadoop编译
极客驿站
12-26 1178
硬件环境 环境：同方龙芯两路服务器，操作系统 64 位 loongnix 下载重新编译需要的软件包 前期准备 部署JAVA环境 loongnix默认已经安装 [root@localhost hadoop-2.6.4-src]# java -version openjdk version "1.8.0_202" OpenJDK Runtime Environment (Loongson 8.1.2-loongson3a-Fedora) (build 1.8.0_202-b08
HADOOP编译
lx940112的博客
05-20 1030
1.编译Hadoop的环境要求（摘抄自GitHub上Apache/Hadoop的BUILDING.txt）：* Unix系统* JDK 1.8* Maven 3.3或更高版本* ProtocolBuffer 2.5.0* CMake 3.1或更新（如果编译本机代码）* Zlib devel（如果编译本地代码）* Cyrus SASL devel（如果编译本机代码）* One of the comp...
Hadoop 源码编译所需软件
12-14
通过以上步骤，我们可以看到，"Hadoop CDH 源码编译所需软件"这个主题涵盖了大数据处理的关键组件和最佳实践，如高效的压缩算法和静态代码分析工具。这些工具和技术的使用对于优化Hadoop CDH的性能、稳定性和安全性...
编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包
12-20
- 下载Hadoop源码：从Apache官网或其他镜像站点下载Hadoop 2.5.0的源码包。 - 下载Snappy源码：同样，从Google的GitHub仓库获取Snappy的源码。 3. **编译Snappy**： - 解压Snappy源码，进入目录。 - 运行`./...
cdh版hadoop2.6.0-cdh5.13.1源码编译
vist_1的博客
01-29 3446
首先确定要编译的hadoop版本，本次编译的是Cloudera公司的hadoop-2.6.0-cdh5.13.1 Apache版下载地址：http://mirrors.shuosc.org/apache/hadoop/common/ cdh版下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 编译步骤： 在虚拟机上安装如下软件和依赖库：（可在源
hadoop-2.6.0-cdh5.15.1源码编译
cllblogs
09-06 292
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
1. Hadoop源代码编译
cl2010abc的专栏
05-19 810
安装
Hadoop源码编译
weixin_40173707的博客
05-22 1613
准备前期工作 1、CentOS联网 使用能连接外网的CentOS系统虚拟机，使用root用户进行编译，避免出现文件夹权限问题。 2、Jar包准备 从官网下载以下安装包 （1）hadoop-3.1.3-src.tar.gz （2）jdk-8u212-linux-x64.tar.gz （3）apache-maven-3.6.3-bin.tar.gz （4）protobuf-2.5.0.tar.gz（序列化的框架） （5）cmake-3.13.1.tar.gz Jar包安装 1、上传软件包到指定的目录,例如 /o
Hadoop-CDH源码编译
weixin_30877755的博客
01-12 316
* Hadoop-CDH源码编译 这一节我们主要讲解一下根据CDH源码包手动编译的过程，至于为什么要使用CDH，前几节已经说明，那为什么又要自己手动编译，因为CDH的5.3.6对应的Hadoop2.5.0没有native动态库，很多压缩功能无法使用。 * 首先源码包下载： http://archive.cloudera.com/cdh5/cdh/5/ 找到对应的 ：hadoop-2.5...
hadoop的编译过程
浅谈
06-08 695
Hadoop的编译包括JDK的安装部署、maven的安装部署、findbugs的安装、Protobuff的安装、snappy的安装等等
Hadoop的源码编译
wazk2008的博客
12-27 473
一、为什么要源码编译 Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries) 的概念。说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。linux系统要运行Native 代码，首先要将Native 编译成目标CPU 架构的[.so]文件。而不同的处理器架构...
hadoop学习（二）编译源码
qq_40282466的博客
04-08 368
这里写自定义目录标题1.前期准备工作2.jar包安装3.编译源码 1.前期准备工作 CentOS CentOS能连外网，Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u...
【Hadoop】Hadoop 编译源码
最新发布
2401_84183033的博客
04-12 1045
【代码】【Hadoop】Hadoop 编译源码。
Hadoop编译完整过程
Mowen_Yi的博客
07-07 1128
前言在编译Hadoop的过程中，我感受到了用老版本的软件会造成很多不必要的问题，用最新的稳定版本是最好的选择，这样做的原因是大部分的软件都是向下兼容的，但是基本不会有向上兼容的情况出现，比如jdk1.8编译的程序不一定能在jdk1.7的环境下执行，但是jdk1.7编译的程序却基本都能在jdk1.8的环境下执行，这就是选择最新版本的软件所带来的好处。（当然也有例外，例如Python2.x和Pytho...
Hadoop 2.6.0 CDH5.14.2编译后源码包解读
具体而言，文件'hadoop-2.6.0-cdh5.14.2.tar.gz'是Hadoop的源码压缩包，而'hadoop-2.6.0-cdh5.14.2_after_compile.tar.gz'很可能是Hadoop源码编译后的二进制包，意味着开发者已经对源码进行了编译。'hadoop-2.6.0-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值