Hadoop native本地库的编译

最新推荐文章于 2024-06-17 12:39:33 发布

rpmdeb

最新推荐文章于 2024-06-17 12:39:33 发布

阅读量609

点赞数

分类专栏： hadoop 文章标签： native hadoop

本文链接：https://blog.csdn.net/weixin_44144932/article/details/98998319

版权

本文详细介绍了如何编译Hadoop的native本地库，包括检查本地库的步骤、环境准备，如系统依赖、protobuf和snappy的安装，以及如何编译源码和验证编译结果。

摘要由CSDN通过智能技术生成

hadoop源码编译native本地库

1. 检查本地库

hadoop checknative -a
19/08/09 22:13:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Native library checking:
hadoop:  false 
zlib:    false 
snappy:  false 
lz4:     false 
bzip2:   false 
openssl: false 
19/08/09 22:13:04 INFO util.ExitUtil: Exiting with status 1

二进制安装的hadoop目录的native是空的，什么都没有，所以checknative 都是false

2. 环境准备

文件如下

1.1.3.tar.gz（snappy，github可以下载）
apache-maven-3.0.5-bin.tar.gz     
jdk-7u80-linux-x64.tar.gz	
apache-ant-1.9.13-bin.zip  
hadoop-2.6.0-cdh5.x.x-src.tar.gz  
protobuf-2.5.0.tar.gz	（github可以下载）