mac下编译hadoop3.0.*版本的native lib

最新推荐文章于 2019-05-11 04:29:14 发布
最新推荐文章于 2019-05-11 04:29:14 发布
阅读量3.5k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： Hadoop /lib/native
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14811559/article/details/80308434
版权

编译好的hadoop3.0.2的native 见https://download.csdn.net/download/qq_14811559/10413344

本人的hadoop版本为3.0.0，用3.0.2源码编译的也可以。

一、问题

mac安装hadoop3.0.0 后报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。

解决思路：

打开环境变量配置文件：

vi ~/.bash_profile

打开debug模式，在环境变量中加入:

export HADOOP_ROOT_LOGGER=DEBUG,console

最低0.47元/天 解锁文章
qq_14811559
关注
专栏目录
【hadoop源码研究-编译】MacBook pro编译hadoop3.4.0版本的源码
qq_41258650的博客
08-03 1200
使用mac电脑编译hadoop3.4.0版本的源码
mac 下hadoop3.0.2编译的native库
05-14
mac版本，解决hadoop3.0.0安装后无法加载本地库的问题
Mac 下编译 Hadoop
weixin_34082854的博客
05-11 225
Mac 下编译 Hadoop-2.9.2 系统环境 系统： Mac OS_10.14.4 maven： Apache Maven 3.6.0 jdk: jdk_1.8.0_201 ProtocolBuffer： portoc-2.5.0 zlib： 1.2.3-lib OpenSSL： 1_0_2r cmale： 3.14.3-win64-x64 Cygwin： 2.897_x86_64 hado...
mac系统下编译hadoop3.2.1生成的native包
06-21
mac系统下编译hadoop3.2.1源码后生成的lib/native下的包，为了解决“WARN util.NativeCodeLoader”警告，包含snappy及isa-l，编译过程可以看https://blog.csdn.net/weixin_44570264/article/details/106846117
mac hadoop2.6.0 lib/native
07-02
mac下Hadoop native library，用于解决报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。再次说明，本版本只适用于mac Hadoop 2.6.0。
mac下编译hadoop3.1.4源码生成的native库
01-25
在Mac环境下编译Hadoop 3.1.4的源码以生成其本地库是一个涉及多步骤的过程，这对于理解Hadoop的内部工作原理以及自定义配置具有重要意义。Hadoop是Apache软件基金会的一个开源项目，主要处理分布式存储和计算任务。...
hadoop-3.1.3-mac-native_lib.zip
02-23
本压缩包文件“hadoop-3.1.3-mac-native_lib.zip”专门针对macOS系统，包含了在macOS环境下编译Hadoop 3.1.3源码后得到的本地库（native library）。这些本地库对于解决macOS用户在安装或运行Hadoop时可能出现的因...
Hadoop 3.0 在Mac上面编译失败
Markiry的专栏
04-12 1316
Hadoop 3.0 在Mac OS X上编译错误记录
mac下hadoop 2.6.0编译native library
tterminator的专栏
06-28 7494
一、为什么要编译native librarymac单机模式安装Hadoop后启动，报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。 有兴趣的可以自己编译下，因为网上很多的native
hadoop 2.8.0 macOS native library
01-12
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。 该资源为 64位 macOS 系统下，hadoop 2.8.0 版本对应的本地库。 使用方法： 1.解压到已经安装好的hadoop安装目录的lib目录下。 2.增加环境变量： export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 即可解决警告问题。
hadoop_64_native_lib
11-08
解决unable to load native library的问题 mac brew install hadoop方式安装的hadoop没有lib文件夹 官方下载的hadoop包是32位的在64位机器需要编译后才可以 将lib文件放到hadoop目录中即可
hadoop lib/native
03-05
在安装hadoop时如果遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform这个错误，请下载该文件放到hadoop目录下，Mac中放到libexec目录下。
hadoop-2.6.0编译好的64bit的native库
03-23
在64位系统上运行Hadoop 2.6.0会出现以下提示： 用缺省的32位native库(/opt/hadoop-2.6.0/lib/native)会出现下面的错误: 14/01/27 10:52:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.6.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now. It's highly recommended that you fix the library with 'execstack -c ', or link it with '-z noexecstack'. 这是因为hadoop默认编译好的native库是32bit的，所以要重新编译hadoop2.6的源代码，获取64位native库，将其复制到原来安装的hadoop的native目录中替代原来的类库，然后重新运行即可。
hadoop3.1.1native文件含zstd
12-06
centos7 64位下hadoop3.1.1源码编译生native库，含zstd压缩格式
mac os x 编译hadoop
weixin_30933531的博客
06-03 123
查阅有关官方介绍http://wiki.apache.org/hadoop/HowToContribute中有说明：Hadoop本地库只支持*nix平台，已经广泛使用在GNU/Linux平台上，但是不支持 Cygwin 和 Mac OS X 。搜索后发现已经有人给出了Mac OSX 系统下编译生成本地库的patch，下面详细介绍在Mac OSX 平台下编译Hadoop本地库的...
Mac环境下搭建Hadoop开发框架
Lucky的专栏
06-19 7840
这几天闲来无事，作为一个资深的技术宅，无聊之余准备学习一下Hadoop这个大数据的框架。由于手头只有一台Mac电脑，所以只有在它上面搭建了，但是网上都是一些Window或者Linux的搭建教程，无法参考，就自己摸索着试了一下，之中的曲折不必多说，下面我分享下我的搭建过程，供大家参考。 1、下载软件 首先，我们需要到官方下载hadoop安装包,我下载的是hadoop-2.2.0，这个版本是比较新的
编译hadoop并获取native
anyuzun的博客
12-12 1375
文档说明     该文档为完成编译后，根据印象编写，并未经过重新编译测试，大体步骤应该没错，如有错误，望指正。     编译的最初目的，是为了获取合适的native包，并且检测手动编译的native包和自带的native包有何差别。     编译的版本为apache-hadoop-2.7.6和hadoop-2.6.0-cdh5.5.0。 编译说明     源码中会有一个 BUILDING.txt...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值