Hadoop 3.0 在Mac上面编译失败

最新推荐文章于 2022-03-25 10:54:25 发布
VIP文章 最新推荐文章于 2022-03-25 10:54:25 发布
阅读量1.3k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop 3.0 mac 编译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/foreverover/article/details/45009921
版权

时间：2015年4月

Hadoop版本：当前日期trunk最新版

OS版本：OS X 10.10.2


编译错误：

当编译hadoop-mapreduce-client-nativetask 3.0.0-SNAPSHOT工程的时候会出错，错误如下：

     [exec] /Library/Developer/CommandLineTools/usr/bin/c++    -DSIMPLE_MEMCPY -fno-strict-aliasing -Wall -Wno-sign-compare -g -O2 -DNDEBUG -fPIC -I/Users/CaiYicong/Documents/SourceCode/ForkHadoop/hadoop/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-nativetask/target/native/javah -I/Users/CaiYicong/Documents/SourceCode/ForkHadoop/hadoop/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-nativetask/src/main/native/src -I/Users/CaiYicong/Documents/SourceCode/ForkHadoop/hadoop/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-nativetask/src/main/na
最低0.47元/天 解锁文章
Markiry
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
零基础学习Hadoop3.0从入门到源码
04-10
│ ├─视频-零基础学习Hadoop3.0-HDFS从入门到源码 │ │ │ 00--课程内容大纲和学习目标.mp4 │ │ │ 01--大数据课程导论--大数据概念.mp4 │ │ │ 02--大数据课程导论--大数据特点（5V特征）.mp4 │...
hive中集成hadoop3MapreduceNativeTask功能
sinat_23257429的博客
10-17 432
hive中集成hadoop3MapreduceNativeTask功能
Mac上TensorFlow源码编译
s1120080286的专栏
05-30 1283
TensorFlow作为Google在AI领域的基础运行环境，如今作为大热门被广泛研究，这里使用Mac对TensorFlow源码进行编译。 1 安装必要的软件 1.1 安装JDK 8 JDK 8 can be downloaded from Oracle’s JDK Page : 下载链接: (http://www.oracle.com/technetwork/java/javase/down...
deepin 2014 开机启动显示error: malformed file解决办法
热门推荐
10-28 1万+
由于电脑装了很多系统， 之前清理了一下决定以后用deepin了， ji
mac系统编译3.2.1版本hadoop
weixin_44570264的博客
06-19 1010
mac系统编译3.2.1版本hadoop缘由步骤下载hadoop源码安装maven安装openssl安装protobuf-2.5.0安装cmake安装zlib安装gsasl安装Doxygen打包编译hadoop参考资料 缘由 编译hadoop主要是为了解决安装hadoop缺少lib/native，发生的“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-ja
java10新特性
越看越喜欢啊
07-02 308
虽然感觉 JDK9 发布才仅仅几周的时间，然而，随着新的 OpenJDK 的发布节奏，JDK10 已经到达发布候选里程碑阶段。我看过各种关于 JDK10 新特性的博客，但是它们都倾向于关注通过 JEPS 定义的大方面。这篇博文，我将看看是否可以罗列出 JDK10 中已经发生变化的方方面面（包括新增的和剔除的）。有时候，我会做一些关于 Java SE 的报告会。之前...
Hadoop 3.0 新特性原理及架构分析
06-09
Hadoop 3.0 视频教程，经过多年的发展，Hadoop已经日趋成熟，3.0版本发布，预示着Hadoop进入了新的发展阶段，那么...都是我们值得研究的部分，该课程将重点介绍Hadoop 3.0在HDFS，Yarn，MapReduce核心部分的变化。
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /...
hadoop2.7.3.0编译后压缩支持
05-11
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable hadoop 启动时警告问题解决
mac安装Hadoop3.2.1教程（超详细）
01-07
由于课程需要和工具限制，需要在mac上安装Hadoop，参考了网上的教程，总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境，如果没安装homebrew、JDK环境的小伙伴请自行搜索mac终端安装homebrew、JDK教程。下面是安装Hadoop的具体流程，分三步： 一、设置ssh免密码登录      因为Hadoop是分布式平台，需要多个机器之间协作，设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。      1）在mac的系统偏好设置–>共享中打开远程
mac 下hadoop3.0.2编译的native库
05-14
mac版本，解决hadoop3.0.0安装后无法加载本地库的问题
hadoop 2.8.0 macOS native library
01-12
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。 该资源为 64位 macOS 系统下，hadoop 2.8.0 版本对应的本地库。 使用方法： 1.解压到已经安装好的hadoop安装目录的lib目录下。 2.增加环境变量： export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 即可解决警告问题。
树莓派编译Hadoop：错误 /tmp/ccssxlbt.s:1959: error: bad instruction `bswap r5‘
huiwuhuiwu的专栏
07-06 645
上述错误发生在hadoop-mapreduce-client-nativetask 的编译过程中，错误描述为/tmp/ccssxlbt.s:1959: error: bad instruction `bswap r5'。网上找了下，发现可以通过打补丁解决https://issues.apache.org/jira/secure/attachment/12693989/HADOOP-11505.001.patch。 我在src目录下建立了一个patches文件夹，放入补丁文件，然后执行cd .. ...
【鲲鹏来了】鲲鹏迁移过程案例分享
华为云官方博客
12-25 5668
转载自鲲鹏论坛 今天为大家分享的是一家专业从事工业互联网关键技术，产品开发的全栈解决方案供应商，致力于工业制造直接的工业互联网应用以及工业企业大数据服务为两大核心业务，在进行鲲鹏迁移时，遇到的问题及经验分享。 首先是大数据组件CDH的编译安装。CDH是用Java编写的，默认配置是在x86的机器上运行，需要进行修改才能在鲲鹏云服务器上运行。在修改过程中遇到不少坑，在这分享一下踩坑经历，以供各...
CentOS7安装Hadoop-3.3.0集群
web15085181368的博客
03-25 4099
Hadoop 一、环境搭建VMware ,CentOS7,Ubuntu 1、VMware Workstation 15 Pro安装图解教程 详细见：https://www.shuzhiduo.com/A/Gkz1PGeQdR/ 2、VMware Workstation 15 Pro安装带图形化界面的CentOS7 详细见：https://www.shuzhiduo.com/A/qVde08Gg5P/ 3、VMware Workstation 15 Pro中安装ubuntu1804 详细见：https:/
京东云上，centos6.9环境下编译 hadoop-2.6.0-cdh5.15.1，以及遇到的坑
muyingmiao的专栏
08-27 824
为什么要编译 Hadoop 官方提供的Hadoop bin包是不支持一些类似snappy，zlib等本地库功能，所以我们需要重新编译使Hadoop支持这些功能1. 编译前的准备 在 hadoop-2.6.0-cdh5.15.1-src.tar.gz 中有一个 BUILDING.txt 文件，里面说明了我们编译需要准备哪些东西，以及编译命令 Requirements: * Windows Sy...
编译生成hadoop-native-Libraries的问题
warrah 南极狼
12-28 996
按照在hadoop2.X集群中安装压缩工具snappy（主要用于hbase）执行mvn package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy [INFO] Apache Hadoop Main ................................. SUCCESS [
hadoop大数据平台
passnetY的博客
03-29 428
一般hadoop不能安装在root用户下，所以首先新建一个用户。 [root@server1 ~]# useradd hadoop [root@server1 ~]# su - hadoop 下载安装包 hadoop-3.2.1.tar.gz和jdk-8u241-linux-x64.tar.gz 本地离线 将压缩包解压，并且做两个软链接方便以后升级使用。 [hadoop@server1 ~]...
hadoop1.0和hadoop3.0
最新发布
10-14
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。Hadoop 1.0和Hadoop 3.0是两个不同版本的Hadoop。 Hadoop 1.0是最初的版本，于2011年发布。它包含了HDFS（Hadoop分布式文件系统）和MapReduce两个核心组件。Hadoop 1.0的主要特点是稳定性和可靠性，但它存在一些限制，例如不支持容器化、不支持多租户等。 Hadoop 3.0是2017年发布的最新版本，相比于Hadoop 1.0，它有了很多改进和升级。其中最重要的改变是引入了YARN（Yet Another Resource Negotiator），它可以让Hadoop支持更多的计算框架，例如Spark、Flink等。此外，Hadoop 3.0还支持容器化、多租户等功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值