Hadoop源代码编译问题解析

最新推荐文章于 2024-01-13 12:27:00 发布
最新推荐文章于 2024-01-13 12:27:00 发布
阅读量825 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jszhangyili/article/details/8695029
版权

hadoop的源代码分为两种

一种是

这是可以直接搭建运行的版本，其中包括编译后的文件和源代码。

但是要是想对源代码进行修改或者其他的操作最好还是从版本控制器中导出源代码



在完成eclipse编译Hadoop代码之后可能还有这样的错误


可以解压hadoop-0.20.2.tar.gz从Lib中将commons-logging-api-1.0.4.jar考到代码的lib目录下

然后Project -> Properties ->java build path-> libraries->add external jars 选择你要导入得commons-logging-api-1.0.4.jar这个包。没必要删除什么，添加这个就行了


jszhangyili
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
本地编译Hadoop2.9.1源码总结
强者的博客
08-29 1479
目录   一、文档编写的目的 二、编译要求 三、软件安装 3.1 安装JDK 3.2 安装各种库 3.3 安装maven 3.4 安装protocolBuffer 3.5 安装findbugs 四、开始编译 五、编译中可能遇到的问题 一、文档编写的目的 当在Windows平台安装hadoop时，或者添加Hadoop一些额外功能时，需要对Hadoop源码进行编译，本文以Ha...
hadoop源码研究 编译错误记录
plifemao的博客
01-31 8999
文章目录hadoop-common编译失败hadoop-nodemanager编译失败 hadoop-common编译失败 编译错误如下 [WARNING] See also "/project/hadoop-3.2.0-src/hadoop-common-project/hadoop-common/target/native/CMakeFiles/CMakeOutput.log". [INF...
Hadoop（一）Hadoop的简介与源码编译
weixin_42073629的博客
09-30 282
一 Hadoop简介 1.1Hadoop产生的背景 1.HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问，如何解决数十亿网页的存储和索引问题。 2.2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案。 分布式文件系统（GFS），可用于处理海量网页的存储 分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。 BigTable 数据库：OLTP 联机事..
hadoop搭建时为什么最好重新编译源码的原因
u011495642的博客
10-14 1173
简单来说， hadoop是用java写的，但是某些操作不适合用java实现，所以用的是c/c++的动态库（本地库），所以需要根据不同的处理器架构，重新编译，他们以库的形式提供接口供上层调用。...
hadoop源码分析 编译hadoop源码
plifemao的博客
01-29 938
使用git管理属于自己的hadoop源代码基本工具安装hadoop源码下载编译hadoop源码安装编译工具编译 基本工具安装 申请github账号 去github官网申请账号： https://github.com/ 比如，申请了一个这样的账号：test 本地安装git工具 brew install git 配置git 生成使用git用户的ssh公私钥(由于我使用hadoop用户进行ha...
Hadoop 学习笔记·四 —— Hadoop 编译源码
un357951的博客
02-07 211
前期准备工作 CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意：采用 root 角色编译，减少文件夹权限出现问题 jar 包准备( hadoop 源码、JDK8、maven、ant 、protobuf ) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）apache-ant-1.9.9-bin.tar.gz（ build 工具，打包用的） （4）apache
Hadoop-3.3.6 编译
qq_29312605的博客
01-13 656
可以不用 Docker 直接购买 ECS 也可以（没有选择ECS主要是8G得ECS比较贵，亲测在2和2GECS上执行如下步骤，直到maven编译oom，就是说系统固定遇到问题也是同样的）系统：Anolis OS 8.8（亲测效果和遇到的问题和centos8 一模一样，centos8不维护了，而且官方yum源下线了，还需要更改yum源）jdk版本：jdk1.8.0_391 （snappy 版本：1.1.3。isa-l版本：2.30.0'cmake版本：3.27.1。maven版本：3.9.6。
Hadoop源码解析
m0_67392182的博客
08-16 255
NameNode还实现NamenodeProtocol接口，由辅助namenodes或重新平衡过程使用，以获取部分NameNode状态，例如部分blocksMap。”“NameNode”既指此类，也指“NameNode服务器”。百度翻译（主要是懒）： NameNode同时充当Hadoop DFS的目录命名空间管理器和“inode表”。（2）启动客户端 观察客户端控制台打印：我是客户端 观察服务端控制台打印：服务端，创建路径/input。RPC的客户端调用通信协议方法，方法的执行在服务端；...
编译hadoop3.1.1源码
u012470019的博客
01-10 1165
环境：Centos7(有图形界面) 工具：docker1.13、maven3.6.0、jdk1.8、idea 因编译Hadoop源码所需环境比较复杂，在hadoop源码根目录文件start-build-env.sh 提供了所需环境的docker容器。 步骤： 一、安装docker #1.安装 yum install -y docker #2.设置镜像加速 mkdir -p /etc...
Hadoop 源码编译所需软件
12-14
通过以上步骤，我们可以看到，"Hadoop CDH 源码编译所需软件"这个主题涵盖了大数据处理的关键组件和最佳实践，如高效的压缩算法和静态代码分析工具。这些工具和技术的使用对于优化Hadoop CDH的性能、稳定性和安全性...
Hadoop源码编译需要工具
06-30
标题中的“Hadoop源码编译需要工具”指的是在本地环境中构建Hadoop源代码时所需的必备组件。Hadoop是一个开源的分布式计算框架，主要用于处理和存储海量数据。为了从源代码编译Hadoop，我们需要一些特定的开发工具和...
win 7 64上编译 Hadoop 2.7.3 源码
05-07
本文将详细介绍如何在Win 7 64位操作系统上编译Hadoop 2.7.3的源码，并分享在这个过程中遇到的一些常见问题及解决方法。 #### 二、准备工作 为了能够在Win 7 64位系统上成功编译Hadoop 2.7.3，首先需要进行一系列的...
hadoop源码编译所需软件包
06-20
`hadoop-2.5.0-src.tar.gz`包含了Hadoop的源代码，是编译和定制Hadoop的核心。解压后，开发者可以修改源码以适应特定需求，然后使用Maven进行编译和打包。 5. **JDK 1.7** Hadoop 2.5.0版本需要Java Development ...
Hadoop源码编译.pdf
12-14
在IT行业中，对开源软件的理解和使用经常需要深入到源码层面，Hadoop作为大数据处理领域的重要组件，其源码编译是开发者和技术爱好者研究其内部机制的关键步骤。本篇将详细阐述如何在Linux环境下编译Hadoop 2.5.0的...
修改Hadoop作业调度算法过程解析
jszhangyili的专栏
06-18 1994
最近几个星期一直在修改hadoop的计算能力调度算法，遇到了这样那样的问题。 我修改的版本是hadoop-0.20.2 第一步： 将hadoop的源码加载到eclipse中配置使用ant编译 第二步： 根据需要修改源码 第三步： 使用ant编译修改内容，这里要提醒的就是要保证编译平台的JDK和运行平台的JDK相同 ant编译的方法是：首先到$HadoopHome/src/contr
hadoop Capacity Scheduler解析
jszhangyili的专栏
03-20 1919
计算能力调度器算法  总结 为什么有计算能力调度器 克服现有单一队列fifo 性能低效问题,适合于多用户共享集群的环境的调度器 好比说部署一个hdfs有不同的用户在记录数据并进行分析,需要按用户级别进行集群资源使用的控制 也可以简单这么理解 有dfs 和mine 2帐号进行任务的提交,可以控制这2个用户的集群资源使用率 Capacity Scheduler支持以下特性 1.
hadoop安全模式
jszhangyili的专栏
03-13 783
hadoop@master:~/input$ hadoop dfs -put ./ in put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hadoop/in. Name node is in safe mode.   解决方法： Na
html+css+js网页设计 个人博客模版 4个页面
最新发布
08-28
预览地址：https://blog.csdn.net/qq_42431718/article/details/141647657 html+css+js网页设计 个人博客模版 4个页面
深度剖析Hadoop MapReduce：源代码解析与实战指南
第一部分（第1-2章）介绍了Hadoop源代码的组织结构、获取、编译、调试以及MapReduce的基本设计理念和架构，帮助读者建立起对Hadoop整体框架的认识。第二部分（第3章）深入讲解MapReduce的编程接口，包括旧API和新API...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值