hadoop源码编译打包

最新推荐文章于 2022-06-26 19:52:42 发布
VIP文章 最新推荐文章于 2022-06-26 19:52:42 发布
阅读量1.1k 收藏
点赞数
文章标签： hadoop源码 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIn123___/article/details/86536934
版权

本文基于hadoop3.0.3版本

编译与调试环境
OS: CentOS Linux release 7.5.1804 (Core)(包含桌面，便于使用开发工具)
maven: Apache Maven 3.5.4
jdk: 1.8.0_151
IDE：IntelliJ idea-IU-181.5281.24

源码下载：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.3/hadoop-3.0.3-src.tar.gz

源码编译

1.解压源码包：
tar -zxvf hadoop-3.0.3-src.tar.gz
生成以下maven工程

2.使用安装好的idea打开该maven工程
以下为hadoop项目整体工程结构,第一次打开时需要耐心等待工程自动下载maven依赖，如果觉得依赖下载速度过慢的话可以先关闭该工程,暂时跳过该步骤，后面使用maven命令进行编译打包的时候下载依赖速度更快

最低0.47元/天 解锁文章
雪大人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
snappydata:极稳定的开源网页数据爬虫，1服务端 + 多客户端
05-26
作者 工具仅供交流学习，不能用于商业用途 版本更新 v2.0 2019/06/22 服务端改造成springboot snappy爬虫能做什么 能稳定，准确，快速，集群爬取规则网页的数据，并存储到mysql中。 如 爬取酷云电影资源 ， 爬取安居客新房和二手房数据 其他网站资源 snappy有什么优点 安装方便，编译打包成可执行程序方便 开源，可以一起完成更强大的功能 数据不遗漏，比如安居客二手房，没一秒就有好多数据产生，如果每一页每一条串行爬取，效率低，还可能漏爬。 可用集群分布式多台机器爬取，如果网页数据产生太多，如安居客二手房房源，发现当前爬取慢，只要再找一台服务器启动一个客户端就行了。动态扩展算力。 服务端和客户端都可以自定义爬虫数量 理论支持无上限任务 快速开始 启动server 和 client 克隆本项目到你机器上： git clone 在项目的根路径执行打包命令：m
spark以snappydata模式(内部表) 导入snappy数据库异常
09-04 641
使用spark job导数之后，job显示执行成功，去dbeaver查询表但是显示Syntax error or analysis exception: Union can only be performed on tables with the compatible column types. Query execution failed 原因： SQL 错误 [20000] [42000]: (SQLState=42000 Severity=20000) (Server=rf-sd0003.r.
SnappyData--一个统一OLTP+OLAP+流式写入的内存分布式数据库
lmalds的专栏
01-19 6666
一、背景：     阔别个人博客有大半年了，这大半年来我从一个all in flink的角色转变到了一个兼顾实时流式处理与实时OLAP处理的角色。     最近由于工作需要，在关注实时的OLTP+OLAP的HTAP场景的数据处理，优先保证低延迟的OLAP查询。说到这里，很容易让人想到Google的F1、Spanner，开源领域的代表TiDB。TiDB是个分布式的MySQL，对OLTP的支持很好
Hadoop的编译打包
Above the cloud
07-27 605
当编译Linux内核及一些软件的源程序时，经常要用这个命令。Make命令其实就 是一个项目管理工具，而Ant所实现功能与此类似。像make，gnumake和nmake这些编译工具都有 一定的缺陷，但是Ant却克服了这些工具的缺陷。Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。Hadoop需要 maven和ant工具进行编译管理 1：安装jdk、gcc、gcc-c++ 、make、cmake、openssl-devel、ncurses-devel
[Hadoop] - Hadoop3.0.x编译
weixin_30387799的博客
02-27 88
这里仅介绍一种Hadoop3.0.x版本的源码编译方式 编译过程 1. 下载源码 2. 安装依赖环境 3. 源码编译 ============================================= 一、下载源码 直接从apache的归档网站中下载对应版本的源码，比如需要下载的hadoop-3.0.0-alpha2的地址为http://archive.apach...
Hadoop源码编译+IDEA安装
h.liu Studio的博客
05-06 2064
编译了hadoop，可以方便的查看某个函数的实现，可以根据自己的需要改动hadoop的某些实现机制（hadoop开源的好处）。 环境要求 进入hadoop-x.x.x-src（以2.7.3版本为例）安装根目录，查看BUILDING.txt文件，含有hadoop源码的编译环境要求。 Requirements: * Unix System * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffe
Hadoop源码编译打包
主要分享大数据相关的知识，如Spark、Hudi
06-26 790
记录总结Hadoop源码编译打包过程，根据源码里的文档，一开始以为不支持在Windows系统上打包，只支持Unix和Mac，所以这里我在自己虚拟机centos7系统上编译，后来在文档后面部分才发现也支持在Windows上编译，不过还需要安装Visual Studio 2010，可能不如还不如在虚拟机上编译简单，如果想尝试在Windows上编译，可以看源码里的文档中的部分因之前没有下载过hadoop的源码，所以需要先下载hadoop的源码 git命令克隆源码，克隆的过程中可能会有异常： 因文件名过长，不能创建
hadoop源代码调试
plifemao的博客
09-25 506
调试方法 使用如下方法调试 第一步：在启动Hadoop历史服务器进程之前在终端加入以下环境配置： [wyp@date52 /home/wyp/hadoop]$ export HADOOP_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=50070" 这里对上面的几个参数进行说明： -Xde...
hadoop源码编译，导入idea中
菜皮的默默倾诉
01-09 3417
我的笔记本是deepin15.8系统，其实就是一个ubunt 1.首先安装软件 sudo apt-get install maven libssl-dev build-essential pkgconf cmake 2.安装protobuf 下载protbuf 2.5.0 https://github.com/protocolbuffers/protobuf/releases?after=...
opencv，svm，训练，分类源码
09-29
opencv，svm，训练，分类源码。
hadoop资料大全-欢迎来下载
04-20
NULL 博文链接：https://jin8000608172.iteye.com/blog/1882553
hadoop源码编译
12-15
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 需要进行hadoop源码的编译
hadoop源码编译安装包及安装步骤
11-14
提供了安装hadoop源码安装步骤、文档、安装包，只需要按照步骤做，就能完成。注意上面所有安装步骤都必须实现，及maven远程仓库配置。
在linux环境下编译hadoop需要的包
10-11
编译Hadoop源码需要到的包： （1）hadoop-2.7.2-src.tar.gz （2）jdk-8-linux-x64.gz （3）apache-ant-1.9.9-bin.tar.gz （4）apache-maven-3.0.5-bin.tar.gz （5）protobuf-2.5.0.tar.gz
Hadoop2.5.1 源码编译文档+所需软件打包
10-04
hadoop2.5.1官方提供的安装版本虽说也是64位的，但是在唉安装的时候总是会报一些警告，因此自己亲自动手编译一边。整理了文档，顺便把所以安装的软件打包上传，方便下载。
Hadoop2.7.2 编译64位源码（小白都能看的懂！！！全网最详细！！！）
01-09
2.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） （4）apache-maven-3.0.5-bin....
Hadoop之MapReduce编程实例完整源码
08-01
学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。后续学习还可以参看本人的CSDN博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖...
Hadoop学习笔记(一)Hadoop快速入门：3.编译
01-07
Linux虚拟机pingwww.baidu.com是畅通的注意：采用root角色编译，减少文件夹权限出现问题1.2 jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）...
hadoop lzo编译过程
最新发布
05-23
下面是Hadoop LZO编译过程的步骤： 1. 下载LZO压缩库源码 可以从LZO的官网下载最新的源码包。 2. 安装编译工具 在编译之前需要安装GCC和make等编译工具，可以使用以下命令安装： ``` sudo apt-get install gcc ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值