[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

aidroid

已于 2023-08-07 20:31:57 修改

阅读量816

点赞数 1

分类专栏：资源文章标签： hadoop 大数据 spark ubuntu linux

于 2023-02-07 11:40:40 首次发布

本文链接：https://blog.csdn.net/qq_58539881/article/details/128907047

版权

2 篇文章 0 订阅

订阅专栏

1.介绍

相信很多人在初入大数据框架学习的时候都被其复杂的环境配置所困扰，网上配置教程千奇百怪，很多人直接倒在了数据分析师的第一步了。

网上现有的教学用的大数据开发环境镜像主要有林子雨老师的ubuntu的镜像，但是那个镜像的版本已经非常老了，很多新的开发文档的范例都不能在其上面正确的运行。

但是很多刚接触大数据的朋友们自配环境经常出问题，使用网上的在线平台其Hadoop配置版本也都太低了，很多时候官方文档里都不会提供这些版本的一些具体的开发教程了。实际上手的感觉也是非常糟糕。

因此笔者这次拿出花了几天配置的完整Hadoop家族的Ubuntu虚拟镜像，只要在virtualbox或者vmware上导入就可以直接启动了。

该环境我已经测试过了，里面有一个已经完成的开发项目，可以直接运行。

其中Ubuntu版本22.04是目前最新的LTS 版本了，自带python3.8的开发环境。

spark3.0支持当前所用的python版本。并且每个版本我都进行了测试，该版本下的各个应用大部分情况下都能够兼容（少数情况可能没有遇到）。至少能够用于基础的Hadoop框架学习。

hbase由于当时项目开发的时候没用上，直接用的mysql，所以就没有配置，Hadoop对hbase的很多版本都兼容，在网上找一下很容易就能配置了

pycharm配置的专业版本可以直接使用。

1.集成的hadoop环境搭配最新ubuntu版本，十几秒就能直接上手开发

2.安装的版本都是兼容性强的稳定版本，能够适应各类项目开发

3.自带完整的开发环境与开发案例，新手可以直接模仿学习项目

1.spark启动start-all.sh 更改为start-spark.sh

2.pycharm下已存在一个可运行实例参考项目

3.项目所有密码在配套文档中，请自行更改防止泄密

4.配置的应用都在/opt目录下

5.vmware导入ova镜像时会提示错误点击重试即可

6.root密码wang513

7.无解压密码

百度网盘链接：panbaidu 提取码：zz5o

关注