Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

最新推荐文章于 2023-06-07 16:59:08 发布
最新推荐文章于 2023-06-07 16:59:08 发布
阅读量549 收藏 3
点赞数 1
分类专栏： Ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40907977/article/details/108866846
版权
本文详细记录了在Ubuntu 18.04系统上搭建单机Hadoop和Spark集群环境的过程，包括Java JDK8的安装、Hadoop的配置、Scala的安装以及Spark的安装与验证。通过此教程，读者可以了解如何在Linux环境下一步步配置大数据处理的基础环境。
摘要由CSDN通过智能技术生成

Hadoop在整个大数据技术体系中占有至关重要的地位，是大数据技术的基础和敲门砖，对Hadoop基础知识的掌握程度会在一定程度决定在大数据技术的道路上能走多远。
最近想要学习Spark，首先需要搭建Spark的环境，Spark的依赖环境比较多，需要Java JDK、Hadoop的支持。我们就分步骤依次介绍各个依赖的安装和配置。新安装了一个Linux Ubuntu 18.04系统，想在此系统上进行环境搭建，详细记录一下过程。

1、Java JDK8的安装

前往Oracle官网下载JDK8，选择适合自己操作系统的版本，此处选择Linux 64
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载之后的包放到某个目录下，此处放在/opt/java目录

linuxidc@linuxidc:~/www.linuxidc.com$ sudo c
了解本专栏 订阅专栏 解锁全文 超级会员免费看
寰宇001
关注
专栏目录
订阅专栏
（一）Ubuntu18.04下的Hadoop3.2.2详细安装与分布式集群搭建
李漂亮的博客
08-21 661
Ubuntu18.04下的Hadoop3.2.2详细安装与分布式搭建 一：jdk安装 我喜欢在root下使用命令，以下都是在root下操作的 1.使用which Java 命令查看是否有jdk，没显示说明没有 2.红框里是我自己创建的文件夹，把下载好的jdk放到这个文件夹下解压 解压命令 tar -zxvf jdk1.8.0_161 3.编辑文件 使用命令vim /etc/profile 在最下面加入这三行 export JAVA_HOM=E/usr/soft/jdk/jdk1.8.0_16
单机模式Spark 安装部署(Haopp2.7+ubuntu18.04)
costarzhang
03-28 311
安装Scala-2.12.8 进入安装路径，获取Scala cd /home/cz/data/soft wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz 解压 tar -zxvf scala-2.12.8.tgz 配置环境变量 sudo vim /etc/profile export SCA...
ubuntu18.04搭建spark
热门推荐
紫藤&code的博客
11-29 1万+
参考博文: https://blog.csdn.net/weixin_42001089/article/details/82346367 Hadoop 在安装和配置spark之前，先安装并配置好hadoop，安装过程请看博主另一篇文章ubuntu18.04搭建hadoop 安装scala 下载scala-2.11.8.tgz 下载好后解压: $ tar -zxvf scala-2.11.8.t...
Ubuntu18.04 部署Spark集群
weixin_40782143的博客
02-23 1232
Ubuntu18.04 安装Spark集群1. Spark集群安装1.1 安装Spark1.2 配置Spark1.2.1 配置spark-env.sh1.2.2 配置 slaves1.2.3 将上述所有文件复制一份到各节点1.2.4 启动Spark集群 1. Spark集群安装 下载地址：http://spark.apache.org/downloads.html 1.1 安装Spark 进入/...
Ubuntu18.04环境下Hadoop、Spark的环境的搭建
我要出家当道士
04-13 940
一路学习不容易，感谢所有帮助我的人。 记录自用： Hadoop：https://blog.csdn.net/weixin_42001089/article/details/81865101 Spark：https://blog.csdn.net/weixin_41640583/article/details/93720480 ...
Ubuntu安装搭建Hadoop spark 单机版本
xiameimei_win的博客
11-29 316
1、查看当前Ubuntu的Java版本 Java -version 2、查看Java的安装路径 update-alternatives --display java 3、查看ubuntu的版本 uname -a 4、下载Hadoop 2.6.4 版本 wget https://archive.apache.org/dist/hadoop/common/had...
Hadoop和Apache Spark环境配置.docx
最新发布
07-16
### Hadoop和Apache Spark环境配置知识点详解 #### 一、系统需求与软件包 在配置Hadoop和Apache Spark环境之前，...通过这些步骤，用户可以搭建出一个功能完善的 Hadoop 和 Spark 环境，为大数据处理提供基础支持。
Ubuntu18.04 Spark2.4.7环境搭建+使用说明
qq_36634690的博客
10-20 427
Ubuntu18.04 Spark2.4.7使用说明Ubuntu18.04上Spark2.4.7的搭建日常使用 Ubuntu18.04上Spark2.4.7的搭建 参考了这个，好使的. 我的框架是jdk1.8.0_261，hadoop2.7.7, spark2.4.7, zeppelin0.8.1 日常使用 因为在自己的使用过程中，spark有的时候没有办法正常使用，不想敲一半就崩掉，所以我一般按照下面的流程走一遍。 算是笨办法哇。 确认java java -version 如果没有显示java
Ubuntu18-SPARK集群搭建standalone模式（无hadoop）
qq_39124136的博客
10-24 515
Ubuntu18 scala2.11.8 spark2.3.3 ubuntu18.0 jdk1.8 （未安装Hadoop版本） 一.安装jdk: Ubuntu在/etc/profile配置完jdk每次都要source才能使用java命令（配置永久环境变量）: source /etc/profile配置是会造成上述问题，因而需要下面的操作： vim ~/.bashrc（vim未安装需要sudo ap...
ubuntu16.04_spark2.2.1集群搭建
04-08
ubuntu16.04_spark2.2.1集群搭建------------------------------------------------------------------------------------------------------------------
Hadoop及Spark单机及分布式集群Ubuntu环境搭建(详细)
m0_37568814的博客
06-23 6459
对于各种语言的学习，环境搭建是学习的第一步，本文对Hadoop和Spark的单机及分布式集群的环境搭建步骤详述如下，供大家参考（文章较长，可以只关注自己需要的部分，常见问题及解决方法本文及另一篇博客也有介绍，博客 地址：https://blog.csdn.net/m0_37568814/article/details/80785445）。 一、平台环境: 虚拟机 VMware Works...
Ubuntu安装hadoop集群 hive spark scala
malingyu的专栏
10-21 1164
hadoop spark hive
Spark+Hadoop环境搭建
m0_67392811的博客
08-24 1435
注意： yarn 是作为资源管理器存在，每次提交一个任务时， spark 会做两件事，一个是将代码分成多个 stage ，每个 stage 相当于一个计算，然后再把 stage 分成多个 task ，每个 task 执行相同的操作，只不过操作的数据不同，这就和之前说的每个 DataNode 里面都存放着同一个文件的不同块联系起来了。1.选择几个ubuntu的虚拟机，其中一个作为spark的master节点以及hadoop的 NameNode节点，其他的作为slave节点和DataNode节点。
Hadoop安装教程(单机/伪分布式环境搭建)/Ubuntu18.04
auhjin_ai8的博客
10-27 226
Hadoop安装教程(单机/伪分布式环境搭建)/Ubuntu18.04 本教程使用 Ubuntu 18.04 LTS 64位 作为系统环境（Ubuntu 16.04，Ubuntu20.04 也行，32位、64位均可），请自行安装系统。 本教程基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，如 Hadoop 2.7.1、2.6.3、2.4.1等。 前期工作 装好了 Ubuntu 系统之后，在安装 Hadoop 前
Linux | SFTP
RandyOliver's House
06-07 2537
FTP 是一种不安全的协议，只能在有限的情况下或您信任的网络上使用。即使IETF在网络草案资料阶段时，这个协议是在SSH-2文件中描述，它能够使用在许多不同的应用程序，例如安全文件传输在传输层安全（TLS）和传输信息管理于虚拟专用网应用程序。当然可以使用 FileZilla ，XFTP等图形界面程序，设置好站点，以图形文件夹形式展示本地文件和服务器端文件，可直接左右拖拽文件到目标文件夹，方便电脑直接文件传输。FTP，即文件传输协议，是一种流行的、未加密的在两个远程系统之间传输文件的方法。
Ubuntu从零安装 Hadoop And Spark
weixin_45573921的博客
05-09 1862
安装 linux 以Ubuntu为例 选择镜像，虚拟机安装 虚拟机下，直接安装镜像即可，选择好自己的配置，一定要注意路径名选好，而且和你虚拟机的名称匹配，这里我的镜像是 ubuntu-20.04.2.0-desktop-amd64.iso 安装 Hadoop 安装 Spark，并使用PySpark测试 ...
linux不显示输出信息,如何屏蔽登录linux服务器时输出的系统信息呢？
weixin_29138345的博客
05-06 1059
当我们在用ssh登录linux服务器时，服务器一般会输出一些系统信息，比如这样：$ ssh u3@h3Welcome to Ubuntu 18.04.2 LTS (GNU/Linux 4.18.0-15-generic x86_64)* Documentation: https://help.ubuntu.com* Management: https://landscape.canoni...
hadoop与spark环境搭建命令简易教程（Ubuntu18.04）
weixin_43312063的博客
05-29 642
hadoop与spark环境搭建命令（Ubuntu18.04）Hadoop一.single node cluster二.multi node cluster三.快速版（远程复制）Spark：一、单机版二、spark standalone三、Yarn上运行 Hadoop 一.single node cluster 1.安装jdk java -version #查看java版本 sudo apt-get update sudo apt install openjdk-8-jdk-headless （推荐1.8
ubuntu18.04搭建伪分布式Hadoop环境
06-07
好的，下面是搭建伪分布式Hadoop环境的步骤： 1. 安装Java Hadoop需要Java环境，所以需要先安装Java。 ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 安装Hadoop 下载Hadoop安装包并解压：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寰宇001

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值