搭建Spark伪分布式环境

最新推荐文章于 2024-03-11 17:23:42 发布
最新推荐文章于 2024-03-11 17:23:42 发布
阅读量681 收藏 4
点赞数
文章标签： 分布式 spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snow703323/article/details/125308845
版权

1、登录master虚拟机

  • 单击连接管理器里的master，登录master虚拟机

测试能否ping通百度 - www.baidu.com

2、登录slave1虚拟机

  • 单击连接管理器里的slave1，登录slave1虚拟机

测试能否ping通百度 - www.baidu.com

3、登录slave2虚拟机

  • 单击连接管理器里的slave2，登录slave2虚拟机

  •  测试能否ping通百度 - www.baidu.com

  •  

    三）查看三台虚拟机主机名

  • 查看master虚拟机主机名

 

四）配置三台虚拟机IP-主机名映射

192.168.1.101 master
192.168.1.102 slave1
192.168.1.103 slave2

 

1、配置master虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 查看主机映射配置文件

 

2、配置slave1虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 查看主机映射配置文件

 

3、配置slave2虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 查看主机映射配置文件

 五）关闭与禁用防火墙
1、了解相关命令
（1）关闭防火墙命令
systemctl stop firewalld
（2）禁用防火墙命令
systemctl disable firewalld
（3）查看防火墙状态
systemctl status firewalld
2、关闭与禁用防火墙
（1）关闭与禁用master虚拟机防火墙
关闭防火墙

禁用防火墙

 

查看防火墙状态

 

 

 

（2）关闭与禁用slave1虚拟机防火墙

  • 关闭防火墙

 

 

 

 slave2是一样的

（六）关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

 

2、在slave1虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

 

3、在slave2虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

 

（七）设置三台虚拟机免密登录

<

最低0.47元/天 解锁文章
snow323H
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark前期准备-系统环境配置
lbg198808的博客
03-08 349
一、系统环境配置1.安装linux 系统：CentOS2.配置网络环境1、先临时性设置虚拟机ip地址：ifconfig eth0 192.168.1.107，在/etc/hosts文件中配置本地ip（192.168.1.107）到host（spark1）的映射2、配置windows主机上的hosts文件：C:\Windows\System32\drivers\etc\hosts，192.168...
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下） 6 1. 机器名HostName 6 2. 关闭防火墙 6 3. 系统更新及常用工具安装 7 4. IP配置 8 5. JDK安装 8 五、 Hadoop安装及配置 9 1. 安装 9 2. 配置 10 六、 机器集群搭建 12 1. 复制机器 13 2. 设置静态IP 13 3. 设置机器名hostname 14 4. ssh免密登录 14 5. hadoop集群测试 16 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发 20 1、插件下载 20 2、插件安装 21 3、scala开发 22 4、程序执行 22
Windows10系统spark3.0.0配置
lzq_tarena的专栏
11-06 1126
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/
Windows下Spark开发环境的搭建
qq_74745132的博客
12-14 1806
Spark是一个快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发。Spark提供了一种基于内存的分布式计算模型，能够在大规模数据集上进行高效的数据处理、机器学习和图形计算等任务。Spark支持多种编程语言，包括Java、Scala、Python和R等，同时也提供了丰富的API和工具，如Spark SQL、Spark Streaming、MLlib和GraphX等，方便开发人员进行数据处理和分析。Spark的优势。
Spark在Windows下的环境搭建及pyspark的使用
m0_61831106的博客
01-03 2625
1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark。
搭建Spark伪分布式
m0_59791585的博客
06-21 1293
4
Spark伪分布式.rar
03-17
**Spark伪分布式环境搭建指南** Spark是一款高性能的分布式计算框架，广泛应用于大数据处理领域。它提供了高度优化的引擎，支持多种计算模型，如批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）...
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root"，密码为"hadoop"。 5.使用...
Hadoop2.6（伪分布式）+Spark1.6环境搭建
03-14
这一两年Spark技术很火，自己也凑一下热闹，主要是为了搭建Spark，但是Spark需要Hadoop的hdfs和yarn，所以需要先搭建Hadoop。本教程在Ubutnu 14.04 64位，Hadoop 2.6.0下验证通过，这里只列出命令与配置，不作详细...
Spark的三种伪分布式方式
微电子学与固体电子学-俞驰
04-25 669
说法一: 只有一台机子，搞伪分布式，很简单， IP分别来自127.0.0.1和局域网ip,这样一台机子就变成两台，spark认为一个IP就是一台机子 说法二: 两台机子，虽然看起来是集群，其实依然是伪分布式 根据[1]可知: 更抽象的层次来看：Spark的运行架构由Driver（可理解为master）和Executor（可理解为worker或slave)组成，Driver负责把用户...
spark伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 631
本实验任务主要完成基于ubuntu环境的Spark伪分布部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark伪分布部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark伪分布环境的搭建配置本次环境是：Ubuntu16.04 所需root密码为simpleware-sshspark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。   local(本地模式)： 常用于本地开发测试，本地还分为loc
spark_快速搭建_1host
zk仔的博客
04-29 242
spark_快速搭建_1host解压修改配置文件启动查看命令行模式 解压 echo 'SPARK_HOME=$HOME/program/spark' >> ~/.bash_profile echo 'PATH=$PATH:SPARK_HOME/bin' >> ~/.bash_profile tar -zxvf spark.tar mv spark $SPARK_HOME ...
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 1791
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
Spark基础学习笔记04：搭建Spark伪分布式环境
lwmzl00的博客
06-17 473
零、本讲学习目标 学会搭建Spark伪分布式环境 学会启动Spark Shell进行交互式操作 学会使用Spark WebUI查看运行状态 Spark单机伪分布式是在一台机器上既有Master，又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。一、搭建伪分布式Hadoop （一）登录ied虚拟机 利用win7虚拟机上的FinalShell登录ied虚拟机本机远程桌面连接win7虚拟机【对外IP地址：192.168.177.116，私有IP地址：192.168.1.
伪分布式Spark集群搭建
wanglingli95的博客
03-11 821
软件版本安装包VMware虚拟机16.exeSSH连接工具FinalShellLinux OSCentOS7.5.isoJDK1.8Spark3.2.1。
spark伪分布式环境搭配
最新发布
04-03
下面是搭建Spark伪分布式环境的步骤： 1. 安装Java：首先需要安装Java开发环境，Spark是基于Java开发的，所以需要确保机器上已经安装了Java。 2. 下载Spark：从Spark官方网站下载最新版本的Spark压缩包，并解压到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值