搭建Spark伪分布式环境

最新推荐文章于 2024-05-01 05:52:26 发布
VIP文章 最新推荐文章于 2024-05-01 05:52:26 发布
阅读量655 收藏 4
点赞数
文章标签： 分布式 spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snow703323/article/details/125308845
版权

1、登录master虚拟机

  • 单击连接管理器里的master，登录master虚拟机

测试能否ping通百度 - www.baidu.com

2、登录slave1虚拟机

  • 单击连接管理器里的slave1，登录slave1虚拟机

测试能否ping通百度 - www.baidu.com

3、登录slave2虚拟机

  • 单击连接管理器里的slave2，登录slave2虚拟机

  •  测试能否ping通百度 - www.baidu.com

  •  

    三）查看三台虚拟机主机名

  • 查看master虚拟机主机名

 

四）配置三台虚拟机IP-主机名映射

192.168.1.101 master
192.168.1.102 slave1
192.168.1.103 slave2

 

1、配置master虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 查看主机映射配置文件

 

2、配置slave1虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 查看主机映射配置文件

 

3、配置slave2虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts

 查看主机映射配置文件

 五）关闭与禁用防火墙
1、了解相关命令
（1）关闭防火墙命令
systemctl stop firewalld
（2）禁用防火墙命令
systemctl disable firewalld
（3）查看防火墙状态
systemctl status firewalld
2、关闭与禁用防火墙
（1）关闭与禁用master虚拟机防火墙
关闭防火墙

禁用防火墙

 

查看防火墙状态

 

 

 

（2）关闭与禁用slave1虚拟机防火墙

  • 关闭防火墙

 

 

 

 slave2是一样的

（六）关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

 

2、在slave1虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

 

3、在slave2虚拟机上关闭SeLinux安全机制

  • 执行命令：vim /etc/sysconfig/selinux

 

（七）设置三台虚拟机免密登录

最低0.47元/天 解锁文章
snow323H
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark基础学习笔记04：搭建Spark伪分布式环境
lwmzl00的博客
06-17 460
零、本讲学习目标 学会搭建Spark伪分布式环境 学会启动Spark Shell进行交互式操作 学会使用Spark WebUI查看运行状态 Spark单机伪分布式是在一台机器上既有Master，又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。一、搭建伪分布式Hadoop （一）登录ied虚拟机 利用win7虚拟机上的FinalShell登录ied虚拟机本机远程桌面连接win7虚拟机【对外IP地址：192.168.177.116，私有IP地址：192.168.1.
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下） 6 1. 机器名HostName 6 2. 关闭防火墙 6 3. 系统更新及常用工具安装 7 4. IP配置 8 5. JDK安装 8 五、 Hadoop安装及配置 9 1. 安装 9 2. 配置 10 六、 机器集群搭建 12 1. 复制机器 13 2. 设置静态IP 13 3. 设置机器名hostname 14 4. ssh免密登录 14 5. hadoop集群测试 16 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发 20 1、插件下载 20 2、插件安装 21 3、scala开发 22 4、程序执行 22
搭建Spark伪分布式
weixin_66087662的博客
03-29 894
基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。出于任务管道承接的考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage，而这些串联的Stage又依赖于底层文件系统（如HDFS）来存储每一个Stage的输出结果。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。
伪分布式Spark集群搭建
wanglingli95的博客
03-11 637
软件版本安装包VMware虚拟机16.exeSSH连接工具FinalShellLinux OSCentOS7.5.isoJDK1.8Spark3.2.1。
HBase伪分布式模式启动没有HMaster原因解决
m0_56064858的博客
06-23 4471
hbase伪分布式模式解决启动没有HMaster
搭建 Spark 单机伪分布式环境
qq_55944883的博客
04-02 1244
是配置分布式文件系统对于每个文件块的副本数量设置，默认为3,而 在伪分布式环境下设置为 1，因为只有一个节点。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。下载 Hadoop-2.7.7 安装包，解压至/home/hj/hadoop-2.7.7 文件夹。是配置默认文件系统所在的位置，将其中主机名替换为自 己的主机名称（框架中资源管理者的主机名，因为就一个节点，所以设置为当前主机名。为输出文件夹（是文件夹,不是文件！为输入文件夹（是文件夹,不 是文件！
搭建伪分布式集群笔记（3）
qq_52394320的博客
01-20 141
搭建Hadoop分布式集群 步骤: 1.配置时间同步服务 2.设置环境变量 3. 格式化NameNode 1.配置时间同步服务 （1）检查是否安装ntp，yum源 rpm -qa | grep ntp ntpstat mount /dev/dvd /media yum repolist （2）安装NTP服务。在各节点： yum -y install ntp （3）设置master节点为NTP服务主节点， 使用命令“vim /etc/ntp.conf”打开/etc/ntp.conf文件，注释掉以s
Windows10系统spark3.0.0配置
lzq_tarena的专栏
11-06 956
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/
Windows下Spark开发环境的搭建
qq_74745132的博客
12-14 1339
Spark是一个快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发。Spark提供了一种基于内存的分布式计算模型，能够在大规模数据集上进行高效的数据处理、机器学习和图形计算等任务。Spark支持多种编程语言，包括Java、Scala、Python和R等，同时也提供了丰富的API和工具，如Spark SQL、Spark Streaming、MLlib和GraphX等，方便开发人员进行数据处理和分析。Spark的优势。
Spark在Windows下的环境搭建及pyspark的使用
m0_61831106的博客
01-03 1706
1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark。
Spark前期准备-系统环境配置
lbg198808的博客
03-08 336
一、系统环境配置1.安装linux 系统：CentOS2.配置网络环境1、先临时性设置虚拟机ip地址：ifconfig eth0 192.168.1.107，在/etc/hosts文件中配置本地ip（192.168.1.107）到host（spark1）的映射2、配置windows主机上的hosts文件：C:\Windows\System32\drivers\etc\hosts，192.168...
云服务器上搭建大数据伪分布式环境
07-16
本文档是笔者基于阿里云服务器CentOS 7.2搭建的Hadoop伪分布式环境，其中用到的一些工具，如：远程终端Xshell 6、文件传输软件Xftp 6。此文档亦可在其他Linux操作系统中运行，可能其中命令稍有区别，请加以注意。
Spark伪分布式.rar
03-17
Spark伪分布式搭建配套包
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root"，密码为"hadoop"。 5.使用...
Hadoop2.6（伪分布式）+Spark1.6环境搭建
03-14
这一两年Spark技术很火，自己也凑一下热闹，主要是为了搭建Spark，但是Spark需要Hadoop的hdfs和yarn，所以需要先搭建Hadoop。本教程在Ubutnu 14.04 64位，Hadoop 2.6.0下验证通过，这里只列出命令与配置，不作详细...
架构设计 ｜ 分布式与集群有什么区别
最新发布
weixin_46228563的博客
05-01 432
同时，这两种架构也在不同的领域得到了广泛应用，如互联网服务、金融领域、物联网、云计算等。作为一名从业多年的程序员，对于分布式和集群这两种架构有着深入的了解。在选择使用哪种架构时，需要根据具体的应用场景和需求来决定。任务分配与节点关系、目的与可靠性以及节点间的通信与协作。在实际应用中，分布式和集群各有其优势。将职能拆解到不同的服务器上，以解决高并发的问题。总的来说，分布式和集群的主要区别在于。相同的任务，它们互不干扰。提高系统的可靠性和稳定性。多个节点执行相同的任务。多个节点执行相同的任务。
Dokcer容器分布式搭建LNMP+wordpress论坛
hy199707的博客
04-29 1244
本章主要是通过参考LNMP架构，以及自己编写的脚本，来实现在容器中分布式搭建LNMP架构，旨在学习如何通过自定义网络实现容器之间的互相通信，以及文件共享
分布式与一致性协议之Raft算法(一)
Cover_sky的博客
04-28 1557
Raft算法属于Multi-Paxos算法，它在兰伯特Multi-Paxos思想的基础上做了一些简化和限制，比如日志必须是连续的，只支持领导者(Leader)、跟随者(Follwer)和候选人(Candidate)3种状态。在理解和算法实现上，Raft算法相对容易许多。除此之外，Raft算法是现在分布式系统首选的共识算法。绝大多数选用Paxos算法的系统(比如Chubby、Spanner)都是在Raft算法发布前开发的，当时没有其他选择;
ES集群分布式查询原理
weixin_53676834的博客
04-30 406
当新增文档时，应该保存到不同分片，保证数据均衡，那么coordinating node如何确定数据该存储到哪个分片呢？2）对id做hash运算，假如得到的是2，则应该存储到shard-2。3）shard-2的主分片在node3节点，将数据路由到node3。5）同步给shard-2的副本replica-2，在node2节点。6）返回结果给coordinating-node节点。1）新增一个id=1的文档。
spark伪分布式环境搭配
04-03
Spark伪分布式环境是一种在单台机器上模拟分布式环境的方式，可以用于学习和开发Spark应用程序。下面是搭建Spark伪分布式环境的步骤： 1. 安装Java：首先需要安装Java开发环境，Spark是基于Java开发的，所以需要确保机器上已经安装了Java。 2. 下载Spark：从Spark官方网站下载最新版本的Spark压缩包，并解压到指定目录。 3. 配置环境变量：将Spark的bin目录添加到系统的PATH环境变量中，这样就可以在任何位置直接运行Spark相关命令。 4. 配置Spark：进入Spark的conf目录，将spark-env.sh.template文件复制一份并重命名为spark-env.sh。编辑spark-env.sh文件，设置以下参数： - SPARK_MASTER_HOST：设置为本机IP地址或主机名。 - SPARK_MASTER_PORT：设置为Spark Master节点的端口号，默认为7077。 - SPARK_WORKER_CORES：设置每个Worker节点可用的CPU核心数。 - SPARK_WORKER_MEMORY：设置每个Worker节点可用的内存大小。 5. 启动Spark Master节点：在终端中执行以下命令启动Spark Master节点： ``` ./sbin/start-master.sh ``` 6. 启动Spark Worker节点：在终端中执行以下命令启动Spark Worker节点： ``` ./sbin/start-worker.sh spark://<master-ip>:<master-port> ``` 其中，<master-ip>和<master-port>分别是Spark Master节点的IP地址和端口号。 7. 验证Spark环境：打开浏览器，访问http://<master-ip>:8080，可以看到Spark的Web界面，显示当前运行的Spark应用程序和集群状态。 8. 编写和运行Spark应用程序：使用任何支持Spark的编程语言（如Scala、Java或Python）编写Spark应用程序，并使用spark-submit命令提交应用程序到Spark集群中运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值