脚本部署hadoop spark集群

已于 2023-03-06 14:11:02 修改
阅读量58 收藏 1
点赞数 1
文章标签： spark hadoop bash Powered by 金山文档
于 2023-03-02 17:11:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49646217/article/details/129304849
版权

脚本功能

  1. Java环境一键配置

  1. Hadoop单机版一键安装

  1. Hadoop伪分布式一键安装

  1. Hadoop完全分布式集群一键安装

  1. Hadoop初始化

  1. 集群设置SSH免密登录

  1. 启动Hadoop集群

  1. 停止Hadoop集群

  1. DataNode部署

  1. 一键删除hadoop集群

11、安装scala和spark

12、slaves机安装spark

13、启动spark

使用步骤（以完全分布式集群为例）

环境准备

  • Centos7以上主机2台（IP：192.168.10.102、192.168.10.109，主机名：master、slave）

  • JAVA rpm格式安装包（jdk-8u191-linux-x64.rpm）

  • hadoop安装包（hadoop-2.10.0.tar.gz）

拷贝文件

  • 将本脚本文件（install-hadoop.sh）、JAVA安装包、hadoop安装包（推荐使用2.*版本）放置到/usr/local文件夹。

  • 自己手动配置hosts解析

具体教程可以看哔哩哔哩视频

【hadoop和spark脚本一键部署】 https://www.bilibili.com/video/BV1zD4y1u7vk/?share_source=copy_web&vd_source=afa4f79cdb055128db38d1897006174c

脚本和配套包下载地址https://pan.baidu.com/s/1ahzU-kPX49VbzQ7Y5TlqlQ?pwd=8888

不是月初
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 Shell 脚本进行 Hadoop Spark 集群的批量安装
Liu-Cheng Xu
08-30 1102
虽然有一些自动化安装的工具，但是功能越多，越专业的工具，可能也需要越高的学习成本，而我们并非专业运维，但是又必须做这些事情的话，不妨选择用 Shell 脚本来完成集群的安装。当然了，现在也有很多使用 docker 的做法，安装与部署也非常方便。整个过程其实很简单，就是对安装过程中的一些手动操作使用 Shell 脚本进行替代。对脚本比较熟悉的话，应该很容易看懂。推荐一个网站，explainshell,
Spark搭建/Hadoop集群
weixin_55946594的博客
10-30 2581
Spaek基础搭建；基于Hadoop集群.
原生Hadoop、spark集群一键部署脚本
Alan3344的博客
09-29 522
#!/bin/bash ############################################################# #############脚本使用说明#################################### #1、使用脚本前需要弄好服务器的基础环境####################### #2、在hadoop的每个节点需要手动创建如下目录：/data/hdfs/tmp### #3、修改下面的配置参数#########################.
Spark集群安装部署
MJK祺的博客
05-18 1721
由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。
Hadoop集群部署和启动与关闭
想你依然心痛的博客
06-12 3万+
为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。
Spark 集群安装与部署
番茄炒蛋三分糖
06-09 889
集群规划：三台主机的名称为：hadoop102, hadoop103, hadoop104。集群规划如下：Spark下载地址： https://spark.apache.org/downloads.html将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩在指定位置 修改配置文件 进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves 修改 slaves 文件，添加 work 节点 修改 spark-en
【部署Spark2.4.8+hadoop2.7.3集群】
pblh123的专栏
10-12 646
部署Spark2.4.8+Hadoop2.7.3集群，Spark集群
Hadoop-3.2.0集群部署&Spark on yarn设置
weixin_44455388的博客
09-02 2567
集群环境准备 1、关闭防火墙 关闭防火墙 systemctl stop firewalld.service 查看防火墙状态 firewall-cmd --state 禁止firewall开机启动 systemctl disable firewalld.service 2、关闭selinux vim /etc/selinux/config SELINUX修改为disabled 3、更改主机名 hostnamectl set-hostname cdh01 参考：https://blog.51cto..
Hadoop与Spark等大数据框架介绍
热门推荐
冯·诺依曼
08-09 41万+
海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种方法无法充分利用多台计算机同时进行分析数据。 一个实际的需求场景：日志分析 日志分析是对日志中的每一个用户的流量进行汇总求和。对于一个日志文件，如果只有这么几行数据，我们一般会采用这...
hadoop集群一键部署脚本
10-28
hadoop集群一键部署脚本
部署Spark简易脚本
07-10
部署Spark集群，分析TiDB以及Hadoop的大数据，入门而已
【自动化脚本】自动启动hdfs/yarn/spark HA集群
03-05
脚本功能：启动集群 前提：配置好执行脚本的主机到其他主机的ssh登录 脚本使用：vim编辑脚本，按照自己的配置修改主机号，我的是hadoop1、2是NN；hadoop2、3是Spark Master；hadoop3还是RM；hadoop4、5、6是DN、NM、...
hadoop-2.7-spark-2.1-搭建
01-09
自己在3台虚拟机环境搭建的hadoop，spark集群环境。 方便以后自己参考及流量 Linux 操作 增加用户 更改文件夹所属用户和组 安装Hadoop 2.1 安装说明 2.2每台机器安装scala 安装 2.11.8 版本 2.3安装配置...
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】
10-31
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建，还有自动化启动脚本。只需要复制粘贴命令，就可以完成。3台机器。相关资源可以留言发邮件，我发资料。cdh...
【大数据】Spark使用大全:下载安装、RDD操作、JAVA编程、SQL
Joker_ZJN的博客
06-13 1016
一文详解Spark的使用
八股文系列Spark
qq_42456324的博客
06-11 978
两者并没有大的差别。都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTask）。Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce（Spark 里可能是后续的一系列操作）。
windows安装spark
最新发布
weixin_41046245的博客
06-17 236
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
Spark使用map函数出现：Python worker exited unexpectedly (crashed)
光就是羁绊之力，它会再度被某人继承，散发出耀眼的光。
06-11 357
本编使用的是python12.exe解释器，解决问题，将python.exe版本降低即可，我这里降低到了python10.exe；
hadoop和spark集群安装具体步骤
04-18
Hadoop和Spark是两个常用的大数据处理框架，它们可以在集群环境下进行安装和配置。...5. 启动Spark集群：使用Spark提供的启动脚本，依次启动Master节点和Worker节点，启动后它们会自动连接成一个集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值