大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器

已于 2024-08-20 15:41:32 修改
阅读量5.4k 收藏 3
点赞数 17
分类专栏： 大数据 Spark 文章标签： 大数据 spark 服务器 分布式 java scala
于 2024-08-14 09:01:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w776341482/article/details/141180540
版权
大数据 同时被 2 个专栏收录
176 篇文章 22 订阅
订阅专栏
Spark
27 篇文章 0 订阅
订阅专栏

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（正在更新！）

章节内容

上节我们完成了：

  • Spark 简单介绍
  • Spark 的特点
  • Spark 与 Hadoop MapReduce 框架对比
  • Spark的系统架构
  • Spark的部署模式

在这里插入图片描述

Spark简介

上节我们已经介绍过了，这里为了保持完整性，简单的再扩展介绍一下。
Spark（Apache Spark）是一个快速、通用的分布式数据处理框架，旨在以高效的方式进行大规模数据的处理和分析。它最初由加利福尼亚大学伯克利分校AMPLab开发，并在2010年开源。如今，Spark已经成为大数据处理领域的重要工具之一，广泛应用于许多行业。
Spark凭借其速度、通用性和易用性，成为大数据处理领域的一项关键技术。无论是处理批量数据还是实时数据，亦或是进行机器学习和图计算，Spark都提供了强大的支持。如果你在寻找一个高效的大数据处理框架，Spark无疑是一个值得考虑的选择。

核心特性

  • 速度：Spark的一个显著特性是速度。它利用内存中的数据处理能力，相比于基于磁盘的Hadoop MapReduce，Spark可以在某些情况下快上100倍。此外，Spark支持内存和磁盘混合计算，在内存不足时将数据部分存储在磁盘中，以确保任务的顺利执行。

  • 通用性：Spark提供了丰富的API，可以用Java、Scala、Python和R语言编写程序。它支持多种大数据处理任务，包括批处理、交互式查询、实时流处理、机器学习和图计算等。这些特性使得Spark成为一个非常灵活的工具，适用于各种数据处理需求。

  • 易用性：Spark的编程模型简单且高效，它基于“弹性分布式数据集”（RDD）的概念，允许开发者以函数式编程的风格来处理数据集。对于已经熟悉Hadoop的开发者来说，Spark的学习曲线较为平滑。此外，Spark SQL模块提供了类似于SQL的查询接口，方便数据分析人员使用。

  • 扩展性：Spark被设计为可以处理大规模数据集，支持从单节点运行到大规模集群上运行。它可以通过YARN、Mesos、Kubernetes等资源管理器进行集群资源调度，具备良好的扩展性，能够在大规模集群环境中高效工作。

Spark的组件

  • Spark Core：这是Spark的核心模块，负责内存管理、任务调度、错误恢复、与存储系统的交互等基础功能。Spark Core引入了RDD，这是一种容错的分布式数据集合，能够高效地进行并行计算。

  • Spark SQL：这个组件使得结构化数据的处理更加简单。它支持使用SQL语句对数据进行查询，同时可以与Spark的其他模块无缝集成。此外，Spark SQL还支持与Hive兼容，能够读取Hive中的数据。

  • Spark Streaming：该模块用于处理实时数据流。它将实时数据划分为多个小批次，并使用Spark的核心API对每个批次的数据进行处理。这种微批处理方式使得实时处理更加简洁和高效。

  • MLlib：这是Spark的机器学习库，提供了各种机器学习算法，如分类、回归、聚类、协同过滤等。此外，它还提供了数据处理、特征工程和模型评估等工具，能够帮助开发者快速构建和部署机器学习模型。

  • GraphX：用于图计算的模块，提供了图操作和一套用于图并行计算的API，支持图的遍历、路径搜索、连接组件、PageRank等操作。

使用场景

Spark广泛应用于各种需要大规模数据处理的场景，包括但不限于：

  • 批处理：处理大量历史数据，如日志分析、ETL操作。
  • 流处理：实时数据分析和处理，如网络监控、实时推荐系统。
  • 机器学习：大规模数据上的机器学习任务，如推荐系统、文本分类。
  • 交互式查询：通过Spark SQL对大数据集进行快速查询和分析。
  • 图计算：处理社交网络、推荐系统中的复杂图结构数据。

下载文件

我们到官方地址下载：

https://archive.apache.org/dist/spark/

页面如下，为了保证稳定和学习的方便，我用了比较老的版本：2.4.5
在这里插入图片描述
我们选择：without-hadoop-scala 这种版本，可以不用安装配置 Scala：

https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

在这里插入图片描述

解压配置

我们可以使用 wget 或者其他工具来完成文件的下载，我这里是传到服务器上：

cd /opt/software/
wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

在这里插入图片描述
下载完成后，我们进行解压并移动到指定位置：

cd /opt/software/
tar zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

在这里插入图片描述
移动目录到servers下（之前的规范）：

mv spark-2.4.5-bin-without-hadoop-scala-2.12 ../servers

在这里插入图片描述

环境变量

vim /etc/profile
# spark
export SPARK_HOME=/opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12
export PATH=$PATH:$SPARK_HOME/bin

配置完的结果，记得刷新环境变量
在这里插入图片描述

修改配置

cd $SPARK_HOME/conf

slaves

mv slaves.template slaves
vim slaves

# 集群地址
h121.wzk.icu
h122.wzk.icu
h123.wzk.icu

配置完的样子大概如下：
在这里插入图片描述

spark-defaults

mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

# 修改配置的信息
spark.master spark://h121.wzk.icu:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://h121.wzk.icu:9000/spark-eventLog
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 512m

配置完的结果如下图：
在这里插入图片描述

创建HDFS目录

hdfs dfs -mkdir /spark-eventLog

spark-env

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

# 修改如下的配置内容
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/opt/servers/hadoop-2.9.2
export HADOOP_CONF_DIR==/opt/servers/hadoop-2.9.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/opt/servers/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=h121.wzk.icu
export SPARK_MASTER_PORT=7077

配置完成截图如下：
在这里插入图片描述

分发软件

传输文件

使用我们之前编写的 rsync-script 工具。当然你也可以每台都配置一次也行，只要保证环境一致即可。
（之前Hadoop等都使用过，如果你没有，你可以用复制或者别的方式）

rsync-script /opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12

过程会很漫长，请耐心等待：
在这里插入图片描述
文件传输分发完毕：
在这里插入图片描述

环境变量

每天机器都需要配置环境变量！！！

/etc/profile

h122 服务器

在这里插入图片描述

h123 服务器

在这里插入图片描述

武子康
关注
专栏目录
配置hadoop集群
ZYF2190003497的博客
11-09 699
。。
大数据各集群配置详情
Yubingx的博客
10-17 672
大数据各集群框架的配置详情 Hadoop完全集群配置 分析： ​ 1）准备3台客户机（关闭防火墙、静态ip、主机名称） ​ 2）安装JDK ​ 3）配置环境变量 ​ 4）安装Hadoop ​ 5）配置环境变量 ​ 6）配置集群 ​ 7）单点启动 ​ 8）配置ssh ​ 9）群起并测试集群 编写分发脚本 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。 #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 i
大数据集群配置(电)
惊鸿的博客
08-13 1726
还要修改ip地址，这里我第一台是192.168.87.211，为了记忆，IP地址就顺次下移吧，也就是212和213。记录一下三个信息，用作配置IPADDR(ip地址)、NETMASK（子网掩码）、GATEWAY(网关)此时，无论是ping本地，还是ping百度，都可以连上网。首先，在我们需要做免密的机器本体上生成自己的公钥密钥。其他地方不变，修改之后，wq！这里需要重启一下，在查看一下状态。事先说明，需要修改的几个东西。输入命令，登录要连接的主机。首先解压jdk安装包，命令。修改完成以后，重启网卡。....
大数据技术入门-04-集群配置
HYHnb6的博客
06-27 159
本章介绍了配置集群、HDFS和YARN的方法，以及集群的启动和基本测试。通过本系列的学习，读者将掌握大数据技术的基本规划和文件设置，了解Hadoop的强大数据存储和处理能力，以及如何管理和监控集群中的进程。
大数据集群配置-kafka
caocry的博客
06-15 322
kafka
CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVE
weixin_42154841的博客
08-21 2406
spark on Yarn，并且整合spark 与hive过程
大数据集群安装学习笔记
大数据基础入门教程
02-11 413
目录 1 安装部署........................................................................... 4 1.1 solr单节点安装部署................................................................. 4 1.1.1 下载......................
VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）
H_X_P_的博客
11-06 2322
“想要用docker搭建Hadoop集群吗？ 想要的话可以看我这篇博客！ 我把好多坑都走了，尽情复制吧！”
大数据技术之大数据基础阶段考试题（二）
weixin_45739322的博客
12-23 3691
文章目录一 .Zookeeper1 请简述ZooKeeper的选举机制假设有五台服务器组成的zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么。ZooKeeper的监听原理是什么？ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？ZooKeeper的常用命令二 Hive1 Hive表关联查询，如何解决数据倾斜的问题？2 请谈一下Hive的特点，Hive和RDBMS有什
大数据简单面试题
Denovo的博客
05-27 8005
面试题 1、HashMap 和 Hashtable 区别 HashMap和Hashtable的存储和遍历都是无序的！ 继承的类不同：HashMap继承的是AbstractMap类；Hashtable 继承Dictionary类。但是都实现了Map接口。 线程安全问题：hashmap是非线程安全的，底层是一个Entry数组，put进来的数据，会计算其hash值，然后放到对应的bucket上去，当发生hash冲突的时候，hashmap是采用链表的方式来解决的，在对应的数组位置存放链表的头结点，对链表而言，新加
大数据集群环境搭建
06-29
大数据搭建
大数据技术之Hadoop集群配置
&volume的博客
03-05 2051
作者简介：大家好我是小唐同学(๑>؂
大数据集群搭建基本配置说明
科多大数据的博客
05-25 3126
大数据发展愈演愈烈，为了快速跟上技术发展的步伐，最近在学习大数据的相关技术，当然第一步，还是要学习大数据集群的搭建，将自己的一些小经验分享给大家，希望对你们有帮助，当然也感谢在我学习的过程，提供资料和帮助的科多大数据的余老师，话不多说，先上图伪分布：只有一台主要用搭建伪分布式准备三台，用于集群搭建快照克隆克隆出来的主机，它们的主机名、ip、MAC地址都是一样的。所以要进行一些基本配置。修改主机名、...
大数据基本集群搭建
cai_and_luo的博客
06-03 965
Hadoop :之集群搭建搭建虚拟机设置免密配置 jdk180设置Hadoop集群配置配置主节点的 Hadoop 环境进入/opt/bigdata/hadoop260/etc/hadoop配置 hadoop-env.sh配置 mapred-env.sh配置 yarn-env.sh配置 core-site.xml （配置完此步，需要在hadoop260目录下建hadoop2目录）配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置vi ./slavesHadoop
大数据集群安装（一）
shenghaomail的专栏
01-24 711
本次测试计划以 Hadoop + Sqoop 实现。先在虚拟机上安装Hadoop，再安装Sqoop。 一、安装Hadoop 实验环境： 物理机系统：Windows 10 虚拟环境：VMware Workstation 12 Pro + Ubuntu 16.04 LTS 事前准备：配置SSH无密码登陆 + 安装JAVA 1.8.0_121 安装版本：hadoop-2.7.2
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建_基于centos hadoop搭建
2401_84185585的博客
04-12 2080
千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
大数据集群搭建文章
从菜鸟到菜菜鸟
05-01 1429
收集一下大数据集群环境搭建文章：https://wenku.baidu.com/view/0a9c4ebc50e79b89680203d8ce2f0066f433645e.htmlhttps://blog.csdn.net/youzhouliu/article/details/66973596?locationNum=15&fps=1https://segmentfault.com/a/1...
最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)，2024年最新阿里P7大牛整理
最新发布
2301_79772893的博客
05-12 3607
搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。在hadoop01上执行。
外网Linux集群部署大数据环境：Hadoop与Spark配置详解
本文档详细介绍了在大数据集群环境中进行部署的具体步骤，主要围绕Hadoop和Spark两个核心组件展开。首先，从操作系统层面，着重于在Linux集群的外网环境下进行部署，包括安装Java Development Kit (JDK)。由于系统...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

武子康

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值