大数据学习之Spark——02Spark集群安装

最新推荐文章于 2024-10-16 10:56:54 发布
最新推荐文章于 2024-10-16 10:56:54 发布
阅读量152 收藏
点赞数
分类专栏： Spark 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bingque6535/article/details/107500590
版权
本文详细介绍了在大数据环境中如何安装和配置Spark集群，包括安装JDK、Spark集群的搭建、启动、日志服务器配置、Master高可用设置以及Spark与Hive的整合。通过这些步骤，确保了Spark在分布式环境中的稳定运行。
摘要由CSDN通过智能技术生成

一. 安装JDK

由于之前的集群安装的是jdk1.7的版本, 所以这里操作相对会麻烦一点

  1. 安装jdk1.8版本
    在这里插入图片描述
    注意:要修改族和组

  2. 修改配置文件

    因为之前安装过jdk1.7,如果还是把$PATH,写在前面,不会生效

    export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

  3. 分发给其他虚拟机

  4. 之前安装jdk时在” /usr/bin”目录下有一个java的连接:
    在这里插入图片描述

  5. 进入他指向的连接地址:
    在这里插入图片描述

  6. 执行:

    ln -sf /usr/java/jdk1.8.0_181/bin/java  /usr/bin/java

  7. 修改后进入”/usr/bin”查看:
    在这里插入图片描述

  8. 修改这一步的原因是:
    spark集群会默认从这个路径下查询jdk的版本

  9. 修改hadoop的配置文件

    /opt/hjf/hadoop/etc/hadoop/hadoop-env.sh

    在这里插入图片描述
    修改为现在的版本号:

    # export JAVA_HOME=/usr/java/jdk1.7.0_67
export JAVA_HOME=/usr/java/jdk1.8.0_181

    在这里插入图片描述

至此, jdk版本更改完成, 接下来正式安装spark

一. Spark安装

node01\node02\node03三台安装spark集群
node04只用于任务提交

1. 将spark解压大指定路径下:
最低0.47元/天 解锁文章
Jiang锋时刻
关注
专栏目录
【Spark开发必备技能】3-1-运行环境配置-JDK安装
Spark技术咖的博客
07-18 957
目录 1、Windows JDK安装     1.1 下载JDK-1.8         1.2 双击安装     1.3 环境变量配置      1.4 验证结果 2、Mac JDK安装     2.1 下载JDK-1.8         2.2 双击开始安装     2.3 JDK安装目录查看     2.4 结果验证 3、Windows Hadoop环境配置     ...
Hadoop 之 Spark 配置与使用（五）
weixin_42176639的博客
07-26 2008
Spark 单机部署、集群部署 Java 访问 Spark 测试
java spark环境配置文件_spark基础学习-环境搭建（windows+Java）
weixin_36355328的博客
03-04 172
1、jdk安装jdk下载、安装以及环境变量的配置在此不做赘述。2、Scala安装下载地址：下载Windows对应的.msi文件，完成后双击执行安装。安装成功后会自动将Scala的bin目录添加到系统变量path中，若path中没有则按照JAVA的方法将Scala的bin目录添加到系统变量中验证win+r-->cmd-->scala，若出现以下信息则说明安装成功：3、spark安装下载地...
Spark 环境安装与案例演示
小方块的博客
08-24 597
Spark 环境安装 一、准备工作 1、hadoop成功安装 2、防火墙关闭 二、解压安装 1、上传 spark 安装包到/tools 目录，进入 tools 下，执行如下命令： tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /training/ 由于 Spark 的脚本命令和 Hadoop 有冲突，只需在.bash_profile 中设置一个即可（不能同时设 置） 2、进入training，进入spark安装路径，配置文件spark-env.sh 1, cd /t
spark获取输入文件路径(Java版)
zwlll19900607的专栏
12-10 864
和写MapReduce程序一样，在写spark时经常需要处理多份文件且每份文件的数据格式和要处理的方式不尽相同，这个时候就需要一份一份数据处理，然后在进行一些聚合操作。这样做不仅代码写的比较臃肿可读性差，甚至有时会忘记聚合某些文件。这里我们就需要根据不同的文件名进行相应的处理。spark默认的读文件方法textFile和读parquent文件方法parquetFile都不包含文件分片信息，只包含文...
大数据学习之Spark——01Spark概述
bingque6535的博客
07-21 301
一. Spark初始 1. 什么是Spark Spark是一种基于内存的快速, 通用, 可扩展的大数据分析引擎 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark是Scala编写，方便快速编程。 2. 总体技术栈 Spark Co
大数据基础之Spark——Spark的安装教程
Clozzz的博客
07-23 482
注意：在安装spark之前一定要确保自己虚拟机已经安装了jdk，如果没有请看我之前的博客。 1.spark资源（自取）： https://pan.baidu.com/s/1Kn0-UnZ8AMLiHF4l2YGcLQ 提取码：ao3w 2.将压缩包上传到Linux系统，并进行解压和安装 //解压 tar -zxf spark-2.3.4-bin-hadoop2.6.tgz //个人习惯将安装的软件放在soft文件夹下，没有就自己新建一个 mv spark-2.3.4-bin-hadoop2.6 /opt/s
Day11 —— 大数据技术之Spark
weixin_62804382的博客
06-19 918
Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在一些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。Apache Spark是一款快速、通用、可扩展的大数据处理框架。
大数据技术之Spark（一）——Spark概述
five小点心的博客
03-29 2278
Apache Spark是一个开源的、强大的分布式查询和处理引擎，它提供MapReduce的灵活性和可扩展性，但速度明显要快上很多；拿数据存储在内存中的时候来说，它比Apache Hadoop 快100倍，访问磁盘时也要快上10倍。
摸鱼大数据——Spark基础——Spark集群Standalone模式+PyCharm远程开发配置
weixin_65694308的博客
07-01 516
远程连接方案, 允许所有的程序员都去连接远端的测试环境, 确保大家的环境都是统一的, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在pycharm编写代码 都会自动上传到远端服务器中, 在执行代码的时候, 相当于是直接在远端环境上进行执行操作。可以配置为Base环境，也可以配置为其他的虚拟环境, 但是目前建议配置为Base环境，因为Base环境自带python包更全面一些。Standalone的模式是Spark自身进行资源和任务的管理，不借助任何的第三方的工具。4- 接收Spark任务的请求。
大数据面试之——Spark
01-07
Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。方便调试，本地模式分三类 local：只启动一个executor local[k]: 启动k个executor local：启动跟cpu数目相同的 executor 2.standalone模式 ...
大数据学习之spark——01spark概述
06-28
Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大...
大数据学习之Spark——08任务提交
bingque6535的博客
07-24 143
一. Standalone模式提交 1. Standalone-client提交任务 1. 提交命令 命令1: ./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 10 命令2: ./spark-submit --master spark://node01:7077 --de
大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）
m0_46615073的博客
08-25 1074
文章目录 前言 一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1
Kafka 为什么要抛弃 Zookeeper？
m0_54369189的博客
10-16 385
本文，我们分析了为什么 Kafka 要移除 ZooKeeper，主要原因有两个：ZooKeeper不能满足 Kafka的发展以及 Kafka想创建自己的生态。在面临越来越复杂的数据流处理需求时，KRaft 模式为 Kafka 提供了一种更高效、简洁的架构方案。不论结局如何，Kafka 和 ZooKeeper曾经也度过了一段美好的蜜月期，祝福 Kafka 在 KRaft模式越来越强大，为使用者带来更好的体验。
Apache Storm实时流处理的核心技术
最新发布
hello.reader
10-16 1089
Apache Storm 是一个流处理引擎，它可以持续处理不断到来的数据流（streams）。Storm 允许用户构建拓扑（Topology）来定义数据流的路径以及处理的逻辑。在这种拓扑中，数据从源（Spout）开始流入，通过一系列的处理节点（Bolt）进行转换或处理，最终得到输出结果。Storm 的架构基于并行执行的理念，支持高吞吐量和低延迟的数据处理。分布式数据流处理：Storm 可以在分布式环境下处理大量数据，支持大规模的集群部署。容错和高可用性。
RabbitMQ 如何保证消息不丢失？
qq_74042166的博客
10-13 1806
要保证 RabbitMQ 的消息不丢失，需要从生产者、路由过程、消费者和 Broker 端采取一系列措施。消息丢失的常见原因包括：生产者发送失败、消息路由失败、消费者处理异常，以及 RabbitMQ 服务宕机未持久化。为解决生产者端的消息丢失问题，可以采用事务机制或发布确认机制，确保消息成功发送并得到确认。路由过程中，可以通过mandatory参数或设置备份交换机来处理路由失败的情况，确保消息到达队列。消费者端则应使用手动确认模式，保证消息处理完成后才返回 ACK，避免因处理失败导致消息丢失。
SparkSQL介绍及使用
m0_70882914的博客
10-13 506
SparkSQL介绍及使用
大数据与人工智能在金融风险控制中的应用
2405_87249521的博客
10-16 1069
通过对海量数据的实时分析和智能化的预测模型，金融机构能够更准确地识别潜在风险，采取适当的防范措施，从而提升金融市场的稳定性和安全性。传统的信用评估主要依赖于财务报表和历史信用记录，而大数据技术可以结合客户的社交媒体行为、购物习惯、互联网搜索记录等非结构化数据，为风险评估提供更全面的视角。同时，AI还能够自动识别潜在的合规风险，减少人工审核的压力。大数据与人工智能在金融风险管理中有着广泛的应用场景，从信用评估、市场风险分析，到反欺诈和监管合规，都可以利用这些技术来提升风险控制的效率和准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值