Spark Standalone Mode 在 Win10 下搭建开发调试环境

最新推荐文章于 2022-06-13 11:07:01 发布
最新推荐文章于 2022-06-13 11:07:01 发布
阅读量918 收藏 1
点赞数
分类专栏： spark 文章标签： spark standalone
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Agony__X/article/details/78559723
版权
本文详细介绍了如何在Windows 10系统中配置Spark Standalone模式的开发调试环境，包括Java、Scala、Hadoop的环境变量配置，以及启动Master和Slave节点。通过IntelliJ IDEA创建Spark项目，指定Master地址运行测试，成功实现代码追踪和断点调试。
摘要由CSDN通过智能技术生成

系统环境变量配置

Java Env

略， 确保在cmd终端可以运行java

C:\windows\system32>java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Scala Env

scala download 下载 scala 安装包 scala-2.12.4.zip for windows 解压

配置系统环境变量， 系统 >> 高级系统设置 >> 高级 >> 环境变量：

  • 新建系统变量SCALA_HOME
    这里写图片描述

  • 编辑系统变量PATH
    新建 内容࿱

最低0.47元/天 解锁文章
ice泉
关注
专栏目录
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4663
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1103
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
spark之Standalone模式部署配置详解
08-29
主要介绍了spark之Standalone模式部署配置详解，小编觉得挺不错的，这里分享给大家，供各位参考。
Windows上搭建Standalone模式的Spark环境
weixin_30851409的博客
12-24 311
Java 安装Java8，设置JAVA_HOME，并添加 %JAVA_HOME%\bin 到环境变量PATH中 E:\java -version java version "1.8.0_60" Java(TM) SE Runtime Environment (build 1.8.0_60-b27) Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23...
Spark的StandAlone运行模式环境搭建
gx304419380的博客
01-25 671
一、Spark集群搭建 版本：spark-2.1.0-bin-hadoop2.6 安装：将spark解压到各节点的/opt目录下 配置：(各节点配置相同) 1. 进入spark配置文件夹： cd /opt/spark/conf 2. 将slaves.template修改为slaves： mv slaves.template slaves 3. 修改slaves文件，添加spark集
Spark Standalone 单机
CSDN1154366625的专栏
06-24 446
请先看完 “集群搭建必看！初期准备工作！” 所需文件：spark-2.1.2-bin-hadoop2.7.tgz 1.安装spark-2.1.2$ sudo mkdir -p /colony/spark //创建spark安装目录$ sudo tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz -C /colony/spark/$ sudo chown -R hado...
windows下spark standalone集群模式及集成hive metastore
yians的专栏
12-08 896
要开始研究spark的源码了，首先要准备好环境，搭建时的考虑如下： 1、开发windows还是首选，所以运行环境限制在windows下 2、既然看源码，集群模式绕不过去，使用spark standalone集群已经能说明绝大部分问题，不采用yarn是因为在windows下面搭建太麻烦了 3、生产环境肯定是集成hive的metastore，这里使用独立的metastore服务方式，hive已经沦落到元数据管理的作用了，当然即便是元数据管理这一项，也是非常重要的，这里使用mysql作为metastore的
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
Spark Standalone单机模式环境搭建
Acolasiajialifen的博客
01-03 1015
实验目录 目录 实验目录 实验环境 准备工作 安装步骤 实验环境 Windows10+Centos7+jdk1.8.0_171+spark-2.4.8 准备工作 jdk-8u171-linux-x64.tar.gz和spark-2.4.8-bin-hadoop2.7.tgz 安装步骤 将spark-2.4.8-bin-hadoop2.7.tgz上传至/tools/目录下 进入/tools/目录下将其解压至/training/目录下，执行： tar -zxvf spark-2.4.8-
spark-standalone安装教程
m0_48379126的博客
10-21 661
安装环境：CentOS-7、jdk 软件版本：spark-2.3.4-bin-hadoop2.6 资源路径：百度网盘 请输入提取码 提取码：zzzz 1、将安装包上传到 /opt 目录下 2、解压安装包 tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz -C soft/spark234/ --strip-components 1 3、将 /opt/soft/spark234/conf/slaves.template 拷贝一份改名为slaves，并编辑 cp..
Spark-sql windows 下 执行错误.
weixin_30347009的博客
05-15 128
root scratch dir: /tmp/hive on HDFS should be writable 查询后，下面这个博客的解决方案成功解决了我的问题。解决方案的参考链接主要是在spark/bin 下执行了如下三条语句 %HADOOP_HOME%\bin\winutils.exe ls \tmp\hive %HADOOP_HOME%\bin\winutils.exe chmo...
Spark 启动报错
LENG_HHH的博客
06-13 1459
spark报错
spark-core_09: org.apache.spark.deploy.master.Master源码解析1
luyllyl的博客
03-26 765
1,先是start-all.sh调用start-master.sh（查看spark-core_05:$SPARK_HOME/sbin/start-all.sh、start-master.sh脚本分析）。而start-master.sh 使用如下脚本调用spark-deamon.shspark-daemon.sh start org.apache.spark.deploy.master.Master...
Spark在Win10下的环境搭建
海锋博客
03-08 3万+
前言本章将介绍如何在WIN10下实现spark环境搭建。本章概要1、版本说明2、环境准备：jdk配置；scala安装与配置；spark安装与配置；hadoop安装与配置；版本说明jdk：1.8scala：2.11.8spark：2.3.0hadoop：2.8.3环境准备jdk配置1、配置JAVA_HOME与Path：Path2、验证配置：scala安装与配置1、scala下载：访问官方地址http...
spark踩坑记——windows环境下spark安装和运行
热门推荐
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
windows系统作为driver远程提交任务给spark standalone集群demo
咸鱼的小站
05-11 1479
其实这个是上篇文章的升级版。先上demo代码吧，其中要改的地方还挺多的，此外，如果不将模型持久化的话，烦请自行修改相关代码（demo比较简单，我就不阐释他是干什么的了）：from pyspark.ml.feature import Word2Vec from pyspark.sql import SparkSession from pyspark import SparkConf from pys...
window10下spark2.1.0单节点环境及开发环境搭建及运行全流程走通
nju_mc的博客
02-09 5120
作为一名初入spark编程的初级工程师，在工作中总是会有一些程序需要先在自己的spark环境下试跑，所以需要自己在自己电脑中安装自己的spark运行环境以及开发，方便用于调试，还可以时不时的测试一下API，玩一玩自己随手编的小程序，以便学习，因为开源的东西变化太快，总是需要你不断学习...最近在工作中就有这样的一个需求，而网上也没有最新的资源，抱着和大家分享一起学习的心态，从头到尾咱们来一遍！
Window下Spark环境搭建（可跑代码调试）
JSlow
01-09 1486
前言 这篇博客是在同事的帮忙下完成的，这里我做一个记录，感谢牛逼的同事一波先。哈哈。 本篇博客目的是指导搭建一个Spark的调试环境，在Win10下面。 本人使用的开发工具是IDEA，博客里面用的的所有依赖包会在博客后面分享给需要的朋友，希望能帮助你，跨好大数据入门的一步。 准备工作 为了实现Spark的调试环境，我们下面需要准备如下的一些工具。 hadoop-2.8.5.tar（Spark需要...
搭建Spark开发环境：JDK、Scala、Hadoop与Spark Shell详解
本文档主要介绍了如何在Windows环境下搭建Spark开发环境，包括JDK、Scala、Hadoop以及Spark本身的安装和配置。以下是详细的步骤和要点： 1. **JDK环境**: - JDK1.8的安装可能会覆盖之前安装的JDK1.6，需要注意的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值