搭建spark

已于 2022-11-03 20:10:04 修改
阅读量60 收藏
点赞数
分类专栏： hadoop 文章标签： spark
于 2021-06-03 13:35:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51737266/article/details/117518902
版权

1.解压scala并更改短名

2021060313242049.png

20210603132441249.png

2.配置环境

20210603132547690.png

3.进入scala

20210603132641720.png

4.解压spark并更改短名

20210603132724273.png

20210603132742506.png

5.进入spark/conf修改spark-env.sh

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MTczNzI2Ng==,size_16,color_FFFFFF,t_70

6.配置环境

20210603133214437.png

7.启动spark 进入spark/sbin目录

202106031333066.png

8.启动进程

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MTczNzI2Ng==,size_16,color_FFFFFF,t_70

9.进入spark

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MTczNzI2Ng==,size_16,color_FFFFFF,t_70

 

 

 

小小脑袋呀
关注
专栏目录
搭建Spark伪分布式
m0_59791585的博客
06-21 1326
4
搭建spark集群
HTY_yysd的博客
03-21 5048
一、搭建集群 （一）私有云上创建三台虚拟机 创建配置过程，参看本博《 在私有云上创建与配置虚拟机》 （二）利用SecureCRT登录三台虚拟机 打开连接对话框 1.登录master 在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 现在我们通过/et...
搭建Spark Standalone集群
梁辰兴的博客
04-19 1154
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
搭建Spark集群
py20010218的博客
06-15 1251
spark集群
搭建spark单机版集群
最新发布
wujiaen的博客
04-25 600
搭建spark集群。
windows搭建spark环境
qq_25091649的博客
10-21 3906
windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装
基于k8s搭建spark
Rory的博客
11-12 1469
【代码】基于k8s搭建spark。
docker本地搭建spark yarn hive环境
crazypandariy的专栏
03-09 1420
本文主要介绍如何简单快速地利用docker在本地搭建用于测试或学习的大数据spark yarn hive集群环境
搭建Spark单机版环境
m0_59791585的博客
06-16 2413
3
使用docker快速搭建Spark集群的方法教程
09-30
通过使用 Docker，可以快速的在本地搭建一套 Spark 环境，方便大家开发 Spark 应用，或者扩展到...下面这篇文章主要给大家介绍了使用docker快速搭建Spark集群的方法教程，需要的朋友可以参考借鉴，下面来一起看看吧。
PyCharm搭建Spark开发环境的实现步骤
09-18
标题中提到的知识点是“PyCharm搭建Spark开发环境的实现步骤”，这意味着文章将详细阐述如何使用PyCharm这款集成开发环境（IDE）来配置Apache Spark的运行环境。Apache Spark是一个开源的大数据处理框架，广泛用于大...
基于docker搭建spark on yarn及可视化桌面.doc
09-29
基于docker搭建spark on yarn及可视化桌面.doc
Linux下搭建Spark 的 Python 编程环境的方法
09-15
在Linux系统中搭建Spark的Python编程环境，首先要确保系统中已经安装了Java 8或更高版本，因为Spark运行依赖Java环境。接下来，你需要从Spark的官方网站下载最新版本的Spark（例如2.4.2），并将下载的tar.gz文件解压...
liunx网卡启动不了解决办法
weixin_51737266的博客
06-03 2338
1.关闭NetworkManager服务：systemctl stop NetworkManager 2.设置禁止开机启动：systemctl disable NetworkManager 3.重启网卡：service network restart
平台搭建遇到namenode和datanode启动不了
weixin_51737266的博客
06-03 1192
1.遇到这种情况首先检测hadoop/conf文件中是否有错误 2.去查看hadoop下logs日志保错 3.如果是namenode 和 datanodeid
ha环境搭建
weixin_51737266的博客
11-06 1181
ha搭建无本人许可禁止转载
hadoop启动jobhistoryserve
weixin_51737266的博客
09-24 737
单独启动 historyserver
kafka搭建
weixin_51737266的博客
06-03 379
1.解压kafka和更为短名
搭建Spark开发环境：JDK、Scala、Hadoop与Spark Shell详解
本文档主要介绍了如何在Windows环境下搭建Spark开发环境，包括JDK、Scala、Hadoop以及Spark本身的安装和配置。以下是详细的步骤和要点： 1. **JDK环境**: - JDK1.8的安装可能会覆盖之前安装的JDK1.6，需要注意的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小脑袋呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值