Spark的Local模式及案例，关于SQL书写建议-&索引优化的总结

• • 1.退出本地模式

• 2.提交应用

• 3.结果截图

基本概念

---

Spark的Local 模式，就是不需要其他任何节点资源就可以在本地执行Spark 代码的环境，一般用于教学，调试，演示等。

Local模式搭建

---

1. 解压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Linux 并解压缩，放置在指定位置（路径中

不要包含中文或空格）

spark-3.0.0-bin-hadoop3.2.tgz 免费下载

解压文件

[root@hadoop103 software]# tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

2.修改文件名

修改文件名为spark-local

[root@hadoop103 module]# mv spark-3.0.0-bin-hadoop3.2 spark-local

启动 Local 环境

---

1.进入解压缩后的路径，执行如下指令

[root@hadoop103 spark-local]# bin/spark-shell

成功截图

2. 启动成功后，可以输入网址进行 Web UI 监控页面访问

http://虚拟机地址:4040

WordCount案例

---

1.添加文件

在解压缩文件夹下的data 目录中，添加word.txt 文件

[root@hadoop103 data]# vim word.txt

2.执行命令

命令行工具中执行如下代码指令

sc.textFile(“data/word.txt”).flatMap(.split(" ")).map((,1)).reduceByKey(+).collect

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

最后总结我的面试经验

2021年的金三银四一眨眼就到了，对于很多人来说是跳槽的好机会，大厂面试远没有我们想的那么困难，摆好心态，做好准备，你也可以的。

另外，面试中遇到不会的问题不妨尝试讲讲自己的思路，因为有些问题不是考察我们的编程能力，而是逻辑思维表达能力；最后平时要进行自我分析与评价，做好职业规划，不断摸索，提高自己的编程能力和抽象思维能力。

BAT面试经验

实战系列：Spring全家桶+Redis等

其他相关的电子书：源码+调优

面试真题：

链图片转存中…(img-93zZM6my-1711988257327)]

其他相关的电子书：源码+调优

[外链图片转存中…(img-geRY2eyB-1711988257328)]

面试真题：

[外链图片转存中…(img-OtcQI8uG-1711988257328)]

[外链图片转存中…(img-PY4MK9bh-1711988257328)]