Spark技术03直播笔记，2024年最新面试必问

最新推荐文章于 2024-08-27 21:09:18 发布
最新推荐文章于 2024-08-27 21:09:18 发布
阅读量953 收藏 22
点赞数 29
分类专栏： 程序员 文章标签： spark 笔记 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79772893/article/details/137714626
版权

具体操作请跳转到PySpark(超详细笔记）
往下找找 写的很详细
在这里插入图片描述
配完以后可以在xshell里去启动jupyter notebook
在这里插入图片描述
直接访问hadoop141:8888
在这里插入图片描述
密码是之前步骤里设置的
在这里插入图片描述
在这里插入图片描述
这里面就可以执行Python和pyspark
在这里插入图片描述
它的路径保存在设置的路径里
在这里插入图片描述
可以使用了
在这里插入图片描述
在这里插入图片描述
进入这个脚本

./bin/spark-shell

在这里插入图片描述
启动以后告诉你可以到4040去访问
在这里插入图片描述
后边提交的所有东西都会在这看得到
在这里插入图片描述
默认是本地模式执行
在这里插入图片描述
也可以别的模式操作
在这里插入图片描述
在这里插入图片描述
刷新以后再来看会发现有一个编译驱动的一个添加，证明是通过你这个东西来提交的了
在这里插入图片描述
spark session的有效值被起了一个别名叫spark 是spark session的一个对象 实例化后的一个对象
在这里插入图片描述
试着完成一个案例，通过spark的语法去创建一个0~1000之间的 列名是number的一个列表
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
回到上面来会发现有添加

然后dateframe 它是二维数组 尝试案例
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
出现stage已经在计算了
在这里插入图片描述
刷新可以看到正在运行的job
在这里插入图片描述
在这里插入图片描述
比如说在这个有向无环图里面 第一部是一个整体的一个构建
在这里插入图片描述
然后进行了一个统计计算
在这里插入图片描述
然后来到这个里面
在这里插入图片描述
首先第一步是切割你的数据，最后两个是不同的Map计算
在这里插入图片描述
往下翻可以看到记录的执行结果（18条）
这就是spark里面最简单的记录总数的一个计算
在这里插入图片描述

Pycharm

接下来需要安装Pycharm软件
在这里插入图片描述
示范 先随便创建个文件夹，然后在里面打开，对于Pycharm来说如果要访问远程集群，必须新建一个解释器
在这里插入图片描述
在main里面有一个编辑配置
在这里插入图片描述
在+号里面找到这个
在这里插入图片描述
在这里插入图片描述
如果没有的话在工具部署配置里面
在这里插入图片描述
按照这个
在这里插入图片描述
在这里插入图片描述
这个要取消掉
在这里插入图片描述
配置没有的话要配置一下
在这里插入图片描述
在这里插入图片描述
映射里本地路径不要动 部署路径更改
在这里插入图片描述
比如映射到这个里面，需要创建对应的文件
在这里插入图片描述
然后他就可以自动的映射了
在这里插入图片描述
web路径就这个不要动 然后就可以了 点击确定
在这里插入图片描述
文件设置里找到python解释器
在这里插入图片描述
在这里插入图片描述
就用刚才配好的那个通过SSH去连接
在这里插入图片描述
点击下一个
在这里插入图片描述
在这里插入图片描述
找到python3解释器的路径
在这里插入图片描述
直接点击完成
在这里插入图片描述
然后就连接上了
在这里插入图片描述
点击确定
在这里插入图片描述
他会自动完成上传
在这里插入图片描述
前面路径映射错了，可以重新修改

在这里插入图片描述
比如说在这里面新建文件wordcount
在这里插入图片描述
然后对应路径里会出现
在这里插入图片描述
接下来我们所执行的所有代码就相当于在集群里面去执行的
在这里插入图片描述
首先我们打包实现一个词频统计

import sys

在这里插入图片描述

需要先装包,这个路径下载快一点

pip3 install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple

在这里插入图片描述
安装好后，就能在这里面看到你安装的pyspark了，然后就可以写程序了
在这里插入图片描述

from pyspark.sql import SparkSession

在这里插入图片描述

spark = SparkSession.builder.master("local[\*]".appName('PycharmJob').getOrCreate()
print(spark)

右击运行
在这里插入图片描述
执行出来了
在这里插入图片描述
如果不对，可能是解释器映射不对，重新弄
在这里插入图片描述
调用方法获取文本路径

words = spark.sparkContext.textFile("/home/hadoop/word.txt")

在这里插入图片描述

print(words)

在这里插入图片描述
重新加一个file:就可以获取本地文件夹了
在这里插入图片描述
是通过MapPartitionsRDD去走的
在这里插入图片描述
这个可以做词频统计，pycharm进行远程提交
在这里插入图片描述
刚才有个问题我们word.txt是没有提前创建的，在这个情况下
在这里插入图片描述
在这里插入图片描述

这样是正常输出的，它调用这个方法去寻找文件，当然找不到也没有关系，没涉及到具体的操作和计算，只是一个转换过程
在这里插入图片描述
词频统计获取每一行
在这里插入图片描述
然后进行切割计算 换行用
在这里插入图片描述
相加，结果collect动作打成一个集合

在这里插入图片描述
运行结果
在这里插入图片描述
还可以通过hadoop141:7077,用的是远程了
在这里插入图片描述

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-J6Y47NBX-1712989065186)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2301_79772893
关注
  • 29
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
内推墙---2024年春季程序员招聘求职汇总，2024年最新java面试评语及录用意见和建议
2401_84439899的博客
04-21 786
引领完成Docker的安装、部署、管理和扩展，让其经历从测试到生产的整个开发生命周期，深入了解Docker适用于什么场景。并且这本Docker的学习权威指南介绍了其组件的基础知识，然后用Docker构建容器和服务来完成各种任务：利用Docker为新项目建立测试环境，演示如何使用持续集成的工作流集成Docker，如何构建应用程序服务和平台，如何使用Docker的API，如何扩展Docker。
最全Spark技术02直播笔记，2024年最新大数据开发之内存泄漏调试学习与总结
2401_84159839的博客
05-07 417
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！先输入第一行 1，完成后输入第二行 2,3,4(有斜杠的是连在一起的）完成后第三行 5 完成后第四行 6。tgz下载后他是属于一个压缩包之后我们需要对它进行解压，解压完以后就可以进行编译之后安装。pwd 查看 你已经进入到这个文件夹里面了，进来以后我们就需要编译安装这个Python。之后下载python3.7的包，最后一个p是大写P他写错了。
Spark技术02直播笔记，2024年最新2024年BATJ30套大厂大数据开发经典高频面试题
2301_82243558的博客
04-17 266
安装目录是在这个/usr/local/python3,当然你们会发现它是没有python3的，它会自己去创建，你不用管。tgz下载后他是属于一个压缩包之后我们需要对它进行解压，解压完以后就可以进行编译之后安装。pwd 查看 你已经进入到这个文件夹里面了，进来以后我们就需要编译安装这个Python。解压包上会出现这个文件夹，接下来我们需要进入这个文件夹里去编译这个Python。如果有包 也可以右击传输从主机传输到虚拟机里面就不用下载包了。之后下载python3.7的包，最后一个p是大写P他写错了。
Spark技术02直播笔记，2024大数据开发笔试真题
2401_84166811的博客
04-15 336
好了之后一句句执行这个，创建软连接的意思就是把python3和pip3放在另一个目录里，配置的时候我们直接使用这两个目录就行。安装目录是在这个/usr/local/python3,当然你们会发现它是没有python3的，它会自己去创建，你不用管。tgz下载后他是属于一个压缩包之后我们需要对它进行解压，解压完以后就可以进行编译之后安装。pwd 查看 你已经进入到这个文件夹里面了，进来以后我们就需要编译安装这个Python。解压包上会出现这个文件夹，接下来我们需要进入这个文件夹里去编译这个Python。
2024年大数据最新大数据测试：构建Hadoop和Spark分布式HA运行环境！，2024年最新大数据开发内存优化面试
2401_84591746的博客
05-05 869
测试Hadoop的HA配置，模拟不同类型的故障，例如NameNode故障或ResourceManager故障，以确 保HA配置正常运行。与Hadoop类似，您需要准备一个Spark集群，确保各个组件正常运行，包括Spark Master和Spark Worker。测试Spark的HA配置，模拟不同类型的故障，例如主Master故障或备用Master故障，以确保HA配置正 常运行。在HA环境中，数据一致性是一个重要的问题。在Hadoop和Spark配置中使用共享存储，以确保数据在主节点和备用节点之间的同步。
Spark技术03直播笔记(1)，大数据开发程序员如何有效提升学习效率
2301_79772893的博客
04-13 837
里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
Spark技术02直播笔记(2)，大厂面经合集
2401_84166811的博客
04-15 491
先输入第一行 1，完成后输入第二行 2,3,4(有斜杠的是连在一起的）完成后第三行 5 完成后第四行 6。tgz下载后他是属于一个压缩包之后我们需要对它进行解压，解压完以后就可以进行编译之后安装。pwd 查看 你已经进入到这个文件夹里面了，进来以后我们就需要编译安装这个Python。解压包上会出现这个文件夹，接下来我们需要进入这个文件夹里去编译这个Python。现在我们需要下载到/home/hadoop里面,这里才是配的主路径里面。之后下载python3.7的包，最后一个p是大写P他写错了。
我的2024年终总结：疫情之下裸辞后的一些感悟和面试心得（上篇）
2401_84121789的博客
04-20 1049
其实Android开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。上面分享的腾讯、头条、阿里、美团、字节跳动等公司2019-2021年的高频面试题，博主还把这些技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，上面只是以图片的形式给大家展示一部分。【Android思维脑图（技能树）】知识不体系？
三流面试聊技术，二流面试聊平台，一流面试…
2401_84048290的博客
04-19 917
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
网易云音乐机器学习平台实践_lookalike配置方案(2)，flutter返回上个页面
2401_84167072的博客
04-21 1202
以上就是网易云音乐机器学习平台的过去的一些工作，回顾一下，我们分别从“资源层”、“底层框架层”、“应用框架层”、“功能层”来分享相关的部分工作以及进展，机器学习平台因为覆盖的面很广泛，工作看起来比较杂乱，覆盖各种不同的技术栈，并且各项工作的挑战与目标都不一样，还是很有意思的。本文发布自网易云音乐技术团队，文章未经授权禁止任何形式的转载。我们常年招收各类技术岗位，如果你准备换工作，又恰好喜欢云音乐，那就加入我们。作者：网易云音乐技术团队。
Spark 之 map 与 flatMap 的区别
跟着大数据和AI去旅行
08-24 323
map 函数 它将某个函数应用到集合中的每个元素，并产生一个结果集合。 我们可以这样对列表的元素进行平方： scala> list1 res3: List[Int] = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10) scala> list1.map(x=>x*x) res4: List[Int] = List(0, 1, 4, 9, 16, 25, 36
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
永远好奇，无限进步！
08-24 1999
上节研究了SparkStreaming基础概述、架构概念、编程模型、优缺点概括等内容。本节研究Spark Streaming DStream 文件数据数据流、Socket、RDD队列流等内容。每秒创建一个RDD（RDD存放1-100的整数），Streaming每隔1秒就对数据进行处理，计算RDD中数据除10取余的个数。] 也会只启动一个线程，该线程用于 Receiver Task，此时没有资源处理接受到达的数据。
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-19 1281
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
Spark on YARN
最新发布
qq_41081716的博客
08-27 582
Spark 在 YARN 上运行是一种常见的部署方式，特别是在企业环境中。这种方式充分利用了 YARN 的资源管理和调度能力，同时让 Spark 应用程序能够高效地运行在 Hadoop 集群上。如果你需要进一步的帮助或有关于具体配置的问题，请随时提问！
MySQL 相关知识笔记
weixin_68929783的博客
08-23 1441
以上是根据 B 站黑马课程学习后的 MySQL 笔记，为了日后复习和给别人参考而整理，希望对大家有所帮助。同时，在实际应用中，还需要根据具体情况合理使用索引、约束等功能，以提高数据库的性能和数据的完整性。
软件测试学习笔记丨Pytest配置文件
ceshiren_com的博客
08-27 824
pytest.ini是pytest的配置文件；可以修改pytest的默认行为；不能使用任何中文符号，包括汉字、空格、引号、冒号等。
【项目】云备份系统笔记
m0_73713491的博客
08-27 681
就包含一个类，config，是读取配置文件的类，因为配置文件只有一份，所以可以采用单例模式，把config类的构造函数私有化，只能通过一个公共成员函数getinstance（）来创建对象（new config（）），在类的内部可以调用私有化构造函数，构造函数里面再调用读取配置文件的函数，用自己实现的工具类读取配置文件，将读到的内容放到一个字符串中，然后再将字符串用Json进行序列化，然后给类中的成员变量进行赋值，类中的成员变量就包含了cloud.conf里面包含的信息，一一对应。
阅读笔记5：董超底层视觉之美|时空的交错与融合——论视频超分辨率
BigerBang的博客
08-24 986
本文是董超老师底层视觉之美系列的笔记，本篇主要是对视频超分进行了总结和回顾：基于Cnn的方案、基于transformer的方案、基于生成模型的方案（gan、diffusion）
Spark面试必备：三十问解析Spark核心概念与性能优势
"Spark经典常见的面试题集合，包含三十个面试问题，涵盖Scala基础、Spark特性和性能比较等。" 1. **Scala基础知识** - **var、val、def的区别**： - `var` 是可变变量，其值可以在程序运行过程中改变，但类型不可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值