Spark
文章平均质量分 77
Spark学习系列文章
超周到的程序员
【履历】目前就职于快手,大三时在腾讯实习,22年秋招收到多家大厂的录用offer:腾讯云、快手、云账户、福耀、比亚迪等,有二十余场面试经验
【技术咨询】本人可提供指导的方向:软件开发领域的多种语言的后端开发(Java、Python、Node.js、Go)、前端开发、3D游戏开发、App开发、网络爬虫、Web自动化、数据可视化
展开
-
【大数据开发 Spark】第五篇:模拟分布式计算:Client 的计算任务 Task 交给多个 Server 处理
Spark 分布式计算模拟原创 2022-05-29 23:08:49 · 227 阅读 · 0 评论 -
【大数据开发 Spark】第四篇:搭建 Spark 完全分布式 Yarn 运行环境
文章目录1 版本说明2 搭建 Spark 完全分布式 Yarn 运行环境2.1 搭建 Hadoop 环境2.2 Spark 配置2.3 配置 Spark 历史服务器2.4 编写 Spark 集群启动的脚本2.5 启动集群2.6 实例测试1 版本说明jdk1.8.0_311hadoop-3.1.3spark-3.0.02 搭建 Spark 完全分布式 Yarn 运行环境2.1 搭建 Hadoop 环境在之前的文章中已经详细介绍过:【Hadoop 3】图文详解:搭建Hadoop完全分布式运行模原创 2022-05-28 23:28:12 · 874 阅读 · 0 评论 -
【大数据开发 Spark】第三篇:三种方式实现 WordCount 单词统计
文章目录Spark 实现 WordCount 单词统计1 方式一2 方式二3 方式三Spark 实现 WordCount 单词统计1 方式一如下图所示,先拆分出一个个单词,再按类分组,再统计出每类中单词个数。编写测试数据Hello WorldHello WorldHello SparkHello Spark代码部分:虽然当前这个程序运行没什么问题,但是一大堆爆红看着难受,这里可以自定义一下 log 日志配置log4j.rootCategory=ERROR, console原创 2022-05-28 22:20:55 · 670 阅读 · 0 评论 -
【大数据开发 Spark】第二篇:搭建 Spark 开发环境、 Spark 实现 WordCount 单词统计
文章目录1 版本说明2 IDEA 开发环境2.1 创建 Maven 工程2.2 配置 Scala 环境2.3 配置 Spark 环境3 Spark 实现 WordCount 单词统计1 版本说明Spark:3.0.0JDK:1.8Scala:2.12.112 IDEA 开发环境2.1 创建 Maven 工程创建 Maven 聚合工程,方便之后学习 Spark 时,分模块创建多个子工程,更清晰。2.2 配置 Scala 环境在项目结构中导入 Scala 开发包,可以在 IDEA 中在线下原创 2022-05-28 22:20:15 · 772 阅读 · 0 评论 -
【大数据开发 Spark】第一篇:Spark 简介、Spark 的核心组成(5大模块)、Spark 的主要特征(4大特征)、Spark 对比 MapReduce
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2022-05-28 22:19:42 · 4395 阅读 · 0 评论