【小白视角】大数据基础实践（七） Spark的基本操作_spark操作类型(2)

最新推荐文章于 2024-10-28 22:11:18 发布
最新推荐文章于 2024-10-28 22:11:18 发布
阅读量71 收藏 14
点赞数 7
分类专栏： 程序员 文章标签： 大数据 spark 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84185585/article/details/138421972
版权
3.4.3 Scala

Scala 是一门现代的多范式编程语言，运行于 Java 平台（ JVM Java 虚拟机），并兼容现有的 Java 程序

Scala 的特性：

  1. Scala 具备强大的并发性，支持函数式编程，可以更好地支持分布式系统
  2. Scala 语法简洁，能提供优雅的API
  3. Scala 兼容Java ，运行速度快，且能融合到 Hadoop 生态圈中
  4. Scala 是 Spark 的主要编程语言，但 Spark还支持 Java 、 Python 、R 作为编程语言
  5. Scala 的优势是提供了 REPL Read Eval Print Loop，交互式解释器 ），提高程序开发效率

4. SparkSQL

Spark SQL在Hive兼容层面仅依赖HiveQL解析、Hive元数据，也就是说，从HQL被解析成抽象语法树（AST）起，就全部由Spark SQL接管了。Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责

在这里插入图片描述

  • Spark SQL增加了SchemaRDD（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据
  • Spark SQL目前支持Scala、Java、Python三种语言，支持SQL-92规范

在这里插入图片描述

5. Spark编程实践

5.1 编程环境
  • 操作系统：Linux（建议Ubuntu18.04或Ubuntu16.04）；
  • Hadoop版本：3.1.3或2.7.1；
  • JDK版本：1.8；
  • Hadoop伪分布式配置
  • Spark 2.4.8或自编译版本
  • Scala 2.11.8或2.8.0
5.2 实验步骤：
5.2.1 Spark环境配置
  1. 检测java环境和hadoop环境。
    在这里插入图片描述
  2. 安装包下载
    在这里插入图片描述
    Scala： https://www.scala-lang.org/download/all.html
    Spark： http://spark.apache.org/downloads.html
    关于 Spark 官网下载页面中 Choose a package type 几个选项说明：
  • Source Code：spark 源码，需要编译才能使用，可以自由设置编译选项；
  • Pre-build with user-provide Hadoop：属于 Hadoop free 版本，用应用到任意 Hadoop 版本；
  • Pre-build for Hadoop 2.7、Pre-build for Hadoop 2.6：分别基于 Hadoop2.7、2.6 的预先编译版本，需要与本机安装的 Hadoop 版本对应使用；
  • Pre-build with Scala 2.12 and user provided Apache Hadoop：预先编译的版本，包含了 Scala2.12，可应用于任意 Hadoop 版本。
  1. 安装scala

解压安装包（sudo tar -zxvf scala-2.11.8.tgz -C /usr/local/），并更改 scala
在这里插入图片描述

所属用户和用户组为当前用户及所在组。
在这里插入图片描述
在这里插入图片描述

配置环境变量：添加

S

C

A

L

A

H

O

M

E

变

量

为

s

c

a

l

a

解

压

路

径

，

并

在

SCALA_HOME 变量为 scala 解压路径，并在

SCALAH​OME变量为scala解压路径，并在PATH 变量添加相应 的 bin 目录。
在这里插入图片描述
在这里插入图片描述

使得环境生效
在这里插入图片描述

查看是否安装成功
在这里插入图片描述
已经成功了！

  1. 安装spark

解压安装包（sudo tar -zxvf spark-2.4.8-bin-without-hadoop.tgz -C /usr/local/），更改所属用户及用户组，并将目录重命名为 spark-2.4.8，方便后续配置：
在这里插入图片描述

更改所属用户及用户组
在这里插入图片描述

并将目录重命名为 spark-2.4.8
在这里插入图片描述

配置环境变量，添加 SPARK_HOME 变量，并在 PATH 变量中添加相应的 bin 目录。
export SPARK_HOME=/usr/local/spark-2.4.8
export PATH=

P

A

T

H

:

PATH:

PATH:SPARK_HOME/bin在这里插入图片描述

在这里插入图片描述
Spark 配置文件配置：

在这里插入图片描述

将 spark-env.sh.template 文件复制为 spark-env.sh 文件：
在这里插入图片描述

并配置内容如下：
在这里插入图片描述

启动 spark：启动 spark 之前要先启动 HDFS
在这里插入图片描述

在这里插入图片描述

启动之后网页访问 Master:8080 可以查看当前 Spark workers 状态。
在这里插入图片描述

Spark-shell 进入spark shell
在这里插入图片描述

会有这种错误
在这里插入图片描述

但不需要慌张！不影响使用 scala 使用，如果要解决，可以通过添加系统环境变量。export TERM=xterm-color
在这里插入图片描述
在这里插入图片描述

就不会有了
在这里插入图片描述

1.5 举个例子
通 过 spark-submit 命令运行 spark 自 带 实 例 ， spark 自 带 实 例 都 在
SPARK_HOME/examples/jars/spark-examples_2.11-2.4.8.jar 中提供：

spark-submit --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_2.11-2.4.8.jar

注：在运行SparkPi实例时会输出很多运行日志，可以通过加 grep 命令进行过滤，显示关心的信息：

在这里插入图片描述

5.2.2 spark shell中编写Scala代码实现：

（1）分别从本地文件、HDFS上的文件以及Spark Context的parallelized（）方法生成分别生成RDD_1、RDD_2、RDD_3，要求本地文件格式为每行多个单词，以空格隔开；HDFS上的文本为每行1个单词，即单词以换行符隔开，每个RDD中都要包含1个或多个你的学号或者姓名拼音；
1.1 本地创建in.txt
在这里插入图片描述
写入内容
在这里插入图片描述
上传到spark
在这里插入图片描述
1.2 本地创建文件in0.txt
在这里插入图片描述
写入数据
在这里插入图片描述
上传到hdfs中
在这里插入图片描述
检查是否上传成功
在这里插入图片描述上传到spark
在这里插入图片描述

1.3 spark创建文件
在这里插入图片描述

创建成功！

(2) 输出RDD_1的第一行、RDD_2的所有内容、RDD_3的最大值；
2.1RDD_1的第一行
在这里插入图片描述
2.2 RDD_2的所有内容
在这里插入图片描述

2.3 RDD_3的最大值
在这里插入图片描述

(3) 统计 RDD_1 中“姓名拼音”、“学号”两个单词出现的次数；
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

结果：
zqc 有6个
031904102 有 4个

（4） 对去重后的 RDD_1再去掉RDD_2中的内容；
在这里插入图片描述在这里插入图片描述在这里插入图片描述

（5） 将上述结果与RDD_3合并，并将RDD_3分别写入本地文件系统和HDFS文件系统；
在这里插入图片描述
在这里插入图片描述
查看是否成功放入
在这里插入图片描述
在这里插入图片描述
（6）编写scala代码实现写入任意内容到HDFS中，文件路径自定义，文件以”学号-姓名拼音.txt”命名。

先创建一个文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在HDFS上查看
在这里插入图片描述

5.2.3 编写Scala独立应用程序：

使用 Scala 语言编写的 Spark 程序，需要使用 sbt 进行编译打包。Spark 中没有自带sbt，需要单独安装。可以到 官网 下载 sbt 安装文件，最新版即可
在这里插入图片描述
在这里插入图片描述

下载好
在这里插入图片描述

创建一个目录
在这里插入图片描述

这里我们把 sbt 安装到“/usr/local/sbt”目录下，执行如下命令：
在这里插入图片描述

在这里插入图片描述
把 bin 目录下的 sbt-launch.jar 复制到 sbt 安装目录下
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
新建一个文件然后将下列内容写下去

#!/bin/bash 
SBT\_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" 
java $SBT\_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

在这里插入图片描述

保存后，还需要为该 Shell 脚本文件增加可执行权限：
然后，可以使用命令 sbt sbtVersion 查看 sbt 版本信息：
在这里插入图片描述
完成了，是有一点点慢！
在这里插入图片描述

(1) 实现wordcount功能，并将结果写入本地文件；
在本地创建目录
在这里插入图片描述
在这里插入图片描述

创建这个文件。

在这里插入图片描述

写入数据。

在这里插入图片描述
检查目录结构
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（2）分别使用sbt打包上述程序；
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（3）通过spark-submit执行生成的jar。
在这里插入图片描述
在这里插入图片描述

  1. 编写Scala独立应用程序：

实现生成任意RDD，并将结果写入文件；



![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001510469.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)  
 重命名并设置权限组  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001526123.png)


在终端中执行如下命令创建一个文件夹 spark\_zqc\_maven\_scala 作为应用程序根，目录：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001541539.png)


写入下面内容


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001555343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)


(2) 分别使用maven打包上述程序；  
 该 程 序 依 赖 Spark Java API, 因 此 我 们 需 要 通 过 Maven 进 行 编 译 打 包 。 在./spark\_zqc\_maven\_scala 目录中新建文件 pom.xml，然后，在 pom.xml 文件中 添加如下内容，用来声明该独立应用程序的信息以及与 Spark 的依赖关系：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001622267.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)


为了保证 Maven 能够正常运行，先执行如下命令检查整个应用程序的文件结构，


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001635821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)


接下来，我们可以通过如下代码将整个应用程序打包成 JAR 包（注意：计算机需要保持连接网络的状态，而且首次运行打包命令时，Maven 会自动下载依赖包，需要消耗几分钟的时间）：


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001643350.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001648506.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)


(3) 通过spark-submit执行生成的jar。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001657878.png)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712001704975.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)


### 最后


小生凡一，期待你的关注。


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210712002012931.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)





![img](https://img-blog.csdnimg.cn/img_convert/a16a8f90526b9eae7c5797c76a4794c0.png)
![img](https://img-blog.csdnimg.cn/img_convert/15a828c4c192049d4d1c64a6ccbc02c2.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

20210712002012931.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTMwNDUwMw==,size_16,color_FFFFFF,t_70)





[外链图片转存中...(img-GZor44N4-1714733545028)]
[外链图片转存中...(img-KXQjORVg-1714733545029)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84185585
关注
专栏目录
Spark零基础入门实战（八）Spark运行时架构
大数据实战派
12-27 394
Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式，也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式，还可以使用Spark自带的资源调度系统，称为Spark Standalone模式。本地模式通过多线程模拟分布式计算，通常用于对应用程序的简单测试。本地模式在提交应用程序后，将会在本地生成一个名为SparkSubmit的进程，该进程既负责程序的提交，又负责任务的分配、执行和监控等。
Spark 入门实战
challengertgj的专栏
08-07 399
1、搭建开发环境  jdk1.8.0_181 scala-2.12.6 hadoop-2.6.5 spark-1.6.3-bin-hadoop2.6 参考：http://www.aboutyun.com/thread-20620-1-1.html 2、创建工程 参考：https://www.cnblogs.com/liangjf/p/7899282.html   3、案例分析 ...
大规模数据分析统一引擎Spark入门实战
itxiaoshen博客
09-11 1646
本篇先了解Spark和Hadoop的关系与区别，进一步了解特性和相关组件架构；通过实战部署了Spark最新版本3.3.0的Local、Standalone+历史服务+HA、Yarn的部署完成操作步骤，并通过不同提交方式的示例和WebUI查看加深多Spark多种作业提交原理的理解，并拉开了使用Spark-Shell方式提交本地、集群、yarn交互式使用之门。
Spark 以及 spark streaming 核心原理及实践
qq_38391495的博客
05-04 845
收录待用，修改转载已取得腾讯云授权作者 | 蒋专 蒋专，现CDG事业群社交与效果广告部微信广告中心业务逻辑组员工，负责广告系统后台开发，2012年上海同济大学软件学院本科毕业，曾在百度凤巢工作三年，2016年入职微信广告中心。 导语spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark st
Spark入门实战WordCount
hxxjxw的博客
08-29 171
创建scala项目 但是引入spark解压出来的jar包 在这里我就用Win10的WSL了 jars目录里的全部引入 新建一个scala的类 WordCount.scala import org.apache.spark.SparkContext object WordCount { def main(args: Array[String]): Unit = { var sc = new SparkContext("local"...
Spark从入门到实战（附实战代码）
m0_72410588的博客
05-06 2371
本文介绍了Spark的安装与配置、Spark的核心概念RDD、Spark的转换操作和行动操作。Spark是一个强大的分布式计算引擎，可以帮助我们处理大规模的数据集。
【小白视角】大数据基础实践（七） Spark的基本操作_spark操作类型
2401_84181911的博客
04-17 1761
Spark SQL在Hive兼容层面仅依赖HiveQL解析、Hive元数据，也就是说，从HQL被解析成抽象语法树（AST）起，就全部由Spark SQL接管了。解压安装包（sudo tar -zxvf scala-2.11.8.tgz -C /usr/local/），并更改 scala。通 过 spark-submit 命令运行 spark 自 带 实 例 ， spark 自 带 实 例 都 在。配置环境变量，添加 SPARK_HOME 变量，并在 PATH 变量中添加相应的 bin 目录。
小白转行大数据的思考
简单就好
03-07 6692
背景 通过大数据面试经验总结这篇文章遇到很多朋友，大多都在做一件事，开始学大数据了。大家各有不同的困惑，例如： 过去专业跟计算机不沾边，觉得现有行业待遇太一般，希望换个前景好的行业，挑战太大，不确定能不能实现。 过去是计算机专业，不满意之前工作，想转大数据方向，不知道怎么着手。 本来就是大数据方向，但觉得当前公司发展潜力不足，个人发展也比较迷茫，希望跳槽换家公司，但担心能力不足。 整理一下，就...
大数据导论
fenfyue的博客
01-21 1942
三天打鱼两天晒网——写CSDN博客 大致看看大数据导论这本书 这个假期被老师一问自己想学点什么结果我迷茫了不知道学点什么好，这本书在上课期间我就想好好好读一下，但是肯定是没有时间看的，现在正好不知道学点什么虽然说是大数据专业的孩儿，但是这么久了我还是对我们专业没有太多的了解，总是感觉这样子是挺失败的一个大数据er。这个假期每天写博客的flag在前天就立了，但是都没有写，在今终于打开了它！内容是有点多哈，反正自己就是一个小白了，多看看总没错。 关于本书 编写背景 大数据的蓬勃发展，大数据领域人才的需求越来越大
大数据概述
qq_42663954的博客
09-16 390
大数据概述 - - 小白心得 大数据： 大数据是收集数据并用大数据生态组件整理数据，提供满足企业需要的解决方案。 其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这...
网易云音乐机器学习平台实践_lookalike配置方案(2)，flutter返回上个页面
2401_84167072的博客
04-21 1281
以上就是网易云音乐机器学习平台的过去的一些工作，回顾一下，我们分别从“资源层”、“底层框架层”、“应用框架层”、“功能层”来分享相关的部分工作以及进展，机器学习平台因为覆盖的面很广泛，工作看起来比较杂乱，覆盖各种不同的技术栈，并且各项工作的挑战与目标都不一样，还是很有意思的。本文发布自网易云音乐技术团队，文章未经授权禁止任何形式的转载。我们常年招收各类技术岗位，如果你准备换工作，又恰好喜欢云音乐，那就加入我们。作者：网易云音乐技术团队。
Spark 入门实战之最好的实例
sysmedia的博客
04-06 1184
转载：https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/ 搭建开发环境 安装 Scala IDE 搭建 Scala 语言开发环境很容易，Scala IDE 官网 下载合适的版本并解压就可以完成安装，本文使用的版本是 4.1.0。 安装 Scala 语言包 如果下载的 S
Spark入门到实践
最新发布
slb190623的博客
10-28 1261
Spark入门到实践
Spark入门实战系列-转载
z7one
08-05 250
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLib和Spark GraphX等。文章内容的整理一般是先介绍原理，随后是实战例子，由于面向的是入门读者，在实战中多截图，还请谅解。为了大家实验方便，在这里把实验相关的测试数据和安装包放在百度盘提供下载地址为htt.
【极简spark教程】开始实战
檐前潜心学种瓜
04-09 445
spark命令行、intellij本地开发配置
Spark机器学习实战：从入门到实践
AI天才研究院
06-22 6862
随着大数据和机器学习技术的快速发展，越来越多的公司和个人开始使用 Spark 作为他们的机器学习平台。Spark 是一个开源的分布式机器学习平台，它支持分布式计算、批处理、机器学习和深度学习算法等，因此被认为是最适合进行大规模机器学习任务的开源工具之一。《Spark 机器学习实战》是一本非常适合初学者和中级开发者进行学习和实践的书籍，它涵盖了 Spark 机器学习的核心概念和实践经验。
SPARK项目的实践与心得体会
qq_65047269的博客
11-21 979
了解普通RDD和键值对RDD的区别理解filter、mapToPair、groupByKey转换算子的作用，并能应用到具体业务场景中在此次任务中需要准备相应的json文件以及spark环境的搭建提示：以下是本篇文章正文内容，下面案例可供参考这段代码的特点可能包括模块化设计、面向对象编程、高效性能、可读性强、可扩展性、良好的错误处理和安全性考虑。这些特点有助于提高代码的可维护性、可扩展性和安全性，使其更易于理解和使用。
Spark基础入门篇 | MapReduce原理 + Spark原理 + PySpark环境搭建 + 简单实战
weixin_43646592的博客
05-31 953
Spark基础入门篇 | MapReduce原理 + Spark原理 + PySpark环境搭建 + 简单实战
Spark从入门到精通
weixin_43193629的博客
05-24 1172
spark基础知识
Python大数据工具库spark_gaps_date_rorc_tools发布
2. spark_gaps_date_rorc_tools-0.0.15.tar.gz是一个特定版本的Python库压缩包，适用于Unix/Linux系统。 3. 该库可能包含了与Apache Spark集成的功能，允许用户利用Spark的强大功能，如分布式数据处理。 4. 标签中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值