spark入门（1）

已于 2023-09-24 13:05:32 修改
阅读量79 收藏
点赞数
分类专栏： 大数据 文章标签： spark 大数据 分布式
于 2023-09-17 15:44:20 首次发布

前置知识

学习之前，先把hadoop,scala学会，如果不看这2个，直接学spark会报各种错误

hadoop3入门(1)_我是一只代码狗的博客-CSDN博客

scala2.12入门_我是一只代码狗的博客-CSDN博客

注意 不能是springboot,否则报错

入门案例

引入pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>demo-scala</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>demo-scala</name>
    <description>demo-scala</description>
    <properties>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>


    </dependencies>

    <build>
        <plugins>

                    <!-- 该插件用于将Scala代码编译成class文件 -->
                    <plugin>
                        <groupId>org.scala-tools</groupId>
                        <artifactId>maven-scala-plugin</artifactId>
                        <version>2.15.1</version>
                        <executions>
                            <execution>
                                <id>compile-scala</id>
                                <goals>
                                    <goal>add-source</goal>
                                    <goal>compile</goal>
                                </goals>
                            </execution>
                            <execution>
                                <id>test-compile-scala</id>
                                <!-- 声明绑定到maven的compile阶段 -->
                                <goals>
                                    <goal>add-source</goal>
                                    <goal>testCompile</goal>
                                </goals>
                            </execution>
                        </executions>
                    </plugin>

                    <!-- 用于项目的打包插件 -->
                    <plugin>
                        <groupId>org.apache.maven.plugins</groupId>
                        <artifactId>maven-assembly-plugin</artifactId>
                        <configuration>
                            <archive>
                                <manifest>
                                </manifest>
                            </archive>
                            <descriptorRefs>
                                <descriptorRef>jar-with-dependencies</descriptorRef>
                            </descriptorRefs>
                        </configuration>
                    </plugin>


        </plugins>
    </build>



</project>

创建Test.scala

package com.example.demoscala

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 单例对象
 */
object Test {

  /**
   * main 方法名字
   * def 定义方法
   * args 参数
   * Array[String] 参数类型
   * Unit 无参，相当于java的void
   * @param args
   */
  def main(args: Array[String]): Unit = {
    //建立和spark的连接
    val sparkConf=new SparkConf().
      //本地环境
      setMaster("local")
      .setAppName("应用名称随便命名")
    val sc=new SparkContext(sparkConf);
    //读取aa文件夹下的所有.txt文件
    val lines:RDD[String] = sc.textFile("F:\\aa");
    lines.foreach(x => {
      println(x + "============================");
    })
    //将一行数据进行拆分，按照空格拆分，形成一个一个的单词
    val words:RDD[String] = lines.flatMap(_.split(" "));
    words.foreach(x=>{
      println(x+"------------------------------------");
    })
    //对数据 进行转换 变成 单词,数量
    val wordToOne=words.map(x=>(x,1));
    wordToOne.foreach(x=>{
      println(x+"%%%%%%%%%%%%%%%%%%")
    })
    //然后把相同的单词合并到一起 然后计算对应的数量
    val wordCount:RDD[(String,Int)]=wordToOne.reduceByKey(_+_);
    wordCount.foreach(x => {
      println(x + "$$$$$$$$$$$$$$$$$")
    })

    //将转换后的结果打印到控制台中 把聚合结果放入到内存中
    val array:Array[(String,Int)]=wordCount.collect();
    array.foreach(x=>{
      println(x+"&&&&&&&&&&&&&&&");
    })

    //关闭连接
    sc.stop();
  }
}

创建单词文件 

aa.txt

aa bb cc
dd ee ff

 bb.txt

aa cc dd
hh ii jj
kk

计算好的单词信息 

去掉打印日志

创建log4j.properties

log4j.rootCategory=ERROR,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/ddHH:mm:ss}%p%c{1}:%m%n

log4j.logger.org.apache.spark.repl.Main=ERROR

log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERRORlog4j.loger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

Spark运行环境 

Local模式

就是不依赖其他环境就能运行

下载spark-3.0.0-bin-hadoop3.2.tgz，然后上传到服务器

https://download.csdn.net/download/weixin_44704261/13986727

然后上传到下面的目录，然后进行解压

cd /opt/module

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz

 进入下面的目录，然后启动脚本

cd /opt/module/spark-3.0.0-bin-hadoop3.2/bin

./spark-shell

启动之后就会看到下面的scala的一些命令窗口,在这里可以输入对应的命令

然后浏览器输入下面的地址,就可以对你输入的scala的命令进行监控了

http://服务器ip:4040/

退出输入

:quit

我们把代码改造下，把路径换成wenjian,你可以随意命名

然后在下面的目录创建wenjian目录 ,放入对应的txt文件

进入下面的目录，提交应用

cd /opt/module/spark-3.0.0-bin-hadoop3.2

class 就是我们自己代码写的应用程序,全路径

jar包 就是我们自己打包好的代码的jar

bin/spark-submit --class com.example.demoscala.controller.Test  /opt/module/jar/demo-scala-0.0.1-SNAPSHOT.jar

 

独立部署模式，standalone模式，主从模式，集群模式 

hadoop102,103,104就是对应你自己的3台机器 

hadoop102部署master和worker
hadoop103部署worker
hadoop104部署worker

在3台机器都执行下面的操作

进入下面的目录

cd /opt/module/spark-3.0.0-bin-hadoop3.2/conf

添加work节点

mv slaves.template slaves
vi slaves

hadoop102
hadoop103
hadoop104

添加自己的jdk路径,配置master节点 

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_231
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077 

在其中一台机器上启动集群

cd /opt/module/spark-3.0.0-bin-hadoop3.2
sbin/start-all.sh 

把setMaster设置为spark集群地址

提交应用,自己写的Test实体类

cd /opt/module/spark-3.0.0-bin-hadoop3.2

bin/spark-submit --class com.example.demoscala.controller.Test  /opt/module/jar/demo-scala-0.0.1-SNAPSHOT.jar

浏览器访问hadoop102:8081,可以看到name就是我们的应用名称

配置历史服务

执行spark-sbmit 之后，hadoop102://4040界面就看不到历史任务的运行情况，所以我们需要配置一下

 在hadoop的hdfs创建aa文件夹

http://hadoop102:9870/

 进入下面的目录，修改配置

cd /opt/module/spark-3.0.0-bin-hadoop3.2/conf
mv spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf

spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/aa 

修改spark-env.sh 配置历史记录访问的端口18080和hdfs的目录，30是保存的应用数，超过这个数，旧的应用就被删除

vi spark-env.sh 

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/aa -Dspark.history.retainedApplications=30" 

然后再另外2台机器上同步修改 spark-defaults.conf和spark-env.sh 

在其中一台机器启动集群和历史服务

cd /opt/module/spark-3.0.0-bin-hadoop3.2

./sbin/start-all.sh

./sbin/start-history-server.sh

提交应用

bin/spark-submit --class com.example.demoscala.controller.Test  /opt/module/jar/demo-scala-0.0.1-SNAPSHOT.jar

可以看到aa文件夹下就会记录历史的信息

 然后访问下面的地址,可以看提交的应用历史信息

http://hadoop102:18080/

配置高可用（HA） 

高可用就是当前的master节点只有一个,会存在单点故障的问题，为了解决单点故障，所以需要再集群中配置多个master节点，一旦活动状态的master挂掉，那么由备用的master来提供服务，
这里的高可用采用zookeeper设置

集群规划

hadoop102: master,worker,zookeeper
hadoop103: master,worker,zookeeper
hadoop104: worker,zookeeper

先停止我们的spark集群 

cd /opt/module/spark-3.0.0-bin-hadoop3.2/sbin

./stop-all.sh

 3台机器上启动zookeeper,前提是你先安装好zookeeper

cd /opt/module/zookeeper/bin/
 ./zkServer.sh start​​​​​​​

查看zookeeper状态 

 ./zkServer.sh status

关闭zookeeper可以使用 

./zkServer.sh stop

修改spark-env.sh

cd /opt/module/spark-3.0.0-bin-hadoop3.2/conf

vi spark-env.sh

注释下面的内容
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

添加下面的内容
Master 监控页面默认访问端口为 8080，但是可能会和 Zookeeper 冲突，所以改成 8989，也可以自定义，访问 UI 监控页面时请注意

SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 -Dspark.deploy.zookeeper.dir=/spark"

 然后把spark-env.sh，在另外两台机器上同步修改

scp spark-env.sh root@hadoop103:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

scp spark-env.sh root@hadoop104:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

在其中一台机器 启动spark集群

cd /opt/module/spark-3.0.0-bin-hadoop3.2

./sbin/start-all.sh

然后浏览器访问hadoop102:8989

可以看到现在的102是激活的master

然后我们单独启动103的机器上的master

cd /opt/module/spark-3.0.0-bin-hadoop3.2

./sbin/start-master.sh

然后浏览器访问http://hadoop103:8989/

可以看到状态是备用的master 

修改代码，然后重新打包

setMaster("spark://hadoop102:7077,hadoop103:7077")

提交应用到集群,注意空格

​​​​​​​bin/spark-submit --class com.example.demoscala.controller.Test /opt/module/jar/demo-scala-0.0.1-SNAPSHOT.jar

然后我们把hadoop102的master停掉 

然后等待30秒，访问http://hadoop103:8989/

可以看到hadoop103的状态已经变成了活动的master，这样就解决了单点故障

YARN模式 

修改hadopop的yarn-site.xml，前提是安装好hadoop集群

cd /opt/module/hadoop-3.3.6/etc/hadoop

vi yarn-site.xml

在配置中追加下面的内容

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
<property>
 <name>yarn.nodemanager.pmem-check-enabled</name>
 <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
<property>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <value>false</value>
</property>
 

然后拷贝到另外两台机器上

scp yarn-site.xml root@hadoop103:/opt/module/hadoop-3.3.6/etc/hadoop/

scp yarn-site.xml root@hadoop104:/opt/module/hadoop-3.3.6/etc/hadoop/ 

修改 spark-env.sh ,配置hadoop的目录和自己的jdk目录

cd /opt/module/spark-3.0.0-bin-hadoop3.2/conf

vi spark-env.sh 

export JAVA_HOME=/opt/module/jdk1.8.0_231
YARN_CONF_DIR=/opt/module/hadoop-3.3.6/etc/hadoop/ 

然后把spark-env.sh，拷贝到另外2台机器上

scp spark-env.sh root@hadoop103:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

scp spark-env.sh root@hadoop104:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/ 

 然后在其中一台机器启动hdfs和yarn集群

cd /opt/module/hadoop-3.3.6/sbin

./start-all.sh

回到spark目录

cd /opt/module/spark-3.0.0-bin-hadoop3.2

提交应用 

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.12-3.0.0.jar 10

浏览器访问http://hadoop102:8088/

可以看到计算的任务 

配置历史服务

 在hadoop的hdfs创建aa文件夹

http://hadoop102:9870/

 进入下面的目录，修改配置

cd /opt/module/spark-3.0.0-bin-hadoop3.2/conf
vi spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop102:8020/aa
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

修改spark-env.sh 配置历史记录访问的端口18080和hdfs的目录，30是保存的应用数，超过这个数，旧的应用就被删除

vi spark-env.sh 

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/aa -Dspark.history.retainedApplications=30" 

然后再另外2台机器上同步修改 spark-defaults.conf和spark-env.sh 

scp spark-env.sh root@hadoop103:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

scp spark-env.sh root@hadoop104:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

scp spark-defaults.conf root@hadoop103:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

​​​​​​​scp spark-defaults.conf root@hadoop104:/opt/module/spark-3.0.0-bin-hadoop3.2/conf/

在102机器启动历史服务

cd /opt/module/spark-3.0.0-bin-hadoop3.2

./sbin/start-history-server.sh

修改代码设置setMaster("yarn")，然后重新打包上传到服务器​​​​​​​

​​​​​​​

提交应用 这里使用我们自己写的代码 

bin/spark-submit --class com.example.demoscala.controller.Test --master yarn --deploy-mode cluster /opt/module/jar/demo-scala-0.0.1-SNAPSHOT.jar 

然后会看到有下面的错误

然后再hdfs的user/root中创建wenjjian这个文件夹,然后再重新提交应用

然后上传自己的txt文件

可以看到aa文件夹下就会记录历史的信息

然后浏览器访问http://hadoop102:18080/

可以看到对应的历史信息 

然后访问http://hadoop102:8088/ 

找到自己的任务，点进去

 就可以看到日志信息了

spark入门（2）_我是一只代码狗的博客-CSDN博客 

我是一只代码狗
关注
专栏目录
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
spark入门课程
11-07
**Spark入门课程** Spark是大数据处理领域中的一款热门开源框架，以其高效、易用和弹性伸缩性著称。本课程旨在为初学者提供全面的Spark知识，涵盖从基础概念到高级特性的深入理解。 首先，我们将从Scala编程语言...
spark入门1-运行wordCount
瑞瑞的博客
11-30 1144
spark入门1-运行wordCount一、spark入门1、在idea中运行1.1 注意2、在Linux系统中运行2.1 用spark-shell运行2.2 用spark-submit运行3、在Spark自带的集群上运行3.1 配置集群的历史服务器3.2 注意4、在yarn上运行（重点）4.1 打通spark和yarn的历史服务器二、补充1.本文常用命令（方便粘贴）1.1 spark-submit2.端口 一、spark入门 1、在idea中运行 先创建maven工程，pom文件导入下面的插件 &lt
Spark入门
weixin_69402201的博客
06-11 2824
Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL：是Spark用来操作结构化数据的程序包
spark快速入门java_Spark 快速入门
weixin_36110673的博客
03-02 1113
本教程快速介绍了Spark的使用。 首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码)，然后演示如何使用Java, Scala或者Python编写独立程序。 你可以查看Spark编程指南了解完整的参考。开始下面的快速入门之前，首先需要到 Spark网站 下载一份打包好的spark。 既然本教程中我们不使用HDFS,你可以随便下载一个适配任何Hadoop的版...
Spark基础入门
syy517的博客
03-22 5575
第一章 1.spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎 特点：对任意数据类型的数据进行自定义计算 Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据 2.spark和Hadoop的对比 hadoop spark
Spark入门简介
程序员乌拉的博客！
04-07 3572
大家好🙌我是你们的好朋友，大数据老虾😀。相遇是缘，既然来了就拎着小板凳坐下来一起唠会儿😎，如果在文中有所收获，请别忘了一键三连，动动你发财的小手👍，你的鼓励，是我创作的动力😁！废话不多说，直接😎 开干吧！ PS：文末干货，记得拎着小板凳离开的时候也给它顺走 🤣 座右铭：“懒”对一个人的毁灭性有多大，早起的重要性就多大。 数据结构详解Spark概述Apache Spark ™简介主要特征批处理/流式数据SQL 分析大规模数据科学机器学习Spark入门PythonSQLScalaSpark SQL&
Spark入门1-使用Spark-shell交互分析
朱金华的专栏
12-04 5185
Spark入门1-使用Spark-shell交互分析朱金华 njzhujinhua 2017/12/03Spark入门1-使用Spark-shell交互分析 文件读取 1 读取RDD方式 2 读取Dataset方式 查看文件 1 查看内容 2 WordCount 本系列以Spark2.2.0版本为依据整理。第一节通过Spark交互式shell熟悉其计算过程。在2.0版本之前，Spark的主要编程接口
Spark快速入门
Prince_96的博客
11-29 3608
文章目录1、Spark概述1.1、什么是Spark？1.2、为什么要学Spark？1.3、Spark的特点1.3.1、运行速度快1.3.2、易用性好1.3.3、通用性强1.3.4、兼容性强1.4、Spark运行模式2、搭建Spark集群2.1、下载2.2、环境准备2.3、配置免密登录2.4、开始安装2.5、Spark HA 高可用部署2.5.1、高可用部署说明2.5.2、基于zookeeper 的Spark HA 高可用集群部署3、Spark 角色介绍3.1、Spark架构3.2、架构说明4、体验 Spar
如何入门spark
星辰的博客
11-28 1199
第一步，我们需要掌握 Spark 常用的开发 API 与开发算子。毕竟，通过这些 API 与开发算子，我们才能启动并驱使 Spark 的分布式计算引擎。接着，我们必须要深入理解它的工作原理。第三步，我们需要了解并熟悉 Spark 不同的计算子框架（Spark SQL、Spark MLlib 和 Structured Streaming），来应对不同的数据应用场景，比如数据分析、机器学习和流计算。
Spark入门基础教程
热门推荐
lbyyy的专栏
11-25 3万+
Spark入门基础教程
Spark从入门到精通
weixin_43193629的博客
05-24 1112
spark基础知识
大数据入门spark3.0入门到精通Spark-day06.rar
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介： 本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，...
大数据入门spark3.0入门到精通 1-8day 代码-笔记.zip
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介： 本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，...
Spark学习总结-入门.rar_Spark!_spark_spark入门_大数据 spark
09-24
1. **Spark概述** Spark最初由加州大学伯克利分校AMPLab开发，后来成为Apache顶级项目。它的设计目标是提供一种比Hadoop MapReduce更快速、更易于使用的数据处理方式，尤其在迭代计算和交互式数据分析上表现突出。 ...
大数据毕业设计选题推荐-电影数据分析系统-数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-01 1247
近年来，电影产业呈现蓬勃发展态势。中国电影市场规模持续扩大，票房收入逐年攀升。据国家电影局统计，2019年中国电影总票房达642.66亿元，同比增长5.4%。尽管2020年受疫情影响，票房收入有所下降，但2021年电影市场迅速复苏，全年票房达472.58亿元。与此同时，观众对电影的品质要求不断提高，对影片类型、题材的偏好也呈现多元化趋势。在线票务平台和影评网站的普及，使得大量观影数据得以积累。这些数据不仅包含票房信息，还涵盖观众评分、评论文本等丰富内容。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-01 1483
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
【智能大数据分析 | 实验二】Spark实验：部署Spark集群
Morse_Chen的博客
09-28 1749
智能大数据分析实验二，Spark实验：部署Spark集群。理解Spark体系架构，学会部署Spark集群，能够配置Spark集群使用HDFS。最后在master上提交并运行Spark示例代码WordCount，上传至HDFS。
大数据毕业设计选题推荐-个性化图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
最新发布
IT毕设梦工厂的博客
10-01 1501
随着互联网技术的快速发展和数字阅读习惯的普及，图书市场正经历着深刻的变革。根据中国新闻出版研究院发布的《第十九次全国国民阅读调查报告》显示，2021年我国成年国民人均纸质图书阅读量为4.76本，数字化阅读方式的接触率达到79.4%，较上年增长3.4个百分点。与此同时，中国图书零售市场规模持续扩大，2021年总销售额达到1020.0亿元，同比增长1.65%。然而，面对如此庞大的市场和海量的图书信息，读者往往难以快速找到符合自己兴趣和需求的图书。据调查，超过65%的读者表示在选择图书时感到困惑和压力。
Apache Spark入门指南
"该资源是一个关于Apache Spark的介绍性PDF文件，主要目的是让读者对Spark有一...这个PDF文件为初学者提供了一个全面的Spark入门教程，涵盖了从基础安装到高级特性的全方位指导，是学习和了解Apache Spark的理想起点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值