Spark：基础知识01

最新推荐文章于 2024-07-18 23:23:43 发布
最新推荐文章于 2024-07-18 23:23:43 发布
阅读量416 收藏 1
点赞数 1
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43713049/article/details/117840849
版权

文章目录

Spark基础知识

一、Spark框架

1.Spark介绍

介绍： Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校AMPLab，2010 年开源， 2013年6月成为Apache孵化项目，2014年2月成为 Apache 顶级项目，用 Scala进行编写项目框架。

官方地址：http://spark.apache.org/
官方地址：https://databricks.com/spark/about

官方定义：轻量级、快速的、大数据和机器学习的、统一分析引擎

1.分析引擎
分析处理数据，类似MapReduce框架
2.大规模数据
海量数据，数据很多
3.统一的分析引擎
离线分析
实时计算
机器学习
图形计算
4.分布式并行计算
分而治之思想

Spark框架中，最核心要点：抽象，称为RDD，相当于集合，比如列表List，存储数据
在这里插入图片描述

2.Spark四大特点

  • Spark具有运行速度快、易用性好、通用性强和随处运行等特点。

Spark处理数据与MapReduce处理数据相比，有如下两个不同点：

  • 1.Spark处理数据时，可以将中间处理结果数据存储到内存中；
  • 2.Spark Job调度以DAG方式，并且每个任务Task执行以线程（Thread）方式，并不是像MapReduce以进程（Process）方式执行。

在这里插入图片描述
MapReduce计算框架与Spark计算引擎不同点：
在这里插入图片描述Spark程序无处不在运行【Runs Everywhere】

  • 1、数据存储
    Spark分析的数据在哪里？

    任何地方都是可以，最主要还是HDFS、Hive、HBase、Kafka等等

  • 2、程序运行
    Spark编程代码，在何处执行，分析数据？

    本地模式、集群模式【Hadoop YARN、Mesos、Standalone】、容器（K8s）

3.Spark框架模式

整个Spark 框架模块包含：Spark Core、 Spark SQL、 SparkStreaming、 Spark GraphX、Spark MLlib，而后四项的能力都是建立在核心引擎之上 。

  • 最核心，最基础SparkCore
  • 四大公共模块SparkSQL、SparkStreaming、GraphX、MLlib
  • 高级分析模块PySpark、SparkR
  • 新的模块Structured Streaming

4.Spark运行模式

Spark 框架编写的应用程序可以运行在本地模式（Local Mode）、集群模式（Cluster Mode）和云服务（Cloud），方便开发测试和生产部署。

本地模式：Local Mode
在当前操作系统，启动JVM 进程，以线程方式运行Task任务
在这里插入图片描述
当Spark程序运行在本地模式时，可以设置运行几个Task（也就是几个线程）：–master local[K]

  • K含义：表示并行Task数目；表示线程数目；表示CPU Cores核数（在Spark程序运行时，1个Task任务，需要1Core CPU）
    在这里插入图片描述集群模式：Cluster Mode
    Spark程序在实际项目中，运行最多集群模式：Hadoop YARN

二、本地模式

1.环境配置

Apache软件下载目录
Spark 软件安装包下载

  • 将编译完成spark安装包【spark-2.4.5-bin-cdh5.16.2-2.11.tgz】解压至/export/server目录
#1.解压安装包
tar -zxf /export/software/spark-2.4.5-bin-cdh5.16.2-2.11.tgz -C /export/server/
#2.创建软连接
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark
  • 修改配置，Spark本地模式安装
#1.切换目录
cd /export/server/spark/conf
#2.修改配置文件名称
 mv spark-env.sh.template spark-env.sh
 #3.修改配置文件
vim spark-env.sh
#4.添加以下内容
JAVA_HOME=/export/server/jdk
SCALA_HOME=/export/server/scala
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop

在这里插入图片描述

  • 启动HDFS集群，从HDFS上读取数据文件
#1.启动namenode
hadoop-daemon.sh start namenode
#2.启动datanode
hadoop-daemon.sh start datanode

在这里插入图片描述

2.运行spark-shell

本地模式运行Spark框架提供交互式命令行：spark-shell，其中本地模式LocalMode含义为：启动一个JVM Process进程，执行任务Task，使用方式如下：

--master local | local[*] | local[K] 建议 K >= 2 正整数

其中K表示启动线程数目（或CPU Core核数）
在这里插入图片描述
示意图如下：
在这里插入图片描述
本地模式启动spark-shell：

#1.进入Spark安装目录
cd /export/server/spark
#2.启动spark-shell
bin/spark-shell --master local[2]

在这里插入图片描述

1、Spark context Web UI available at http://node1:4040
每个Spark应用运行，提供WEB UI监控页面，默认端口号：4040

2、Spark context available as 'sc' (master = local[2], app id = local-1623470878682).
创建SparkContext类对象，名称为：sc
Spark应用程序入口，读取数据和调度Job执行

3、Spark session available as 'spark'.
Spark2.0开始，提供新的程序入口：SparkSession，创建对象，名称为：spark

在这里插入图片描述
测试：将$SPARK_HOME/README.md文件上传到HDFS目录/datas,使用SparkContext读取

#1.上传HDFS文件
hdfs dfs -mkdir -p /datas/
hdfs dfs -put /export/server/spark/README.md /datas
#2.读取文件
val datasRDD = sc.textFile("/datas/README.md")
#3.条目数
datasRDD.count
#4.获取第一条数据
datasRDD.first

在这里插入图片描述

3.Spark WordCount

大数据框架经典案例：词频统计WordCount，从文件读取数据，统计单词个数。
在这里插入图片描述 例子：

val list = List("spark hadoop spark", "spark spark hive hadoop")
val wordList = list.flatMap(line => line.split("\\s+"))
val tupleList = wordList.map(word => (word, 1))
val tupleMap = tupleList.groupBy(tuple => tuple._1)
val wc = tupleMap.map{case (word, list) => 
			val count = list.map(tuple => tuple._2).sum
			word -> count
		}

使用Spark编程实现，分为三个步骤：

  • 第一步、从HDFS读取文件数据，sc.textFile方法，将数据封装到RDD中
  • 第二步、调用RDD中高阶函数，进行处理转换处理，函数：flapMap、map和reduceByKey
  • 第三步、将最终处理结果RDD保存到HDFS或打印控制台
#1.创建文件
vim wordcount.data
#2.添加内容如下
spark spark hive hive spark hive 
hadoop sprk spark
#3.上传HDFS
hdfs dfs -put wordcount.data /datas

Scala编程实现如下：

#1.读取HDFS文本数据，封装到RDD集合中，文本中每条数据就是集合中每条数据
val inputRDD = sc.textFile("/datas/wordcount.data")
#2.将集合中每条数据按照分隔符分割，使用正则：https://www.runoob.com/regexp/regexp-syntax.html
val wordsRDD = inputRDD.flatMap(line => line.split("\\s+"))
#3.转换为二元组，表示每个单词出现一次
val tuplesRDD = wordsRDD.map(word => (word, 1))
#4.按照Key分组，对Value进行聚合操作， scala中二元组就是Java中Key/Value对，reduceByKey：先分组，再聚合
val wordcountsRDD = tuplesRDD.reduceByKey((tmp, item) => tmp + item)
#5.查看结果
wordcountsRDD.take(5)
#6.保存结果数据到HDFs中
wordcountsRDD.saveAsTextFile("/datas/spark-wc")
#7.查结果数据
hdfs dfs -text /datas/spark-wc/par*

在这里插入图片描述

4.WEB UI监控

每个Spark Application应用运行时，启动WEB UI监控页面，默认端口号为4040，使用浏览器打开页面，如下：
在这里插入图片描述
点击Job 3，进入到此Job调度界面，通过DAG图展示:
在这里插入图片描述

5.运行圆周率PI

Spark框架自带的案例Example中涵盖圆周率PI计算程序，可以使用
$SPARK_HOME/bin/spark-submit 提交应用执行，运行在本地模式。
在这里插入图片描述

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master local[2] \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \
10

在这里插入图片描述

三、Spark Standalone集群

1.Standalone 架构

Standalone模式是Spark自带的一种集群模式，Standalone模式是真实地在多个机器之间搭建Spark集群的环境。

Standalone集群使用了分布式计算中的master-slave模型，master是集群中含有Master进程的节点，slave是集群中的Worker节点含有Executor进程。

在这里插入图片描述Spark Standalone集群，类似Hadoop YARN，管理集群资源和调度资源：

  • 主节点Master：类似ResourceManager
  • 管理整个集群资源，接收提交应用，分配资源给每个应用，运行Task任务
  • 从节点Workers：类似NodeManager
  • 管理每个机器的资源，分配对应的资源来运行Task；
  • 每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数
  • 历史服务器HistoryServer：类似MRJobHistoryServer
  • Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息

在这里插入图片描述

2.解压、配置环境变量

解压Spark编译安装包至【/export/server/】目录下，进入【conf】目录，配置环境变量

#1.解压软件包
tar -zxf /export/software/spark-2.4.5-bin-cdh5.16.2-2.11.tgz -C /export/server/
#2.创建软连接，方便后期升级
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark
#3.进入配置目录
cd /export/server/spark/conf
#4.修改配置文件名称
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
#5.添加内容如下：
JAVA_HOME=/export/server/jdk
SCALA_HOME=/export/server/scala
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop

将【$SPARK_HOME/conf/slaves.template】名称命名为【slaves】，填写从节点名称

1.进入配置目录
cd /export/server/spark/conf
2.修改配置文件名称
mv slaves.template slaves
vim slaves
3.内容如下：
node1
node2
node3

配置Master、Workers、HistoryServer
在配置文件【$SPARK_HOME/conf/spark-env.sh】添加如下内容：

SPARK_MASTER_HOST=node1
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/spark/eventLogs/ 
-Dspark.history.fs.cleaner.enabled=true"

创建EventLogs存储目录
启动HDFS服务，创建应用运行事件日志目录，命令如下：

hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
hdfs dfs -mkdir -p /spark/eventLogs/

配置Spark应用保存EventLogs
将【$SPARK_HOME/conf/spark-defaults.conf.template】名称命名为【spark-defaults.conf】，填写如下内容：

#1.进入配置目录
cd /export/server/spark/conf
#2.修改配置文件名称
mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf
#3.添加内容如下：
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node1:8020/spark/eventLogs/
spark.eventLog.compress true

设置日志级别
将【$SPARK_HOME/conf/log4j.properties.template】名称命名为【log4j.properties】，修改级别为警告WARN。

#1.进入目录
cd /export/server/spark/conf
#2.修改日志属性配置文件名称
mv log4j.properties.template log4j.properties
#3.改变日志级别
vim log4j.properties

在这里插入图片描述
分发到集群所有机器
将配置好的将 Spark 安装包分发给集群中其它机器，命令如下：

cd /export/server/
scp -r spark-2.4.5-bin-cdh5.16.2-2.11 root@node2:$PWD
scp -r spark-2.4.5-bin-cdh5.16.2-2.11 root@ node3:$PWD
## 远程连接到node2和node3机器，创建软连接
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark

启动服务进程
在Master节点node1上启动，进入$SPARK_HOME，必须配置主节点到所有从节点的SSH无密钥登录，集群各个机器时间同步。

  • 主节点Master启动命令
/export/server/spark/sbin/start-master.sh
  • WEB UI页面地址：http://node1:8080
    在这里插入图片描述
  • 从节点Workers启动命令：
/export/server/spark/sbin/start-slaves.sh

历史服务器HistoryServer：

/export/server/spark/sbin/start-history-server.sh
  • WEB UI页面地址：http://node1:18080
    在这里插入图片描述

提交运行圆周率
将上述运行在Local Mode的圆周率PI程序，运行在Standalone集群上，修改【–master】地址
为Standalone集群地址：spark://node1:7077，具体命令如下：

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master spark://node1:7077 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \
10

在这里插入图片描述

3.Spark 应用架构

在这里插入图片描述从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。

1.Driver Program
相当于AppMaster，整个应用管理者，负责应用中所有Job的调度执行;
运行JVM Process，运行程序的MAIN函数，必须创建SparkContext上下文对象；
一个SparkApplication仅有一个；
2.Executors
相当于一个线程池，运行JVM Process，其中有很多线程，每个线程运行一个Task任务，
一个Task运行需要1 Core CPU，所有可以认为Executor中线程数就等于CPU Core核数；
一个Spark Application可以有多个，可以设置个数和资源信息

4.WEB UI 监控

Spark 提供了多个监控界面，当运行Spark任务后可以直接在网页对各种信息进行监控查看。运行spark-shell交互式命令在Standalone集群上，命令如下：

/export/server/spark/bin/spark-shell --master spark://node1:7077

在这里插入图片描述

scala> val dataRDD=sc.textFile("/datas/wc.data")

scala> val wordcountsRDD=dataRDD.flatMap(line=>line.split("\\s+")).map(word=>(word,1)).reduceByKey((tmp,item)=>tmp+item) 

scala> wordcountsRDD.take(5)

在这里插入图片描述
在这里插入图片描述可以发现在一个Spark Application中，包含多个Job，每个Job有多个Stage组成，每个Job执行
按照DAG图进行的。
在这里插入图片描述其中每个Stage中包含多个Task任务，每个Task以线程Thread方式执行，需要1Core CPU
在这里插入图片描述

Spark Application程序运行时三个核心概念：Job、Stage、Task，说明如下：

  • Task：被分配到各个 Executor 的单位工作内容，它是 Spark 中的最小执行单位，一般来说有多少个 Paritition（物理层面的概念，即分支可以理解为将数据划分成不同部分并行处理），就会有多少个 Task，每个 Task 只会处理单一分支上的数据。

  • Job：由多个 Task 的并行计算部分，一般 Spark 中的 action 操作（如 save、collect，后面
    进一步说明），会生成一个 Job。

  • Stage：Job 的组成单位，一个 Job 会切分成多个 Stage，Stage 彼此之间相互依赖顺序执行，
    而每个 Stage 是多个 Task 的集合，类似 map 和 reduce stage。

在这里插入图片描述

5.Standalone HA

Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群
一样，存在着Master单点故障（SPOF）的问题
在这里插入图片描述
高可用HA
如何解决这个单点故障的问题，Spark提供了两种方案：

  • 基于文件系统的单点恢复(Single-Node Recovery with Local File System)；

  • 基于Zookeeper的Standby Masters(Standby Masters with ZooKeeper)；
    ZooKeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master，但是只有一个是Active的，其他的都是Standby。当Active的Master出现故障时，另外的一个Standby Master会被选举出来。由于集群的信息，包括Worker， Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新Job的提交，对于正在进行的Job没有任何的影响。加入ZooKeeper的集群整体架构如下图所示：
    在这里插入图片描述
    基于Zookeeper实现HA

  • 停止Standalone集群

#在node1上执行命令
/export/server/spark/sbin/stop-master.sh
/export/server/spark/sbin/stop-slaves.sh
  • 增加Zookeeper配置
    对Spark配置文件【$SPARK_HOME/conf/spark-env.sh】文件如下修改：
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=node1:2181,node22181,node3:2181 
-Dspark.deploy.zookeeper.dir=/spark-ha"

参数含义说明：

spark.deploy.recoveryMode：恢复模式
spark.deploy.zookeeper.url：ZooKeeper的Server地址
spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息

注释或删除MASTER_HOST内容：

#SPARK_MASTER_HOST=node1

将spark-env.sh分发集群

cd /export/server/spark/conf
scp -r spark-env.sh root@node2:$PWD
scp -r spark-env.sh root@node3:$PWD

启动集群服务
先启动Zookeeper集群，再分别启动2个Master服务，最后启动Worker服务

#1.启动ZOOKEEPER服务
zookeeper-daemons.sh start
#2.在node1和node2分别启动Master服务
/export/server/spark/sbin/start-master.sh
#3.查看哪个Master为Active，就在哪个Master机器上启动Workers服务
/export/server/spark/sbin/start-slaves.sh

在这里插入图片描述
在这里插入图片描述
测试运行
Standalone HA集群运行应用时，指定ClusterManager参数属性为：

--master spark://host1:port1,host2:port2

提交圆周率PI运行集群，命令如下：

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit \
--master spark://node1:7077,node2:7077 \
--class org.apache.spark.examples.SparkPi \
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar \
100

在这里插入图片描述

Xiao Miao
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark on yarn图形化任务监控利器：History-server帮你理解spark的任务执行过程
oufuji的博客
12-21 1万+
在spark on yarn任务进行时，大家都指导用4040端口监控（默认是，设置其他或者多个任务同时会递增等例外）; 辣么，任务结束了，还要看图形化界面，那就要开history-server了。CDH安装spark on yarn的时候，就自动安装了history的实例。 现在不用CDH自带的spark（版本太久了），自己安装spark新版，所以还得具体配置。 搜了一下帖子，2个步骤：
Spark运行状态的监控
热门推荐
sinat_34763749的博客
07-06 2万+
强力推荐，相见恨晚的文档，建议先看 关于Spark监控，推荐一个讲的非常好的PPT：monitoring-spark-applications，简练、全面的讲解了Spark监控的必要性、方法、缺点及改进方法。 下面是我自己的一些总结 本文内容主要来自Spark Monitoring官方文档和Cloudera文档，和一些自己的思考。 Spark UI监控，有三个维度 对Spark运行时...
Spark常用端口号
mischen520的博客
06-05 3716
1）Spark查看当前Spark-shell运行任务情况端口号：4040 2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口） 3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） 4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） ...
Spark系列文章-Spark作业监控
weixin_34273479的博客
05-14 350
我们在运行spark作业的时候，一定会通过某些途径监控作业的运行情况，我们常用的就是通过WebUI界面进行监控。 默认情况下，每个SparkContext都会在4040端口上启动Web UI，用来展示与应用相关的信息。包括： 经历了哪些stage，运行了哪些task RDD所占空间以及memory使用情况的摘要 环境相关信息 正在运行的excutor的相关信息 你要在Web浏览器中打开http...
Spark基础知识梳理
Sheenky的博客
08-13 1642
spark解决的问题：海量数据的计算，可以进行离线批处理以及实时流计算spark模块：sparkcore、SQL、流计算（SparkStreaming）、图计算（Graphx）、机器学习（MLib）spark特点：速度快、使用简单、通用性强、多模式运行spark运行模式本地模式集群模式云模式spark的运行角色MASTER：集群资源管理者（类同ResourceManager)worker：单机资源管理者（类同NodeManager)......
Spark基础知识
果子哥丶的博客
09-01 1478
Spark基础知识第1章 Spark概况1.1 Spark基础Spark相对于Hadoop的优势Hadoop和Spark的统一部署1.2 Spark核心模块第2章 Spark快速上手2.1 Spark三种部署方式local模式Standalone模式Yarn模式Spark Streaming配置高可用（HA）第3章 Spark运行架构Spark基本概念3.1 运行架构3.2 核心组件3.2.1 Driver3.2.2 Executor3.2.3 Master&Worker3.2.4 Applicat
Spark基础必会知识总结
Mikkkee的博客
03-27 687
RDD是弹性分布式数据集存储弹性：内存磁盘一起用计算弹性：重试机制分片弹性：分区可以改变容错弹性：可以基于血缘关系，也就是上一个RDD重新进行计算，恢复当前RDD的数据reduceByKey：有预聚合、重分区，聚合计算groupByKey：没有预聚合，重分区但是不计算血缘说的就是宽依赖和窄依赖。有shuffle的是宽依赖宽依赖：父RDD 的一个分区的数据会被子 RDD 的多个分区依赖，涉及到 Shuffle窄依赖：父RDD 的一个分区的数据只会被子 RDD 的一个分区依赖窄依赖的多个分区可以并行计算；宽依赖
Spark基础知识(个人总结)
hellosrc的博客
12-18 5471
    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章               2. 由于是个人总结, 所以用最精简的话语来写文章            
Spark 基础知识点
是个吃不饱的人
11-06 1005
Spark 基础知识点
spark基础知识
08-11
在本资料包中，我们将围绕"Spark基础知识"进行探讨，包括Spark的架构、RDD概念、Spark SQL以及Spark与Scala、Hadoop的关联。 首先，Spark的架构基于“计算向数据移动”的理念，它由Driver、Executor和Cluster ...
spark基础知识整理
01-02
spark基础知识思维导图整理，包括SparkCore和SparkSQL
Spark-Fundamentals:Spark基础知识I-Spark简介
04-03
**Spark基础知识I-Spark简介** Spark，作为大数据处理领域中的明星框架，因其高效、易用和灵活的特点，已经成为许多企业和开发者进行大规模数据处理的首选工具。Spark的核心设计理念是提供一个统一的平台，支持多种...
spark基础知识.zip
03-30
这个"spark基础知识.zip"压缩包包含了多个PDF文档，覆盖了Spark的各个方面，从基础入门到高级实践，适合对Spark感兴趣或正在学习Spark的人员。 1. **Spark大数据架构概述** (1 Spark大数据架构概述.pdf) - Spark的...
Spark01 —— Spark基础
Byyyi耀的博客
04-30 2001
Spark基础 为什么选择Spark? Spark基础配置 Spark WordCount实例 Spark运行架构 Spark分区 Spark算子 Spark优化
从数据湖到湖仓一体：统一数据架构演进之路
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-17 1135
本文详细探讨了从数据湖到湖仓一体的演进过程及其在现代数据管理中的重要性。湖仓一体由Databricks于2020年提出，旨在融合数据湖和数据仓库的优势，通过无缝集成，实现数据存储和管理的统一架构。 湖仓一体的出现主要是为了降低成本和解决数据孤岛问题。传统的数据湖和数据仓库各自独立建设，导致重复投资和数据管理上的困难，而湖仓一体通过简化基础架构、提升数据存储弹性和质量，有效减少了这些问题。
《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》
最新发布
山人行
07-18 912
本篇文章分享一下博主所在公司的患者指标采集的解决方案。主要是基于实现，由于涉及公司隐私，内容主要以方案介绍为主，有需要探讨的可以留言。好，让我们开始。上文介绍了博主所在公司的《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》方案。💗 后续会逐步分享企业实际开发中的实战经验，有需要交流的可以联系博主。
一文详解数据仓库、数据湖、湖仓一体和数据网格
oOBubbleX的博客
07-18 594
本文对数据仓库、数据湖、湖仓一体、数据网格四个技术概念进行了辨析，并对它们的优势和局限给出了对比介绍。
Spark on YARN
麦当当的博客
07-15 489
这是 Spark 的默认配置文件，可以在这里设置 Spark 作业的一些默认参数，比如 master URL（yarn）、deploy mode（client 或 cluster）、executor 内存等。这是 Spark 的环境配置文件。你需要设置一些环境变量，比如 SPARK_HOME, HADOOP_CONF_DIR 等。这是 YARN 的配置文件，通常位于 Hadoop 配置目录中。你需要确保这个文件在 Spark 配置中可以访问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值