Spark入门

最新推荐文章于 2023-07-05 11:12:32 发布
最新推荐文章于 2023-07-05 11:12:32 发布
阅读量380 收藏 2
点赞数
分类专栏： Spark学习笔记 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiku9527/article/details/125398027
版权

Spark入门

1 Spark概述

1.1 定义

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

Hadoop主要解决的是海量数据的存储和分析计算

1.2 Hadoop和Spark历史

Hadoop历史
Spark历史

1.3 Hadoop与Spark框架对比

在这里插入图片描述

1.4 Spark内置模块

在这里插入图片描述

实现了Spark的基本功能，包含任务调度、内存管理、错误恢复和存储系统交互等模块。SparkCore中还包含了对Resileient Distributed DataSet(RDD)弹性分布式数据集的API定义。

Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，可以使用SQL或Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquest和JSON等。

**Spark Streaming：**是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的RDD API高度对应。

Spark MLlib：提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等，还提供模型评估、数据导入等额外的支持功能。

Spark GraphX：主要用于图形并行计算和图挖掘系统的组件。

集群管理器：Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行。包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫做独立调度器。

1.5 Spark特点

在这里插入图片描述

2 Spark运行模式

部署Spark集群大体上分为两种模式：单机模式和集群模式。大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。

Spark目前支持的部署模式：

  1. Local模式：在本地部署单个Spark服务
  2. Standalone模式：Spark自带的人物调度模式（国内常用）
  3. YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度（国内最常用）
  4. Mesos模式：Spark使用Mesos平台进行资源与任务调度（国内很少用）

2.1 Spark安装地址

1）官网地址：http://spark.apache.org/
2）文档查看地址：https://spark.apache.org/docs/3.1.3/
3）下载地址：https://spark.apache.org/downloads.html
https://archive.apache.org/dist/spark/

2.2 Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

2.2.1 安装使用

tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/
mv spark-3.1.3-bin-hadoop3.2 spark-local

# 查看运行参数
bin/spark-submit

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10
  1. –class 表示要执行的主类
  2. –master local[2]
    1. local 不指定线程数时，所有计算都运行在一个线程中，没有任何并行计算；
    2. local[K] 指定K格Core来运行计算；
    3. local[*] 自动按照CPU最多核心来设置线程数，比如CPU有8个核，Spark会自动设置8个线程计算
  3. spark-examples_2.12-3.1.3.jar：要运行的程序
  4. 10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）

2.2.2 官方WordCount案例

在这里插入图片描述

# 1 准备文件
mkdir input
vim 1.txt
hello atguigu
hello word
vim 2.txt
hello atguigu
hello word

# 2 启动Spark-Shell
bin/spark-shell

# 3 运行WordCount程序
sc.textFile("/opt/module/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

res0: Array[(String, Int)] = Array((hello,4), (atguigu,2), (spark,2))

sc是SparkCore程序的入口；

spark是SparkSQL程序入口；

master = local[*]表示本地模式运行。

运行任务方式说明：spark-submit，是将jar上传到集群，执行Spark任务；spark-shell，相当于命令行工具，本身也是一个Application。

登录hadoop102:4040，查看程序运行情况（注意：spark-shell窗口关闭掉，则hadoop102:4040页面关闭）

本地模式下，默认的调度器为FIFO

2.3 集群角色

2.3.1 Master和Worker集群资源管理

Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式(Standalone)下正常运行必须要有的后台常驻进程。

在这里插入图片描述

2.3.2 Driver和Executor任务的管理者

在这里插入图片描述

2.4 Standalone模式

Standalone模式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运行在集群中。

这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。

2.4.1 安装使用

hadoop102hadoop103hadoop104
SparkMaster
Worker		WorkerWorker
# 1 解压一份Spark安装包，修改文件夹名称为spark-standalone
tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/
mv spark-3.1.3-bin-hadoop3.2 spark-standalone

# 2 修改conf下的workers文件，添加work节点
mv workers.template workers
vim workers
hadoop102
hadoop103
hadoop104

# 3 修改spark-env.sh文件，添加master节点
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

# 4 分发spark-standalone包
xsync spark-standalone/

# 5 启动spark集群
sbin/start-all.sh
xcall jps
jpsall

# 注意：若JAVA_HOME not set异常，在sbin目录下的spark-config.sh文件添加
exprot JAVA_HOME=/opt/module/java...

# 6 网页查看webUI页面
hadoop102:8080(相当于yarn的8088端口)

# 7 官方PI案例 --master spark://hadoop102:7077指定要连接的集群的master
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# 8 页面查看http://hadoop102:8080/，发现执行本次任务，默认采用三台服务器节点的总核数24核，每个节点内存1024M。
8080：master的webUI
4040：application的webUI的端口号

2.4.2 参数说明

# 配置Executor可用内存2G，使用CPU核数为2个
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

运行参数基本格式：

bin/spark-submit \
--class <main-class> \
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
参数解释可选值举例
–classSpark程序中包含主函数的类
–masterSpark程序运行的模式本地模式：local[*]、spark://hadoop102:7077、 Yarn
–executor-memory 1G指定每个executor可用内存为1G符合集群内存配置即可，具体情况具体分析
–total-executor-cores 2指定所有executor使用的cpu核数为2个符合集群内存配置即可，具体情况具体分析
application-jar打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar符合集群内存配置即可，具体情况具体分析
application-arguments传给main()方法的参数符合集群内存配置即可，具体情况具体分析

2.4.3 配置历史服务

由于spark-shell停止掉后，hadoop102:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

# 1 修改spark-default.conf.template名称
mv spark-defaults.conf.template spark-defaults.conf

# 2 修改spark-default.conf文件，配置日志存储路径（写）
vim spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

# 注意：需要启动Hadoop集群，HDFS上的目录需要提前存在
sbin/start-dfs.sh
hadoop fs -mkdir /directory

# 3 修改spark-env.sh文件，添加如下配置
vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

# 4 分发配置文件
xsync spark-defaults.conf spark-env.sh

# 5 启动历史服务
sbin/start-history-server.sh

# 6 再次执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# 7 查看spark历史服务地址
http://hadoop102:18080

2.4.4 配置高可用（HA）

高可用原理

在这里插入图片描述

配置高可用

# 1 停止集群
bin/stop-all.sh

# 2 启动zookeeper
zk.sh start

# 3 修改spark-env.sh
#注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
#添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"
#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989


# 4 分发配置文件
xsync spark-env.sh

# 5 在hadoop102上启动全部节点
sbin/start-all.sh

# 6 在hadoop103上单独启动master节点
sbin/start-master.sh

# 7 再启动一个hadoop102窗口，将/opt/module/spark-local/input数据上传到hadoop集群的/input目录
hadoop fs -put /opt/module/spark-local/input/ /input

# 8 连接Spark HA集群
bin/spark-shell \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2g \
--total-executor-cores 2

# 参数：--master spark://hadoop102:7077指定要连接的集群的master
# 注意：一旦配置了高可用以后，master后面要连接多个master

# 9 执行wordcount程序
sc.textFile("hdfs://hadoop102:8020/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

res0: Array[(String, Int)] = Array((hello,4), (atguigu,2), (spark,2))  

# 10 访问102 103的8989，查看进程

# 11 kill 102的master进程，查看103的状态是否为active 
kill -9 xxx

# 12 再次启动102的master进程
sbin/start-master.sh

2.4.5 运行流程

Spark有standalone-client和standalone-cluster两种模式，主要区别在于：Driver程序的运行节点。

客户端模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# --deploy-mode client，表示Driver程序运行在本地客户端，默认模式

在这里插入图片描述

集群启动模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# --deploy-mode cluster，表示Driver程序运行在集群

在这里插入图片描述

注意：在测试Standalone模式，cluster运行流程的时候，阿里云用户访问不到Worker，因为Worker是从Master内部跳转的，这是正常的，实际工作中我们不可能通过客户端访问的，这些端口对外都会禁用，需要的时候会通过授权到Master访问Worker

2.5 Yarn模式（重点）

Spark客户端直接连接Yarn，不需要额外构建Spark集群。

2.5.1 安装使用

# 0 停止standalone模式下的spark集群
sbin/stop-all.sh
zk.sh stop
sbin/stop-master.sh

# 1 为防止和standalone模式冲突，再单独解压一份spark
tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module/
mv spark-3.1.3-bin-hadoop3.2/ spark-yarn

# 2 修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
# 因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置
vim yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

# 3 分发配置文件
xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

# 4 修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

# 5 启动HDFS以及YARN集群
102 sbin/start-dfs.sh
103 sbin/start-yarn.sh

# 6 执行PI程序
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# --master yarn，表示Yarn方式运行；--deploy-mode表示客户端方式运行程序

# 7 若运行时有异常：ClassNotFoundException:com.sun.jersey.api.client.config.ClientConfig
# -原因分析：Spark2中jersey版本是2.22，但是yarn中还需要依赖1.9，版本不兼容
# -解决方式：在yarn-site.xml中，添加
<property>
	<name>yarn.timeline-service.enabled</name>
	<value>false</value>
</property>

# 8 查看hadoop103:8088页面，点击History，查看历史页面
hadoop作业日志中没有spark的作业日志

2.5.2 配置历史服务器

由于是重新解压的Spark压缩文件，所以需要针对Yarn模式，再次配置一下历史服务器。

# 1 修改spark-default.conf.template名称
mv spark-defaults.conf.template spark-defaults.conf

# 2 修改spark-default.conf文件，配置日志存储路径（写）
vim spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory

# 3 修改spark-env.sh文件，添加如下配置
vim spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

2.5.3 配置查看历史服务日志

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。

目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。

# 1 修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

# 2 重启Spark历史服务
sbin/stop-history-server.sh
sbin/start-history-server.sh

# 3 提交任务到Yarn执行
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# 4 Web页面查看日志：http://hadoop103:8088/cluster
# 点击“history”跳转到http://hadoop102:18080/

2.5.4 运行流程

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

  1. yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
  2. yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

客户端模式（默认）

 bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

在这里插入图片描述

集群模式：

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

# 查看http://hadoop103:8088/cluster页面，点击History按钮，跳转到历史详情页面

# http://hadoop102:18080点击Executors->点击driver中的stdout

# 注意：如果在yarn日志端无法查看到具体的日志，则在yarn-site.xml中添加如下配置并启动Yarn历史服务器
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

# 注意：hadoop历史服务器也要启动 mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

2.6 Mesos模式（了解）

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用Yarn调度。

2.7 几种模式对比

模式Spark安装机器数需启动的进程所属者
Local1无Spark
Standalone3Master及WorkerSpark
Yarn1Yarn及HDFSHadoop

2.8 端口号总结

  1. 查看当前Spark-Shell运行任务情况端口号：4040
  2. Spark Master内部通信服务端口号：7077（类似于yarn的8032（RM和NM的内部通信端口））
  3. Spark Standalone模式Master Web端口号：8080（类似于Hadoop YARN任务运行情况查看端口号：8088）
  4. Spark历史服务器端口号：18080（类似于hadoop历史服务器端口号：19888）
yiku9527
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
Spark入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
最新发布
Javachichi的博客
07-23 1万+
Hive 是将 SQL 转为 MapReduce。SparkSQL 可以理解成是将 SQL 解析成：“RDD + 优化” 再执行在学习Spark SQL前，需要了解数据分类。
Spark快速入门
Prince_96的博客
11-29 2543
文章目录1、Spark概述1.1、什么是Spark？1.2、为什么要学Spark？1.3、Spark的特点1.3.1、运行速度快1.3.2、易用性好1.3.3、通用性强1.3.4、兼容性强1.4、Spark运行模式2、搭建Spark集群2.1、下载2.2、环境准备2.3、配置免密登录2.4、开始安装2.5、Spark HA 高可用部署2.5.1、高可用部署说明2.5.2、基于zookeeper 的Spark HA 高可用集群部署3、Spark 角色介绍3.1、Spark架构3.2、架构说明4、体验 Spar
如何入门spark
星辰的博客
11-28 1149
第一步，我们需要掌握 Spark 常用的开发 API 与开发算子。毕竟，通过这些 API 与开发算子，我们才能启动并驱使 Spark 的分布式计算引擎。接着，我们必须要深入理解它的工作原理。第三步，我们需要了解并熟悉 Spark 不同的计算子框架（Spark SQL、Spark MLlib 和 Structured Streaming），来应对不同的数据应用场景，比如数据分析、机器学习和流计算。
Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）
星光不问赶路人，岁月不负有心人
07-05 1604
Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）
spark入门课程
11-07
scala编程详解，Spark核心编程，Spark内核源码深度剖析，Spark性能优化，Spark SQL
初识Spark入门
08-25
主要介绍了初识Spark入门,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
spark入门培训
08-02
本文档介绍了Spark的简介、原理以及spark的系统架构，还有分别在Linux和windows下的单机配置，以及spark RDD和Spark DataFrame介绍
spark入门实战
01-02
spark入门实战
Spark入门教程
m0_75198698的博客
05-10 1749
Spark中最基本的抽象数据类型是弹性分布式数据集（Resilient Distributed Datasets，简称RDD），它是Spark中的数据处理基本单位，类似于其他分布式计算框架中的数据集。当然，还有很多关于Spark的知识需要深入学习，例如使用Spark Streaming进行实时处理、使用Spark GraphX进行图形处理、使用Spark MLlib进行机器学习等等。Spark是一种基于内存计算的大数据处理框架，它提供了高效的分布式数据处理能力，使得处理大规模数据变得更加容易。
大数据技术之Spark入门（一）概述
大数据Spark教程
12-12 809
1.1 什么是Spark 1.2 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark ...
Spark 教程（一）—— 基础解析（超详细）
西门催学不吹雪
05-25 2953
文章目录1. Spark 概述1.1 什么是 Spark1.2 Spark 内置模块1.3 Spark 特点1.4 Spark 的重要角色1.4.1 Driver（驱动器）1.4.2 Executor（执行器）1.5 Spark 官网2. Spark 运行模式2.1 Local 模式2.1.1 概述2.1.2 安装使用2.1.3 官方求 PI 案例2.1.4 WordCount 案例2.2 Standalone 模式2.2.1 概述2.2.2 安装使用 1. Spark 概述 1.1 什么是 Spark
Spark从入门到精通
weixin_43193629的博客
05-24 899
spark基础知识
Spark基础入门
syy517的博客
03-22 5507
第一章 1.spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unifled）分析引擎 特点：对任意数据类型的数据进行自定义计算 Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及sql语法区开发应用程序计算数据 2.spark和Hadoop的对比 hadoop spark
《Spark系列》Spark快速入门教程
https://blog.datasource.space
06-06 1016
Spark和Hadoop的根本差异是多个作业之间的数据通信问题：Spark多个作业之间数据通信是基于内存，而Hadoop是基于磁盘的。
spark入门知识详解
weixin_43894652的博客
01-11 352
1、什么是spark基于内存的计算引擎，它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储。2、为什么要学习sparkMapReduce框架局限性1，Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据2，任务调度和启动开销大3，无法充分利用内存4，不适合迭代计算（如机器学习、图计算等等），交互式处理（数据挖掘）5，不适合流式处理（点击日志分析）6，MapReduce编程不够灵活，仅支持Map和Reduce两种操作Hadoop生态圈。
20天学习Spark（0）之最简单版Spark入门
洒家
08-18 2537
spark简单入门案例，根据20行代码讲解Spark基础应用
用Apache Spark进行大数据处理——第一部分：入门介绍
tyb1222的专栏
04-02 2002
转自：http://www.infoq.com/cn/articles/apache-spark-introduction 什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapRe
Spark入门必学：预测泰坦尼克号上的生还情况
06-02
预测泰坦尼克号上的生还情况是一个经典的机器学习问题，也是学习Spark入门的一个很好的案例。 首先，你需要准备好泰坦尼克号的数据集。你可以在Kaggle上找到该数据集并下载。然后，你需要使用Spark加载数据集，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值