RDD简介，spark-shell，spark-submit提交任务简单示例

最新推荐文章于 2024-08-12 15:57:42 发布
最新推荐文章于 2024-08-12 15:57:42 发布
阅读量2k 收藏 5
点赞数 2
分类专栏： 学习笔记 文章标签： spark rdd spark-shell spark-submit
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31407011/article/details/85947081
版权
本文介绍了Spark中的核心概念——弹性分布式数据集(RDD)，包括其容错性和不可变性。通过实例展示了如何使用spark-shell读取数据，以及通过spark-submit提交Java WordCount任务到本地运行。详细步骤包括配置Spark环境，创建数据文件，使用transformations和actions操作RDD，以及理解不同master URL的含义。
摘要由CSDN通过智能技术生成

  1. spark RDD简介
    弹性分布式数据集RDD是Spark框架中的核心概念。可以将RDD视作数据库中的一张表。其中可以保存任何类型的数据。Spark将数据存储在不同分区上的RDD之中。
    RDD可以帮助重新安排计算并优化数据处理过程。
    RDD具有容错性，因为RDD知道如何重新创建和重新计算数据集。
    RDD是不可变的。你可以用变换（Transformation）修改RDD，但是这个变换所返回的是一个全新的RDD，而原有的RDD仍然保持不变。

  2. RDD 创建

2.1 官网下载spark-2.1.1-bin-hadoop2.6安装包，解压缩,配置jdk,spark
2.2 cat /etc/hosts 添加 127.0.0.1 主机名（hostname）
2.3 在服务器创建数据文件/tmp/ywx/test.txt，内容如下：
spark shell
hello world
hive hadoop mapreduce zookeeper
mapreduce zookeeper
hello world
world

  1. 使用spark-shell提交任务

spark-shell 方式提交任务

/tmp/ywx/test.txt
spark shell
hello world
hive hadoop mapreduce zookeeper
mapreduce zookeeper
hello world
world

ywx@suse114115:~/spark-2.1.1-bin-hadoop2.6/bin> ./spark-shell
Using Spark’s default log4j pr

最低0.47元/天 解锁文章
yixl
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark-3 spark任务提交方式和Demo
a3125504x的博客
07-28 931
spark任务提交方式和Demospark任务提交方式普通提交模式（指定活着的Master）高并发提交模式（集群有多个Master）spark-shell之单词统计spark-shell读取本地文件，本地运行spark-shell读取HDFS文件，本地运行spark-shell读取HDFS文件，集群运行IDEA之单词统计 spark任务提交方式 普通提交模式（指定活着的Master） bin/spark-submit \ --class org.apache.spark.examples.SparkPi \
java提交spark submit_spark-submit提交方式测试Demo
weixin_36314729的博客
02-28 641
写一个小小的Demo测试一下Spark提交程序的流程Maven的pom文件1.71.7UTF-81.6.1org.apache.sparkspark-core_2.10${spark.version}redis.clientsjedis2.7.1org.apache.maven.pluginsmaven-compiler-plugin1.71.7org.apache.maven.pluginsma...
Spark-submit提交任务，封装shell脚本，shell脚本创建HBase表，批量导hive表
m0_46168848的博客
12-17 786
Spark-submit提交任务，封装shell脚本，shell脚本创建HBase表，批量导hive表
【大数据】spark 提交任务
zxln007的博客
04-19 825
提交任务时常用的选项如下：--class: 程序入口，主类--master: 集群主节点（master）地址(e.g.spark://23.195.26.187:7077)--deploy-mode: 部署方式 ，在worker上(cluster) 或者是在客户端上 (client) (default:client)†--conf: 配置选项application-jar: 程序以及依赖的...
【Spark】Spark作业执行原理--提交作业
w1992wishes的博客
12-13 369
本篇结构： 前言 提交作业 一、前言 Spark 的作业和任务调度系统是其核心，它能够有效进行调度的原因是对任务划分 DAG 和容错。 想真正搞懂 Spark，查看 Spark 作业执行流程的源码必不可少。本篇主要介绍 Spark 作业执行原理–提交作业。 二、提交作业 Spark 算子有 transformation 和 action 两种，transformation 算子是懒操作，不会触...
【Spark】（六）任务提交(Spark Submit)
qianchun22的博客
11-16 1264
Spark 任务的提交 spark-submit的一般格式如下： bin/spark-submit [options] <app jar | python file> [app options] [options] 是要传给spark-submit 的标记列表。你可以运行spark-submit --help 列出所有可以接收的标记 <app jar | python File> 表示包含应用入口的JAR 包或Python 脚本。 [app options] 是传给你的应用的选项。
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
对于应用程序开发，可以使用Scala、Java、Python或R编写代码，然后通过`spark-submit`脚本提交作业到集群。 6. **性能优化**: Spark提供了一系列性能优化手段，如Tungsten内存管理、Code Generation、Shuffle优化等...
spark-2.2.2-bin-hadoop2.7.tgz
07-04
1. `bin`：存放可执行脚本，如`spark-submit`用于提交Spark应用，`spark-shell`提供交互式Shell环境。 2. `conf`：配置文件夹，存放默认配置模板，如`spark-defaults.conf`，用户可以根据需求自定义配置。 3. `jars`...
Spark-3.1.2.tgz
04-16
1. **bin**：这个目录包含了Spark的各种可执行文件，如`spark-shell`（用于启动Spark的交互式Shell）、`pyspark`（Python版本的Shell）、`spark-submit`（用于提交Spark应用）等，以及相关配置脚本。 2. **lib**：...
spark-tut-2016-intro.pdf
07-11
- **Job提交**：通过`spark-submit`命令提交Spark应用，同样也支持Python脚本的执行。 - **Notebook**：支持Jupyter Notebook、Zeppelin等交互式编程环境，方便代码编写和调试。 - **Web界面**：对于大型组织，如...
实验七：Spark初级编程实践
07-15
在 Spark Shell 中，可以使用内置函数读取文件，如 `sc.textFile()`，并进行简单的数据分析。实验中统计了 `/home/hadoop/test.txt` 和 `/user/hadoop/test.txt` 文件的行数，这展示了 Spark 对文本数据的基本操作。...
spark-submit提交(转)
迎接小天使
04-24 839
文章出处：https://blog.csdn.net/chenjieit619/article/details/53421080 如有不妥之处，欢迎随时留言沟通交流，谢谢~ 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设...
Spark源码系列(一)：Spark作业提交流程
Dreamershi的专栏
08-23 1011
Spark支持spark-shell、spark-sql、spark-submit多种使用方式，但最终调用的代码都是通过SparkSubmit进行提交，上一篇介绍到spark-submit的示例： # spark本地模式提交作业 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local /path/to/examples.jar \ 1000 下面就来分析下spark-submit..
Spark-Shell运行任务
东语的专栏
12-05 2166
文章目录1.Spark-Shell 交互式编程1.1 启动命令1.2 Spark-Shell中运行wordcount2. spark-submit提交Job    开始本篇博客之前，请先准备好环境，参见【上一篇 Spark集群部署】 1.Spark-Shell 交互式编程 1.1 启动命令 bin/spark-shell \ --master spark://l0:7077 \ --executo...
Spark教程——（2）编写spark-submit测试Demo
weixin_30600197的博客
04-28 489
创建Maven项目： 填写Maven的pom文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
Spark入门—RDD之WordCount
YKQCC的博客
11-20 426
例如：(hello,hello,hello),(word,word) => (hello,3),(word,2)例如：(hello,hello,hello),(word,word)1）右键父项目-->New-->Directory，命名为datas。例如：hello world =>hello,world。2）将一行数据拆分成一个个单词（分词），又称为扁平化操作。例如：hello world。3）将数据根据单词分组，方便统计。1）读文件获取一行一行的数据。4）对分组数据进行统计转换。
Spark之【运行模式、环境搭建】
weixin_45666566的博客
01-16 648
运行模式1、 Local模式1.1 环境搭建1.2 启动spark-shell1.3 读取文件1.4 应用场景1.2、Spark Standalone模式1.2 启动Local模式 \quad \quadSpark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，也提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Spark on
【Spark集群部署系列一】Spark local模式介绍和搭建以及使用（内含Linux安装Anaconda)
最新发布
qq_65231448的博客
08-12 814
在部署spark集群前，请部署好Hadoop集群，jdk8【当然Hadoop集群需要运行在jdk上】，需要注意hadoop，spark的版本，考虑兼容问题。下面是Hadoop集群部署的链接，个人笔记，已经成功部署两次了，实时更新，分【一】【二】两部分，需要的自己看。可以通过游览器输入node1:4040查看监控页面（多个进程不会起冲突，具体监控页面的端口看上图spark版本下面第二行）找到spark上传的位置,cd 进到该目录，不进去也行，自己在前面加路径哈！完成后结果（退出终端，重新进来）
spark之spark任务的提交方式【spark-shell、spark-submit】
06-28
在使用Spark时，我们需要先编写Spark任务，然后将任务提交给Spark集群进行执行，这可以通过两种方式来实现：spark-shell和spark-submit。 1. spark-shell：spark-shell是Spark自带的交互式命令行工具，可以让用户在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值