Spark on Yarn上传文件

最新推荐文章于 2023-01-02 17:43:52 发布
最新推荐文章于 2023-01-02 17:43:52 发布
阅读量499 收藏 1
点赞数
文章标签： spark 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hua_yuan2015/article/details/126307426
版权

当我们想使用Spark应用提交我们的sql脚本时，

如果是Yarn模式下，当deploy-mode为client时，driver会在当前提交任务的机器上启动，可以脚本本地文件路径直接作为应用的参数传进去

当deploy-mode为cluster时，driver会在yarn集群中选一个节点上启动，这时通过参数传文件会找不到，spark-submit有-files参数可以提交脚本文件，多个文件用逗号隔开，可以是本地或Hdfs上的文件路径，

当deploy-mode为client模式时也想使用--files提交文件，注意脚本要放在当前执行应用的路径下（根目录下）或者获取文件的时候也明路径

大数据程序袁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【spark】on yarn的模式下，如何上传files并在程序中读取到？
lsr40的博客
06-24 4081
在使用spark的时候，往往我们需要外部传入文件，来配合程序做数据处理 那么这就涉及到，如何传入，如何获取（本文讨论的是spark on yarn）？ 讲实话，我觉得这个问题挺烦的，我百度了好久（可能我姿势不对？），各种博客，stackoverflow，community.cloudera.com都找过，我觉得回答方都停留在理论基础，并没有show me code，我实际测试的时候，好像又和他们说的不太一样，哎，要是能有统一的入口，统一的出口就好了 1、client模式 client模式下.
CDH6.3.2 Spark-submit 提交作业到 yarn
qq_40808283的博客
03-23 1190
一、在idea中 写一个 wordcount 案例： package submit_test import org.apache.spark.{SparkConf, SparkContext, SparkFiles} object WordCount { def main(args: Array[String]): Unit = { //scala代码实现spark入口 (这里没有指明是什么模式,在提交时指明) val conf = new SparkConf().setAppName(
SparkLaunch提交Spark任务到Yarn集群
最新发布
Nice的博客
01-02 2356
SparkLaunch提交Spark任务到Yarn集群
Spark --files使用总结
呆呆的嘛的博客
10-26 1472
spark --files
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo...
weixin_33898233的博客
05-29 260
26 集群使用初步 HDFS的设计思路 l设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l重点概念：文件切块，副本存放，元数据 26.1 HDF...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
Developer Training for Apache Spark and Hadoop:Hands-On Exercise
11-14
《Developer Training for Apache Spark and Hadoop: Hands-On Exercise》是一份深入实践的教程，旨在帮助开发者熟悉Apache Spark和Hadoop两大大数据处理框架。本教程通过一系列的手动操作练习，覆盖了从基础环境...
Spark笔记1.docx
04-03
4. on yarn 集群模式：用于生产环境。 5. on mesos 集群模式：国内使用较少。 6. on cloud 集群模式：中小公司未来会更多地使用云服务。 Spark 安装部署： 1. local 本地模式安装部署：上传并解压，开箱即用。 2. ...
spark基础,关于spark的安装和几种模式的部署
09-20
安装步骤包括将Spark安装包上传至服务器，解压，重命名，删除安装包，然后配置相关配置文件如`spark-env.sh`和`slaves`。 3. **Yarn模式**：Spark on Yarn模式下，Spark作为一个客户端，提交任务给Yarn进行资源管理...
【持续更新】Spark Submit命令 配置参数详解
weixin_42151880的博客
11-10 5800
spark submit 参数
使用 yarn 发布 npm 包
AS_TS的博客
06-15 988
工具：Yarn （ npm install yarnpkg -g ），git 创建你的第一个NPM库 在创建你的第一个库之前，你需要了解什么是yarn。 打开终端，首先创建一个git仓库 git init RockSocket 进入 RockSocket 文件夹，执行： yarn init 这将会询问你以下几个问题： name (my-new-project): version (1.0.0): description: entry point (index.js): git repository: aut
Spark on YARN
liweihope的博客
06-14 2万+
前言 Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。 YARN产生背景 以前没有YARN的时候，每个分布式框架都要跑在一个集群上面，比如说H...
spark on yarn 的那些坑
热门推荐
跟我一起去征服
06-08 9万+
在公司6个节点的测试集群运行得好好的，结果也很正常，然后放上60个节点的预生产环境，我勒个擦，搞了我两天，主要是生产环境的那些家伙不配合，一个问题搞得拖啊拖 ，首先是安全认证问题，截取一两个有意义的吧：       1.没有认证 Caused by: java.io.IOException: javax.security.sasl.SaslException: GSS initiate fa
解决Spark Streaming任务日志打爆磁盘问题
DDSHANG的专栏
03-29 3632
1.在standlone模式下，为了减少日志在磁盘占用的输出的量，可以设置一下几个参数。spark.executor.logs.rolling.maxRetainedFilesspark.executor.logs.rolling.enableCompressionspark.executor.logs.rolling.maxSizespark.executor.logs.rolling.stra...
Spark_Spark on YARN 提交配置文件，读取配置文件
迎难而上
11-09 4141
  Spark ON YARN 的官方文档，基于Spark 2.1.1 http://spark.apache.org/docs/2.1.1/running-on-yarn.html To use a custom log4j configuration for the application master or executors, here are the options: upl...
spark on yarn【在yarn上提交spark 程序配置及实现方式】
CD
01-22 4041
spark on yarn
[Spark 进阶] -- Spark 如何在运行时读取 --files 添加的 README.md 文件？
欢迎来到我的博客，一起探索代码里的世界！
07-27 7315
Spark 如何在运行时读取 --files 添加的 README.md 文件？ 方法 1 本方法适用于 spark local 和 spark on yarn-client 。 --files 会把文件上传到 hdfs 的 .sparkStagin/applicationId 目录下，使用上面说的方法先获取到 hdfs 对应的这个目录，然后访问hdfs的这个文件，如下 spark....
Spark On Yarn：提交Spark应用程序到Yarn
Ran
01-01 1万+
Spark On Yarn：提交Spark应用程序到Yarn

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值