spark-shell/spark-sql --master yarn的一些坑 ---001

最新推荐文章于 2024-05-28 08:30:00 发布
最新推荐文章于 2024-05-28 08:30:00 发布
阅读量1.7k 收藏
点赞数
分类专栏： 20161114 文章标签： yarn spark-sql spark-she
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/do_what_you_can_do/article/details/53165957
版权

一、

错误描述：Exception in thread "main" org.apache.spark.SparkException: Application application_1479132065716_00

原因：我的是JDK版本过高，使用spark2.0.1+hadoop2.5.2+hive0.13+JDK1.7没问题

二、

错误描述：Exception in thread "main" org.apache.spark.SparkException: 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

原因：Scala程序中存在未经过序列化的字符串，到了spark中，就报错了。亲测。在Spark Count程序中，将输入路径和结果输出的路经使用字符串写死了之后，就出现了这个问题


未完，待续。。。。。。。。。。。。。。。。。。。。。

do_what_you_can_do
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark学习-SparkSQL--04-SparkSQL CLI 单节点运行与yarn集群运行
九师兄
08-08 1410
1。单节点运行 bin/spark-sql --master spark://bigdata01.hzjs.co:7077 --executor-memory 40g --total-executor-cores 50 --conf spark.sql.warehouse.dir=hdfs://bigdata01.hzjs.co:8020/user/sparksql --conf spark.dri
spark-submit报错:Application application_1529650293575_0148 finished with failed status
主要分享大数据相关的知识，如Spark、Hudi
07-11 1万+
记录spark-submit提交Spark程序出现的一个异常，以供第一次出现这种异常且不知道原因，该怎么解决的的同学参考。
spark spark-sql提交方式及参数优化建议
爱折腾的小土豆的博客
07-01 2420
任务申请的总core数为executor个数*单个executor的core数，如：申请4个executor，每个executor申请2个core，则此任务申请的总core数为8。此参数一般设置为任务申请的总core数的2-4倍，如：申请100个executor，每个executor申请2个core，那么总core数为200，此参数设置的合理范围是400-800。一直以来，Spark只能设置固定的并行度（参考4），在大促期间，数据量激增，每个task处理的数量增加，很容易出现oom的情况。
Spark Sql写代码方式（yarn）以及 spark sql整合hive详解
最新发布
weixin_52134189的博客
05-28 957
IDEA里面将代码编写好打包上传并提交打到yarn上运行，Spark Shell(repl)，Spark SQL 命令行界面（CLI），spark sql整合hive，在IDEA使用代码操作spark整合的hive,在linux命令行写spark-sql
Exception in thread "main" org.apache.spark.SparkException: Application application_1498149692663_01
u012893747的博客
07-14 1万+
Exception in thread "main" org.apache.spark.SparkException: Application application_1498149692663_0164 finished with failed status
idea用给scala打包出错Unsupported major.minor version 52.0
weixin_34310127的博客
03-16 301
1.打包过程发现错误如下： xception in thread "main" org.apache.spark.SparkException: Application application_1487576876020_5626 finished with failed status at org.apache.spark.deploy.yarn.Client.run(Client.s...
Spark Sql-写sql的方式（不重要）
weixin_48370579的博客
07-17 666
Spark Sql spark-sql 写代码方式 1、idea里面将代码编写好打包上传到集群中运行，上线使用 --conf spark.sql.shuffle.partitions=1 -- 设置spark sqlshuffle之后分区数据马，和代码里面设置是一样的，代码中优先级高 spark-submit提交 spark-submit --master yarn-client --clas...
spark-2.4.7-bin-hadoop2.6.tgz
03-17
在部署和使用Spark时，需要根据实际需求配置`spark-defaults.conf`，设置如master节点地址、内存分配、日志级别等参数。此外，可以通过`spark-submit`脚本提交应用程序到Spark集群执行，或直接在Spark Shell中交互式...
haddop\scala\spark\winutils-master安装包
10-14
`winutils-master.zip` 提供了在Windows上运行Hadoop所需的一些基本工具，比如HDFS的启动脚本和配置文件，使得开发者能够在Windows操作系统上搭建和测试Hadoop集群。 安装和使用这些组件通常涉及以下步骤： 1. **...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
5. **运行Spark**: Spark可以通过命令行工具启动，例如`spark-shell`（交互式Spark会话）或`pyspark`（Python版本的交互式会话）。对于应用程序开发，可以使用Scala、Java、Python或R编写代码，然后通过`spark-...
spark-2.4.5.tgz
07-12
4. 运行示例：通过 `bin/spark-shell` 启动 Spark Shell，或运行提供的示例应用程序。 5. 关闭 Spark：完成使用后，执行 `sbin/stop-all.sh` 关闭 Spark 集群。 在实际应用中，开发者还需要了解如何配置 Spark ...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在解压并安装"spark-3.1.3-bin-hadoop3.2.tgz"后，你需要配置环境变量，如SPARK_HOME，然后可以通过启动Master和Worker节点来建立Spark集群。对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala...
Exception in thread “main“ org.apache.spark.SparkException: Yarn application has already ended! It m
weixin_38842096的博客
10-12 4251
spark 提交任务遇到的错误如下： 1、错误（1） Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.w
[Spark基础]-- Spark sql使用(编程和 cli)
欢迎来到我的博客，一起探索代码里的世界！
02-25 2882
什么是Spark sql? 分布式的SQL查询引擎，官方测试结果比 Hive sql 快 100倍；从 Spark-2.2.0版本起，提供了基于代价的优化器。 spark sql 怎样使用？ 1、使用编程方式 举例：https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#getting-started 2、使用命令行 ...
Spark系列——运行模式（三）Yarn模式配置（详解）
王同学的博客
10-03 3746
yarn模式 00_介绍 Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。 yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。 yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。 Yarn运行模式如图： 01_配置 1.1，修改hadoop的配置文件 yar
大数据应用之 --- SparkSQL和 Hive的集成
qq_41187116的博客
07-16 706
大数据应用之 --- SparkSQL和 Hive的集成
个人总结-Spark运行异常问题汇总
qq_34560135的博客
07-17 6643
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. $ vim /etc/profile #添加以下两句话 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_
Exception in thread "main" org.apache.spark.SparkException: Task not serializable异常
热门推荐
冲子
11-24 2万+
问题原因： 解决方案：
Exception in thread “main“ org.apache.spark.SparkException: Task not serializable异常
weixin_43626356的博客
11-14 1905
comparator无法序列化问题
linux中运行yarn命令,在yarn上运行spark-shell和spark-sql命令行
03-16
在Linux中运行yarn命令后，可以使用以下命令行来运行spark-shell和spark-sql： 1. 运行spark-shell命令行： ``` spark-shell --master yarn ``` 2. 运行spark-sql命令行： ``` spark-sql --master yarn ``` 这些命令将使用yarn作为集群管理器来运行Spark应用程序。在运行这些命令之前，请确保已经安装了Spark和yarn，并且已经正确配置了环境变量和相关的配置文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值