Spark的一些问题

已于 2022-02-09 16:04:16 修改
阅读量985 收藏
点赞数 1
分类专栏： 【大数据】Spark-2.3.3 文章标签： spark big data 大数据
于 2016-09-20 17:24:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silentwolfyh/article/details/52598070
版权

问题1：yarn资源申请不足，导致任务持续等待

2016-09-20 16:49:25,657 [WARN  ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2016-09-20 16:49:40,657 [WARN  ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2016-09-20 16:49:55,657 [WARN  ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2016-09-20 16:50:10,657 [WARN  ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2016-09-20 16:50:25,657 [WARN  ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2016-09-20 16:50:40,657 [WARN  ] 70 org.apache.spark.scheduler.cluster.YarnScheduler - Initial job has not accepted any resources; check

解决办法：

1、yarn上面运行的程序太多，等待内存释放。
2、将自己的程序提交的时候，减少内存的使用。

问题2：spark,代码实现:missing parameter type

在这里插入图片描述

package cn.spark.study.core.upgrade

import java.util

import org.apache.spark.SparkConf
import org.apache.spark.api.java.{JavaRDD, JavaSparkContext}

object Cartesian {

  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setAppName("Cartesian").setMaster("local")
    val sc: JavaSparkContext = new JavaSparkContext(conf)

    // cartesian，中文名，笛卡尔乘积
    // 比如说两个RDD，分别有10条数据，用了cartesian算子以后
    // 两个RDD的每一条数据都会和另外一个RDD的每一条数据执行一次join
    // 最终组成了一个笛卡尔乘积

    // 小案例
    // 比如说，现在5件衣服，5条裤子，分别属于两个RDD
    // 就是说，需要对每件衣服都和每天裤子做一次join，尝试进行服装搭配

    val clothes: util.List[String] = util.Arrays.asList("夹克", "T恤", "皮衣", "风衣")
    val clothesRDD: JavaRDD[String] = sc.parallelize(clothes)

    val trousers: util.List[String] = util.Arrays.asList("皮裤", "运动裤", "牛仔裤", "休闲裤")
    val trousersRDD: JavaRDD[String] = sc.parallelize(trousers)

    clothesRDD.cartesian(trousersRDD).map(row => (row._1, row._2)).foreach(println) //报错
    clothesRDD.rdd.cartesian(trousersRDD.rdd).map(row => (row._1, row._2)).foreach(println) //正确
  }

}

问题3：DataFrame和保存的表结构字段顺序不一致

07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 22/02/07 18:44:18 INFO yarn.Client: 
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	 client token: N/A
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	 diagnostics: User class threw exception: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:javax.jdo.JDOException: Exception thrown when executing query : SELECT DISTINCT 'org.apache.hadoop.hive.metastore.model.MPartition' AS `NUCLEUS_TYPE`,`A0`.`CREATE_TIME`,`A0`.`LAST_ACCESS_TIME`,`A0`.`PART_NAME`,`A0`.`PART_ID` FROM `PARTITIONS` `A0` LEFT OUTER JOIN `TBLS` `B0` ON `A0`.`TBL_ID` = `B0`.`TBL_ID` LEFT OUTER JOIN `DBS` `C0` ON `B0`.`DB_ID` = `C0`.`DB_ID` WHERE `B0`.`TBL_NAME` = ? AND `C0`.`NAME` = ? AND `A0`.`PART_NAME` = ?
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:677)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.datanucleus.api.jdo.JDOQuery.executeInternal(JDOQuery.java:388)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.datanucleus.api.jdo.JDOQuery.execute(JDOQuery.java:252)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.ObjectStore.getMPartition(ObjectStore.java:1602)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.ObjectStore.getPartitionWithAuth(ObjectStore.java:1864)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at sun.reflect.GeneratedMethodAccessor31.invoke(Unknown Source)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at java.lang.reflect.Method.invoke(Method.java:498)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:103)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at com.sun.proxy.$Proxy10.getPartitionWithAuth(Unknown Source)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.get_partition_with_auth(HiveMetaStore.java:3097)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at sun.reflect.GeneratedMethodAccessor30.invoke(Unknown Source)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at java.lang.reflect.Method.invoke(Method.java:498)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeInternal(RetryingHMSHandler.java:139)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:97)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at com.sun.proxy.$Proxy12.get_partition_with_auth(Unknown Source)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Processor$get_partition_with_auth.getResult(ThriftHiveMetastore.java:10073)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Processor$get_partition_with_auth.getResult(ThriftHiveMetastore.java:10057)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.TUGIBasedProcessor$1.run(TUGIBasedProcessor.java:110)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.TUGIBasedProcessor$1.run(TUGIBasedProcessor.java:106)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at java.security.AccessController.doPrivileged(Native Method)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at javax.security.auth.Subject.doAs(Subject.java:422)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.hadoop.hive.metastore.TUGIBasedProcessor.process(TUGIBasedProcessor.java:118)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:286)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - 	at java.lang.Thread.run(Thread.java:745)
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - NestedThrowablesStackTrace:
07-02-2022 18:44:18 CST AutoAnalyseActiveType INFO - java.sql.SQLException: Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_unicode_ci,COERCIBLE) for operation '='
北京小辉微信公众号

在这里插入图片描述

大数据资料分享请关注
北京小辉
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
hive on spark mr 数据开发常见问题解决
11-20
hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错，这些报错信息很多时间并没有形成汇总的知识库，每次遇到问题都会重复查资料，效率非常低 现在总结一些常见的知识库，方便大家查看并分析： 最近工作的公司，我们常常见的错误 有 shuffle in fetcher#6 at GC overhead limit exceeded Unknown primitive type VOID Output column number expected to be 0 when isRepeating from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 空文件 等等
Spark常见错误问题汇总
a934079371的博客
07-05 1747
一.SparkSQL相关在执行insert 语句时报错，堆栈信息为：FileSystem closed。常常出现在ThriftServer里面。原因：由于hadoop FileSystem.get 获得的FileSystem会从缓存加载，如果多线程一个线程closedFileSystem会导致该BUG解决方法：hdfs存在不从缓存加载的解决方式，在hdfs-site.xm...
spark,代码实现flatMap报错:missing parameter type
qq_41848129的博客
08-23 2503
这里rdd1的类型是None， 所以我们需要类型转换一下，默认是JAVARDD[String]类型
Spark 学习3 ——Scala进阶
conan66的博客
06-19 599
参见我的掘金 函数式编程 best ref 1.函数定义和高阶函数 函数的类型和值 在非函数式编程语言里，函数的定义包含了**“函数类型”和“值”**两种层面的内容。 在函数式编程中，函数是“头等公民”，可以像任何其他数据类型一样被传递和操作，也就是说，函数的使用方式和其他数据类型的使用方式完全一致。 def counter(value: Int): Int = { value += 1} // 这个函数的“类型” (Int) => Int 当参数只有一个时，括号可以省略 // 只要把函数
scala 下划线解析报错： missing parameter type for expanded function
MonkeyKing_1990的博客
04-05 3798
本文首先介绍下eta-expansion概念，以及其对下划线的expand的解析规则和匿名函数简写注意事项，最后通过例子解析加深读者的理解 eta-expansion概念： 把 x => func(x) 简化为 func _ 或 func 的过程称为 eta-conversion 把 func 或 func _ 展开为 x => func(x) 的过程为 eta-exp...
存储过程调用问题【missing parameter type】
乐乐的博客
08-21 1641
missing parameter type,调用存储过程的时候遇到这个问题，后来查看jdbc代码，发现是创建存储过程的时候，【是否入参出参】，【参数名称】和【参数类型】中间都要有个空格，不然java代码是无法正常执行的，但是直接命令执行存储过程是正常的。以后需要多注意。 存储过程 CREATE DEFINER=`root`@`%` PROCEDURE `p`(IN `time_interval_minute` int,IN `start_time` datetime, OUT `flag` int) BE
Spark常见问题解决
蚁人的博客
10-29 3183
这俩天总结了在写Spark Job的时候遇到的一些问题，写在这里，以后遇到了方便查看。 1.Error:(64, 64) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by ...
Spark性能调优分享
12-29
我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入性能调优之前都是一个至关重要的问题，它的本质限制了我们调优到底要达到一个什么样的目标或者说我们是从...
Spark大数据处理
01-18
本书是国内首本系统讲解 Spark 编程实战的书籍，涵盖 Spark 技术的方方面面。 1)对 Spark 的架构、运行机制、系统环境...运行机制深入分析方面的章节，比较适合架构师和 Spark 研究人员，可帮他们拓展解决问题 的思路。
Spark WARN cluster.ClusterScheduler: Initial job has not accepted any resources;check your cluster
热门推荐
caimo的专栏
04-13 2万+
WARN cluster.ClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory spark cluster
initial job has not accepted any resources的spark错误解决办法
大数据挖掘SparkExpert的博客
03-04 9709
在运行多个spark应用程序的时候，经常会出现initial job has not accepted any resources的错误。 而如果用spark-submit方式提交的话，经常是结果不显示。而在监控网页上看到的是状态一直在waiing.如下所示。 经过仔细检查，发现是CORES的问题，由于之前的程序将CORES全部占用，而后来的任务没有足够的CPU来支撑，
【问题解决】本地提交任务到Spark集群报错：Initial job has not accepted any resources
nazhidao的专栏
04-17 2万+
本地提交任务到Spark集群报错：Initial job has not accepted any resources错误信息如下：18/04/17 18:18:14 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks18/04/17 18:18:29 WARN TaskSchedulerImpl: Initial job has no...
Scala Spark Map DataFrame Missing Paramenter Type
Gamedev
01-28 574
在学习sparkSQL时，按照书中的例子敲了代码，但是报出map row:Missing Paramenter Type的错误，意思就是没有指定row变量的类型。 当我在我的代码的val hiveCtx = new HiveContext(sc)的下一行，添加import hiveCtx.implicits._代码段之后，错误被解除了。因为这段代码会将RDD隐式转换为DataFrame 完整代...
Spark提交任务Initial job has not accepted any resources; check your cluster UI to ensure that workers ar
zhuzi51的专栏
12-31 1万+
楔子 spark集群提交任务 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 问题 虚拟机内存 和内核不够大,需要调整 本人是16G 的笔记本 调整后如图 虚拟机配置 ...
运行spark问题：Initial job has not accepted any resources; check your cluster UI to ensure that workers a
coffeebreak的专栏
08-30 2655
运行  spark-submit --master spark://master:7077 --executor-memory 3000g --py-files SparkUtil.py Spark_ModelMatch_eigen.py 出现如下警告，spark无法运行一直处于等待状态 RN TaskSchedulerImpl: Initial job has not accep
解决WARN TaskSchedulerImpl: Initial job has not accepted any resources;
程序员小陶的大数据分享
12-13 6770
解决WARN TaskSchedulerImpl: Initial job has not accepted any resources; spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行 ./spark-submit \ –master spark://node01:7077 \ –driver-memory 512m \ ...
Spark-shell执行RDD操作时报Initial job has not accepted any resources问题解决过程
weixin_44042314的博客
03-05 955
因为资源紧缺，用一台16G内存的虚拟机搭建了整套CDH6.1的大数据环境，全部服务启动后仅剩不到1G的内存了。 测试spark-shell时，在执行RDD的action类操作时总是报Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and h...
python map lambda表达式_python中的map，reduce，filter函数和lambda表达式
weixin_39852688的博客
12-04 145
python中的map，reduce，filter函数和lambda表达式首先看几个栗子：map(lambda a : a > 3, a)Out[22]: [False, False, False, True, True]filter(lambda a : a > 3, a)Out[23]: [4, 5]reduce(lambda a : a > 3, a)Traceback (...
try(){}自动释放资源
林高禄
10-13 5695
原先背景与做法 我们在使用资源的时候，必须关闭资源，比如使用jdbc连接或者inputStream的时候，必须在finally中将资源关闭。 比如获取Mybatis框架的SqlSession的时候 package com.dao; import com.lingaolu.dao.DeptDao; import com.lingaolu.pojo.Dept; import com.lingaolu.utils.MybatisUtils; import org.apache.i..
spark面试问题及回答
最新发布
03-08
我可以回答这个问题。Spark 是一个开源的分布式计算框架，常用于大规模数据处理和机器学习等领域。在 Spark 面试中，常见的问题包括 Spark 的基本概念、Spark 的架构、Spark 的优缺点、Spark 的调优等方面。以下是一些常见的 Spark 面试问题及回答： 1. 什么是 Spark？ Spark 是一个开源的分布式计算框架，可以在大规模数据集上进行高速计算。它支持多种编程语言，包括 Java、Scala、Python 和 R 等。 2. Spark 的架构是什么样的？ Spark 的架构包括 Driver、Executor 和 Cluster Manager 三个部分。Driver 负责解析用户的代码，将任务分发给 Executor 执行，Cluster Manager 则负责管理集群资源。 3. Spark 有哪些优点？ Spark 具有高速计算、易于使用、支持多种编程语言、支持多种数据源等优点。此外，Spark 还支持内存计算，可以大大提高计算速度。 4. Spark 的缺点是什么？ Spark 的缺点包括内存占用较大、对数据倾斜的处理不够优秀、对小数据集的处理不够高效等。 5. 如何进行 Spark 的调优？ Spark 的调优可以从多个方面入手，包括调整内存分配、调整并行度、使用广播变量、使用缓存等。此外，还可以通过对数据进行预处理、对代码进行优化等方式来提高 Spark 的性能。 以上是一些常见的 Spark 面试问题及回答，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北京小辉

你的鼓舞将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值