把Hive操作的spark代码丢到yarn上面运行找不到数据库

最新推荐文章于 2022-07-02 09:24:12 发布
VIP文章 最新推荐文章于 2022-07-02 09:24:12 发布
阅读量1.6k 收藏
点赞数
分类专栏： 大数据 文章标签： spark hive yarn 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangfengBX/article/details/78702511
版权

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hadoop/nm-local-dir/usercache/root/filecache/19/spark-assembly-1.6.0-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop-2.5.2/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
17/11/22 10:58:40 INFO yarn.ApplicationMaster: Registered signal handlers for [TERM, HUP, INT]
17/11/22 10:58:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
17/11/22 10:58:42 INFO yarn.ApplicationMaster: ApplicationAttemptId: appattempt_1511318642565_0002_000001
17/11/22 10:58:43 INFO spark.SecurityManager: Changing view acls to: root
17/11/22 10:58:43 INFO spark.SecurityManager: Changing modify acls to: root
17/11/22 10:58:43 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
17/11/22 10:58:44 INFO yarn.ApplicationMaster: Starting the user application in a separate Thread
17/11/22 10:58:44 INFO yarn.ApplicationMaster: Waiting for spark context initialization
17/11/22 10:58:44 INFO yarn.ApplicationMaster: Waiting for spark context initialization …
17/11/22 10:58:44 INFO spark.SparkContext: Running Spark version 1.6.0
17/11/22 10:58:44 INFO spark.SecurityManager: Changing view acls to: root
17/11/22 10:58:44 INFO spark.SecurityManager: Changing modify acls to: root
17/11/22 10:58:44 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
17/11/22 10:58:44 INFO util.Utils: Successfully started service ‘sparkDriver’ on port 36191.
17/11/22 10:58:44 INFO slf4j.Slf4jLogger: Slf4jLogger started
17/11/22 10:58:45 INFO Remoting: Starting remoting
17/11/22 10:58:45 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:43438]
17/11/22 10:58:45 INFO util.Utils: Successfully started service ‘sparkDriverActorSystem’ on port 43438.
17/11/22 10:58:45 INFO spark.SparkEnv: Registering MapOutputTracker
17/11/22 10:58:45 INFO spark.SparkEnv: Registering BlockManagerMaster
17/11/22 10:58:45 INFO storage.DiskBlockManager: Created local directory at /opt/hadoop/nm-local-dir/usercache/root/appcache/application_1511318642565_0002/blockmgr-5fc2424c-0be7-442a-b358-aec990606e96
17/11/22 10:58:45 INFO storage.MemoryStore: MemoryStore started with capacity 517.4 MB
17/11/22 10:58:45 INFO spark.SparkEnv: Registering OutputCommitCoordinator
17/11/22 10:58:45 INFO ui.JettyUtils: Adding filter: org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter
17/11/22 10:58:45 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/11/22 10:58:45 INFO server.AbstractConnector: Started [email protected]:50918
17/11/22 10:58:45 INFO util.Utils: Successfully started service ‘SparkUI’ on port 50918.
17/11/22 10:58:45 INFO ui.SparkUI: Started SparkUI at http://192.168.174.24:50918
17/11/22 10:58:45 INFO cluster.YarnClusterScheduler: Created YarnClusterScheduler
17/11/22 10:58:45 INFO util.Utils: Successfully started service ‘org.apache.spark.network.netty.NettyBlockTransferService’ on port 50119.
17/11/22 10:58:45 INFO netty.NettyBlockTransferService: Server created on 50119
17/11/22 10:58:45 INFO storage.BlockManagerMaster: Trying to register BlockManager
17/11/22 10:58:46 INFO storage.BlockManagerMasterEndpoint: Registering block manager 192.168.174.24:50119 with 517.4 MB RAM, BlockManagerId(driver, 192.168.174.24, 50119)
17/11/22 10:58:46 INFO storage.BlockManagerMaster: Registered BlockManager
17/11/22 10:58:46 INFO cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: ApplicationMaster registered as NettyRpcEndpointRef(spark://[email protected]:36191)
17/11/22 10:58:46 INFO yarn.YarnRMClient: Registering the ApplicationMaster
17/11/22 10:58:46 INFO yarn.YarnAllocator: Will request 2 executor containers, each with 1 cores and 1408 MB memory including 384 MB overhead
17/11/22 10:58:46 INFO yarn.YarnAllocator: Container request (host: Any, capability:

org.apache.spark.sql.execution.QueryExecutionException: FAILED: SemanticException [Error 10072]: Database does not exist: spark)

17/11/22 11:01:16 INFO spark.SparkContext: Invoking stop() from shutdown hook
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/static/sql,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/SQL/execution/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/SQL/execution,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/SQL/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/SQL,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/metrics/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/kill,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/api,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/static,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/json,null}
17/11/22 11:01:16 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs,null}
17/11/22 11:01:17 INFO ui.SparkUI: Stopped Spark web UI at http://192.168.174.27:33830
17/11/22 11:01:17 INFO cluster.YarnClusterSchedulerBackend: Shutting down all executors
17/11/22 11:01:17 INFO cluster.YarnClusterSchedulerBackend: Asking each executor to shut down
17/11/22 11:01:17 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
17/11/22 11:01:17 INFO storage.MemoryStore: MemoryStore cleared
17/11/22 11:01:17 INFO storage.BlockManager: BlockManager stopped
17/11/22 11:01:17 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
17/11/22 11:01:18 INFO scheduler.OutputCommitCoordinator OutputCommi

最低0.47元/天 解锁文章
zhangfengBX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark和Hive的结合（让hive基于spark计算）
01-07
spark和hive结合 1.安装mysql 2.在spark/conf中创建一个hive-site.xml    javax.jdo.option.ConnectionURL  jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true  JDBC connect string for ...
在Linux将MapReduce程序提交给YARN执行
周星星
11-20 455
什么是YARN，有什么作用 YARN（分布式运算资源调度系统） 我们知道我们的分布式文件存储系统HDFS，是将文件进行切块（默认128M）、备份（3份）分布式的存储在集群的各个机器上的； 海量的数据需要运算 ，那如果我们写的java程序，只运行在一个机器上进行处理这些数据块的话，明显是不可取的，所以我们得让程序分布式 并行的在各个机器上（mapreduce）运算； 而这些程序运行具体使用哪一台的运算资源（CPU、内存、IO、网络等），使用多少，很显然，人为分配这些资源，是很难做到公平和合理的。
Spark 读 Hive（不在一个 yarn 集群）
weixin_30316097的博客
01-25 215
方法一 1. 找到目标 Hive 的hive-site.xml 文件，拷贝到 spark 的 conf 下面。 在我的情况下/etc/hive/conf/hive-site.xml ->/usr/lib/spark/conf/hive-site.xml 2. 运行期间，遇到一个问题： java.lang.NoClassDefFoundError: org/apache/...
Spark 1.5.2 on yarn升级问题总结
我想静静
04-15 5623
Spark 1.4.0 standlone升级到Spark 1.5.2 on yarn问题总结
本地提交spark_关于在本地idea当中提交spark代码到远程的错误总结（第二篇）
weixin_32205057的博客
12-23 297
当代码能正常提交到spark集群运行的时候，出现下面的错误:Exception in thread "main"java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.defineClass(ClassLoader.ja...
数据清洗分析导出遇到的一些问题
大数据学习笔记
06-28 2664
本文简单记录一个学习过程，无技术含量，勿喷。环境：ambari:2.6.1spark 2.1python 3.6oracle 11.2sqoop 1.4最近一直在测试数据采集、清洗、分析、导出、展示的一系列的工作，主要数据流程如下：oracle 数据库-》hdfs-》hive-》oracle总的设计：通过任务调度的方式执行各个阶段的任务，其中各个任务通过脚本的方式实现，扩展的时候只需要增加对应的脚...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
Spark不能使用hive自定义函数.doc
最新发布
03-06
Spark不能使用hive自定义函数
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
从Hive迁移到SparkSQL，有赞的大数据实践
01-27
有赞数据平台从2017年上半年开始，逐步使用SparkSQL替代Hive执行离线任务，目前 SparkSQL每天的运行作业数量5000个，占离线作业数目的55%，消耗的cpu资源占集群总资源的 50%左右。本文介绍由SparkSQL替换Hive过程中...
spark on yarn 的那些坑
跟我一起去征服
06-08 9万+
在公司6个节点的测试集群运行得好好的，结果也很正常，然后放上60个节点的预生产环境，我勒个擦，搞了我两天，主要是生产环境的那些家伙不配合，一个问题搞得拖啊拖 ，首先是安全认证问题，截取一两个有意义的吧：       1.没有认证 Caused by: java.io.IOException: javax.security.sasl.SaslException: GSS initiate fa
spark建表报错
戴着红领巾走世界
09-26 643
在spark主机上，用以下命令进入 /usr/dp/current/spark-client/bin/beeline -u jdbc:hive2://paas-test-storm-001.domain:10015 执行建表语句报错如下： Error: org.apache.spark.sql.execution.QueryExecutionException: FAILED: Executi...
hive 提交到 yarn 任务 方式 和 spark UI 不能收集日志问题
weixin_40809627的博客
03-13 1879
1.通过本地客户那端命令连接 hive -e ‘select count(*) from *** where ***’ 或者 本地 敲命令 hive 然后 写 sql 方式 或者 bin/hive -e “HQL语句，多个语句用；隔开”; //-e表示直接写HQL hive-1.1.0-cdh5.14.0]# bin/hive -f /export/servers/hive-study-da...
Spark项目报错。SLF4J: Class path contains multiple SLF4J bindings.
Tangnin的博客
07-02 542
SLF4J: Class path contains multiple SLF4J bindings.
彻底解决SLF4J: Class path contains multiple SLF4J bindings.
热门推荐
zippo
11-28 9万+
springboot项目跑起来后，一直报SLF4J包冲突，看着很烦。 Connected to the target VM, address: '127.0.0.1:64448', transport: 'socket' SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:...
spark on yarn提交任务出现Output directory *** already exists的问题处理
IT_NEWplayer的博客
05-01 775
在spark on yarn提交任务是出现org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory a://bi-aws-users/sbatheja/PRD/PriceEngineOutput already exists的原因及解决方案 16/07/07 11:27:47 INFO BlockManagerMaster: BlockManagerMaster stopped 16/07/07 11:27:47 INFO O
关于在本地idea当中提交spark代码到远程的错误总结（第二篇）
weixin_30483697的博客
12-26 276
当代码能正常提交到spark集群运行的时候，出现下面的错误: Exception in thread "main" java.lang.OutOfMemoryError: PermGen space at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineCla...
spark SLF4J: Class path contains multiple SLF4J bindings.
DayOneMore的博客
03-15 667
spark 中出现这个问题 在spark-env.sh中，之前因为尝试解决别的问题，多加了个 export SPARK_DIST_CLASSPATH=$(/home/zhangjiahua/spark/hadoop-2.6.4 classpath) 删掉就行
sparksql连接hive，找不到hive数据库或hive表
06-28
### 回答1： 如果在使用SparkSQL连接Hive时出现找不到Hive数据库或Hive表的情况，可能是以下几个原因： 1. Hive Metastore未启动或连接失败：Hive Metastore是Hive的元数据存储服务，如果未启动或连接失败，就无法找到Hive数据库或表。可以通过检查Hive Metastore的日志或者使用Hive命令行工具连接Hive Metastore来排查问题。 2. SparkSQL配置错误：在连接Hive时，需要正确配置SparkSQL的相关参数，如hive.metastore.uris、hive.exec.dynamic.partition.mode等。如果配置错误，也会导致找不到Hive数据库或表。可以检查SparkSQL的配置文件或者在代码中设置相关参数来解决问题。 3. Hive数据库或表不存在：如果确保Hive Metastore已经启动并且SparkSQL配置正确，但仍然找不到Hive数据库或表，可能是因为它们不存在。可以使用Hive命令行工具或者Hue等工具来检查Hive中是否存在对应的数据库或表。如果不存在，需要先创建它们。 总之，找不到Hive数据库或表的问题可能有多种原因，需要逐一排查。 ### 回答2： 当我们使用SparkSQL连接Hive时，可能会出现找不到Hive数据库或Hive表的情况。这种情况通常出现在以下几种情况： 1. 没有正确配置Hive的环境变量：在连接Hive之前，SparkSQL需要正确配置Hive的环境变量。如果环境变量配置不正确，就会出现找不到Hive数据库或Hive表的问题。在Linux系统中，可以在.bashrc或.bash_profile文件中添加以下环境变量： export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin:$PATH 2. Hive的元数据未被正确加载：当我们使用SparkSQL连接Hive时，需要确保Hive的元数据已被正确加载。如果元数据加载不正确，就会出现找不到Hive数据库或Hive表的问题。我们可以通过在Hive命令行中执行“show databases;”和“show tables;”命令来检查元数据是否正确加载。如果元数据未被正确加载，可以尝试在Hive命令行中执行“MSCK REPAIR TABLE tablename;”命令来修复元数据。 3. Hive和SparkSQL的版本不匹配：当我们使用SparkSQL连接Hive时，需要确保Hive和SparkSQL的版本匹配。如果版本不匹配，就会出现找不到Hive数据库或Hive表的问题。我们可以通过在SparkSQL的log中查看详细的错误信息来判断版本是否匹配。如果版本不匹配，我们需要更新Hive或SparkSQL的版本以确保它们匹配。 总之，我们在使用SparkSQL连接Hive时，需要注意以上问题，确保Hive的环境变量正确配置、元数据正确加载以及Hive和SparkSQL的版本匹配，这样就可以避免找不到Hive数据库或Hive表的问题。 ### 回答3： SparkSQL是Spark的一个组件，它提供了一套基于SQL的API，方便用户在Spark上处理结构化数据。与Hive结合使用可以进一步拓展SparkSQL的能力。但有时在连接Hive时会遇到找不到Hive数据库或Hive表的情况。这通常有以下几种可能性： 1. Hive Metastore问题 Hive需要Metastore来存储元数据，包括数据库、表、列、分区等信息，而SparkSQL也依赖于Metastore。如果Hive Metastore挂了或者配置不正确，就会导致SparkSQL连接不上Hive数据库或表。解决方法是检查Hive Metastore的状态和配置，确保其可用。 2. Hive和SparkSQL版本不兼容 不同版本的Hive和SparkSQL之间可能存在不兼容的情况，导致连接失败。可以先检查Hive和SparkSQL的版本兼容性，如果版本不一致需要更新版本或者将SparkSQL降级以保证兼容。 3. 配置问题 在连接Hive时需要配置一些参数，如Hive Metastore的地址、用户名、密码等。如果这些配置有误或缺失，就会导致连接不上Hive数据库或表。需要检查配置文件中的参数设置是否正确。 4. Hive繁忙 如果Hive正在进行大量的计算任务，可能会导致Hive数据库或表无法连接。此时需要等待Hive任务完成后再次尝试连接。 总之，当SparkSQL无法连接Hive数据库或表时，需要仔细排查以上问题，以及其他可能存在的问题，找到根本原因并解决它。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值