Spark运行时自定义derby.log和metastore_db的生成路径

最新推荐文章于 2024-04-08 11:34:28 发布
最新推荐文章于 2024-04-08 11:34:28 发布
阅读量1.4k 收藏 1
点赞数 2
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hackeryuan/article/details/117026762
版权

如果不手动设置一下，那么每次运行Spark时都会在当前所在目录生成derby.log和metastore_db文件，不方便集中管理。这种随意性与冗余对于程序员来说是不能接受的，所以必须自定义设置，使之统一生成在唯一路径下。

在spark/conf目录下，将spark-defaults.conf.template复制为spark-defaults.conf，在该配置文件最后一行写入spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby(tmp/deby 替代为你希望的目录路径，路径一定要用右斜线分隔)，即可。

Spark-submit诡异问题之：ERROR XJ040: Failed to start database 'metastore_db'
九师兄
07-22 1914
背景 今天写了一个spark jar包任务，在CDH集群上命令提交 export HADOOP_USER_NAME=lcc;spark2-submit --class com.dtwave.spark.SparkMain --name structured-stream-test --master yarn --deploy-mode client --queue default ./Spark...
hive-2.1.1报错Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoad
RiverCode的博客
05-04 4455
求帮忙：hive-2.1.1安装报错如下： [root@master ~]# schematool -dbType mysql -initSchema which: no hbase in (/root/anaconda2/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/root/package/jdk1.8.0_
hive derby.log 位置
Millton0518的专栏
10-14 967
使用spark-sql连接hive 数据源 总会出现derby.log 文件，挺碍眼的。查了下资料 在$SPARK_HOME/conf/spark-defaults.conf 添加一下配置即可 spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby 整个世界都清净了。 ...
Hive安装前扫盲之Derby和Metastore
u011495642的博客
11-02 1411
大数据总是有很多英文单词，你不了解一下根本就没法推进。 比如Hive要涉及到的：derby metastore hiveServer2 后面内容都是转载的，大致内容简单来说就是：   Derby是一个数据库，非常轻量，而Hive只会把元数据存放在关系型数据库中。这是因为这样可以易于共享这些元数据。 Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下...
spark-sql 指定metastore地址、读取mysql
javaMylife的博客
08-01 977
​ spark-sql --database src --hiveconf hive.metastore.uris=thrift://hdp02:9083 -e "select * from src_db2" --driver-java-options '-Djava.net.preferIPv4Stack=true'
5.4.0Spark和Hive集成(Derby)
Simon的博客
04-17 644
Spark和Hive集成(Derby)一、      更改Hive安装目录conf下的hive-site.xml文件<property>     <name>hive.metastore.uris</name>     <value>thrift://master:9083</value>     <description>T...
Spark默认Derby数据库改为Mysql配置
zhangjunli的博客
07-10 666
在classpath下修改hive-site.xml <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> ...
Spark使用mysql做metastore
weixin_39182877的博客
03-05 528
cp /usr/local/hive/conf/hive-site.xml /usr/local/spark/conf/ ./spark-shell --master local[2] --jars /usr/local/hive/lib/mysql-connector-java-5.1.45-bin.jar  cp /usr/local/hive/lib/mysql-connec
spark报警 java.io.FileNotFoundException: /root/spark/mydatavipday2.ipdb (Permission denied)
summer089089的博客
12-21 1429
1.spark代码如下 报错代码为 val url = “/root/spark/mydatavipday2.ipdb” db = new City(url); ssc.foreachRDD(rdd => { // 对每个RDD的分区的数据进行操作，主要是建立连接，不要每条数据都建立连接 val newrdd: Unit = rdd.foreachPartition(it => { // 根据RedisUtil工具类获取redis客户端 val c
Error while instantiating ‘org.apache.spark.sql.internal.SessionState‘
SnowXu01的博客
10-05 1469
(1) 现象截图 (2) 错误堆栈信息(文本) D:\developments\java-tools\jdk1.8.0_144\bin\java.exe -ea -Didea.test.cyclic.buffer.size=1048576 -javaagent:D:\developments\dev-software\IntelliJIDEA2020\lib\idea_rt.jar=51029:D:\developments\dev-software\IntelliJIDEA2020\bin -Dfile
Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
茅坤宝骏氹的博客
01-31 2523
一、spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行。 由于spark是计算框架没有存储功能，所有spark sql数据表映射关系存储在运行shell的当前目录下metastore_db目录里面（spark默认使用derby数据库创建的本地存储，使用其他非本地数据库没有此目录），切换不同的目录启动spark-sql shell会创...
配置SPARK时，出现metastore_db cannot be created问题的解决办法
Stay Hungry Stay Foolish
04-08 1889
其原因是没有权限在spark中写入metastore_db 这个文件。 解决办法： sudo chmod 777 /usr/local/spark
Hive报错，显示已经有一个Derby数据库启动了（spark同）
z_xiaozhuT的博客
03-05 2165
在系统安装完hive，还未将mysql指定为元数据仓库的时候。运行hive的过程中，易产生一种不稳定的状态。情形一：已经有一个hive连接在访问Derby创建的metastore_db文件夹，由于Derby数据库自身的缺点--仅支持一个链接对其进行访问，所以这时，如果再有一个终端调用hive，就有第二个链接访问Derby数据库了，就会抛出这个异常。解决方法很简单。用mysql作为元数据仓库，mys...
Derby数据库入门
野人地带
09-06 1120
Derby数据库是一个纯用Java实现的内存数据库，属于Apache的一个开源项目。由于是用Java实现的，所以可以在任何平台上运行；另外一个特点是体积小，免安装，只需要几个小jar包就可以运行了。Derby数据库有两种运行模式：1） 内嵌模式。Derby数据库与应用程序共享同一个JVM，通常由应用程序负责启动和停止，对除启动它的应用程序外的其它应用程序不可见，即其它应用程序不可访问它；2） 网络...
[spark]spark/hive配置metastore为postgresql
卧龙居
05-27 5282
看文档可以知道，Spark SQL复用了hive的sql解析器/metastore管理。而hive的默认的metastore为derby，它有两个弊端： 1.metastore一次仅允许一个客户端连接 2.每个客户端进行sql操作时，都会在本进程所在的文件夹内新建metastore 所以，在产品的开发中，至少应该将metastore配为postgresql的 步骤如下： 1.在pos
nacos derby.log无法的读取+derby数据库启动失败分析解决
最新发布
m0_48333563的博客
04-08 628
nacos derby.log无法的读取+derby数据库启动失败分析解决，篇幅不长，通俗易懂。
Derby 简介
qq_35768894的博客
03-24 2760
原文：在本章中，我们介绍了 Derby 的基本概念和定义。Derby是用 Java 编写的关系数据库管理系统。它实现了 SQL-92 核心子集以及一些 SQL-99 功能。它使用 IBM DB2 SQL 语法。Derby 的占用空间很小，约为 2MB。它具有事务支持。Derby 使用的数据库格式是可移植的且与平台无关。
深入浅出 Spark Thrift Sever
epitomizelu的专栏
12-16 3427
一，Spark Thrift Sever是什么 Spark借助Hive的Metadata Service可以实现通过命令行客户端工具执行Sql语句，就像是Hive或者Mysql的命令行工具一样，称之为Spark CLI。 Spark CLI适合做一些简单的测试，如Sql语法验证、查看表结构等等，使用起来比较方便。但其有一个限制，Spark CLI必须和HiveMeta Service在同一台服务器，这就限制了Spark CLI的使用范围，局限于开发人员使用。 Spark SQL有没有提供通过客户端(DBea
Java中修改derby.log文件的路径
敲代码
04-29 1656
项目中用到derby嵌入式数据库。可是其log文件derby.log直接生成到根目录下了。比较乱。所以就去搜索了下解决方案。 在程序中使用 System.setProperty("derby.stream.error.file","logs/derby.log");  这样，日志文件就去了 根目录/logs文件夹下。...
SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/zjy2112034146/servers/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/zjy2112034146/servers/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Metastore connection URL: jdbc:derby:;databaseName=metastore_db;create=true Metastore Connection Driver : org.apache.derby.jdbc.EmbeddedDriver Metastore connection User: APP Starting metastore schema initialization to 2.3.0 Initialization script hive-schema-2.3.0.mysql.sql Error: Syntax error: Encountered "<EOF>" at line 1, column 64. (state=42X01,code=30000) org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !! Underlying cause: java.io.IOException : Schema script failed, errorcode 2 Use --verbose for detailed stacktrace. *** schemaTool failed ***
05-23
这个错误提示表明你的类路径中存在多个 SLF4J 绑定，导致冲突。你可以尝试去掉其中一个绑定，或者将其中一个绑定的优先级调整为更高。另外，这个错误提示还提到了 Hive 的元数据存储初始化失败，可能是由于语法错误导致的。你可以查看具体的错误信息，尝试修复语法错误，或者尝试使用其他版本的 Hive 元数据存储。同时，你可以使用 --verbose 参数来获取更详细的堆栈跟踪信息，以便更好地定位问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值