oracle作为hive元数据库，建表报错

最新推荐文章于 2022-05-22 16:40:04 发布
最新推荐文章于 2022-05-22 16:40:04 发布
阅读量253 收藏
点赞数
文章标签： 数据库 java 大数据
原文链接：http://www.cnblogs.com/xhwangspark/p/6796744.html
版权

hive>
>
> create table test(a string, b int);
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception was thrown while adding/validating class(es) : ORA-01754: 表只能包含一个 LONG 类型的列

java.sql.SQLSyntaxErrorException: ORA-01754: 表只能包含一个 LONG 类型的列

at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439)
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:395)
at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:802)
at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:436)
at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186)
at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:521)
at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:194)
at oracle.jdbc.driver.T4CStatement.executeForRows(T4CStatement.java:1000)
at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1307)
at oracle.jdbc.driver.OracleStatement.executeInternal(OracleStatement.java:1882)
at oracle.jdbc.driver.OracleStatement.execute(OracleStatement.java:1847)
at oracle.jdbc.driver.OracleStatementWrapper.execute(OracleStatementWrapper.java:301)
at com.jolbox.bonecp.StatementHandle.execute(StatementHandle.java:254)
at org.datanucleus.store.rdbms.table.AbstractTable.executeDdlStatement(AbstractTable.java:760)
at org.datanucleus.store.rdbms.table.AbstractTable.executeDdlStatementList(AbstractTable.java:711)
at org.datanucleus.store.rdbms.table.AbstractTable.create(AbstractTable.java:425)
at org.datanucleus.store.rdbms.table.AbstractTable.exists(AbstractTable.java:488)
at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.performTablesValidation(RDBMSStoreManager.java:3380)
at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.addClassTablesAndValidate(RDBMSStoreManager.java:3190)
at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.run(RDBMSStoreManager.java:2841)
at org.datanucleus.store.rdbms.AbstractSchemaTransaction.execute(AbstractSchemaTransaction.java:122)
at org.datanucleus.store.rdbms.RDBMSStoreManager.addClasses(RDBMSStoreManager.java:1605)
at org.datanucleus.store.AbstractStoreManager.addClass(AbstractStoreManager.java:954)
at org.datanucleus.store.rdbms.RDBMSStoreManager.getDatastoreClass(RDBMSStoreManager.java:679)
at org.datanucleus.store.rdbms.RDBMSStoreManager.getPropertiesForGenerator(RDBMSStoreManager.java:2045)
at org.datanucleus.store.AbstractStoreManager.getStrategyValue(AbstractStoreManager.java:1365)
at org.datanucleus.ExecutionContextImpl.newObjectId(ExecutionContextImpl.java:3827)
at org.datanucleus.state.JDOStateManager.setIdentity(JDOStateManager.java:2571)
at org.datanucleus.state.JDOStateManager.initialiseForPersistentNew(JDOStateManager.java:513)
at org.datanucleus.state.ObjectProviderFactoryImpl.newForPersistentNew(ObjectProviderFactoryImpl.java:232)
at org.datanucleus.ExecutionContextImpl.newObjectProviderForPersistentNew(ExecutionContextImpl.java:1414)
at org.datanucleus.ExecutionContextImpl.persistObjectInternal(ExecutionContextImpl.java:2218)
at org.datanucleus.ExecutionContextImpl.persistObjectWork(ExecutionContextImpl.java:2065)
at org.datanucleus.ExecutionContextImpl.persistObject(ExecutionContextImpl.java:1913)
at org.datanucleus.ExecutionContextThreadedImpl.persistObject(ExecutionContextThreadedImpl.java:217)
at org.datanucleus.api.jdo.JDOPersistenceManager.jdoMakePersistent(JDOPersistenceManager.java:727)
at org.datanucleus.api.jdo.JDOPersistenceManager.makePersistent(JDOPersistenceManager.java:752)
at org.apache.hadoop.hive.metastore.ObjectStore.createTable(ObjectStore.java:719)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:108)
at com.sun.proxy.$Proxy7.createTable(Unknown Source)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_core(HiveMetaStore.java:1261)
at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.create_table_with_environment_context(HiveMetaStore.java:1294)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:105)
at com.sun.proxy.$Proxy8.create_table_with_environment_context(Unknown Source)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:558)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:547)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:89)
at com.sun.proxy.$Proxy9.createTable(Unknown Source)
at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:613)
at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:4189)
at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:281)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:153)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1503)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1270)
at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1088)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:911)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:901)
at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:268)
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:220)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:423)
at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:792)
at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:686)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

 

 

解决办法：
用解压缩工具打开${HIVE_HOME}/lib中的hive-metastore-0.13.0.jar，发现名为package.jdo的文件，打开该文件并找到下面的内容。
 
<<field name="viewOriginalText" default-fetch-group="false">
        <column name="VIEW_ORIGINAL_TEXT" jdbc-type="LONGVARCHAR"/>
</field>
<field name="viewExpandedText" default-fetch-group="false">
        <column name="VIEW_EXPANDED_TEXT" jdbc-type="LONGVARCHAR"/>
</field>
 
可以发现列VIEW_ORIGINAL_TEXT和VIEW_EXPANDED_TEXT的类型都为LONGVARCHAR，对应于Oracle中的LONG，这样就与Oracle表只能存在一列类型为LONG的列的要求相矛盾，所以就出现错误了。
 
按照Hive官网的建议将该两列的jdbc-type的值改为CLOB，修改后的内容如下所示。
 
<<field name="viewOriginalText" default-fetch-group="false">
        <column name="VIEW_ORIGINAL_TEXT" jdbc-type="CLOB"/>
</field>
<field name="viewExpandedText" default-fetch-group="false">
        <column name="VIEW_EXPANDED_TEXT" jdbc-type="CLOB"/>
</field>
 
重启OK

转载于:https://www.cnblogs.com/xhwangspark/p/6796744.html

Zaya0402
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive报错 spark_Spark保存数据到hive,在hive里查询报错
weixin_39840111的博客
12-20 600
我的原创地址：hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException​dongkelun.com前言本文解决如标题所述的一个hive查询异常，详细异常信息为：Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDe...
hive与Oracle
m0_71722994的博客
07-13 3201
hive与Oracle
Hive配置(Oracle数据库为元数据)
09-27
oracle 重建 数据元,hive 修改oracle作为元数据库 报错
weixin_39572316的博客
04-08 198
17/05/02 15:45:28 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. Use hive.hmshandler.retry.* insteadorg.apache.thrift.transport.TTransportException: Could not crea...
oracle配置元数据失败,hive配置独立METADATA ORACLE库出错
weixin_35730901的博客
04-06 442
之前不用独立的METADATA库，SHOW TABLES是没问题的。之后想用独立的库，我的做法如下，结果报错，想问下哪位大哥知道原因？谢谢。1，ORACLE库建用户PJY，赋DBA权限2，配置hive-site.xml，主要配置如下：javax.jdo.option.ConnectionURLjdbcracle:thin:@172.16.3.13:1522/mydb JDBC connect...
Hive环境搭建，并配置Oracle作为元数据库
汉南最後の読書人
07-09 2478
1.准备工具及环境： 1.1 hadoop环境(之前已经安装，不介绍) 1.2 hive-3.1.1 下载 1.3 Oracle服务器(已搭建，不介绍) 1.4 ojdbc8(该版本的驱动支持jdk1.8) 下载 2.Hive的安装 2.1 使用WinSCP上传已下载的Hive安装包至指定安装路径(/home/fangw/bigData)，并用命令tar -zxvf ap...
hive 使用oralce 存储元数据
一只刚刚上路的猿
01-08 741
hive 使用oracle 作为元数据存储的时候，创建表会遇到此错误：  FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception
java连接hive后执行查询后_报错_hive查询报错
weixin_33167915的博客
02-23 550
原文标题：hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException前言本文解决如标题所述的一个hive查询异常，详细异常信息为：Failedwithexceptionjava.io.IOException:org.apache.parquet.io.ParquetDecodingException:...
Sqlldr导Excel文件导Oracle数据库
qq_45941597的博客
05-22 943
本节主要讲解了sqlldr导excel文件方法，以及可能遇到的一些情况的总结，还分别对append,insert,replace的使用情况做了说明。
oracle sqoop 导出_Sqoop从Hive导出数据到Oracle
weixin_39658474的博客
12-31 804
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
Hive安装过程（mysql/oracle存储元数据）
博学而笃志，切问而近思
07-27 3519
Hive安装过程（mysql存储元数据） 前置条件： - mysql数据库已经安装成功 - hadoop环境已经配置正确，且可以提供正常服务 说明： -由于资源有限，下面配置的hadoop集群只有一个节点，所有服务都在一个节点上启动 （1）创建mysql用户hadoop@ubuntu:~$ mysql -uroot -pmysql mysql> CREATE
hive 使用oracle数据库
sardtass的专栏
01-03 2833
hive使用oracle作为数据源，导入数据使用sqoop或kettle或自己写代码（淘宝的开源项目中有一个xdata就是淘宝自己写的）。感觉sqoop比kettle快多了，淘宝的xdata没用过。 hive默认使用derby作为存储表信息的数据库，默认在哪启动就在哪建一个metadata_db文件放数据，可以在conf下的hive-site.xml中配置为一个固定的位置，这样不论在哪启动都可以
hive 修改oracle作为元数据库 报错
Zaya0402的博客
05-02 257
17/05/02 15:45:28 WARN conf.HiveConf: DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. Use hive.hmshandler.retry.* insteadorg.apache.thrift.transport.TTransportException: Could not...
t4cttioer.java_java.sql.SQLSyntaxErrorException：在oracle.jdbc.driver.T4CTTIoer.processError（T4CTTIoer...
weixin_39553904的博客
02-13 2845
的index.htmlEnter your Rollno:type="submit" value="search" />ResultServlet.javapackage atulrai;import java.io.IOException;import java.io.PrintWriter;import java.sql.Connection;import java.sql.Drive...
oracle数据库报错01861,Oracle数据库之split-by参数为日期类型时的报错ORA-01861
weixin_29625619的博客
04-13 719
本文主要向大家介绍了Oracle数据库之split-by参数为日期类型时的报错ORA-01861，通过具体的内容向大家展现，希望对大家学习Oracle数据库有所帮助。报错栈：2017-06-0818:46:13,422INFO[main]org.apache.sqoop.mapreduce.db.DBRecordReader:Executingquery:select"JFRQ",...
解决Java连接Oracle 12c存在的问题
热门推荐
peng_wei_kang的博客
05-22 1万+
首先安装好Oracle 12c,然后创建表空间-&gt;创建用户-&gt;导入数据库-&gt;启动项目。1.发现项目报一下错误：Caused by: java.sql.SQLException: ORA-28040: 没有匹配的验证协议 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439) at oracle.jdbc.d...
t4cttioer.java_springboot yml 文件配置oracle，提示账号密码错误
weixin_42531128的博客
02-13 987
最近使用Spring boot，本来一直连接的是mysql数据库，一直没问题。昨天在更换了oracle数据库后，一直提示账号密码不正确，登录被拒绝。检查多次，检查账号密码一切正常，但就是连接不上oracle.java.sql.SQLException: ORA-01017: invalid username/password; logon deniedat oracle.jdbc.driver.T...
Java------拷贝Oracle数据库到其他环境找不到序列解决办法
java_ying的博客
05-22 1111
背景：首先使用的是springboot 持久层是jpa(hibernate) 用的是纯注解。 由于代码需要兼容mysql和oracle 主键 ID是这样定义的： @Id @Column(name="xxx") @GeneratedValue(strategy = GenerationType.AUTO) 这时候jpa会自动生成hibernate_sequence 的序列 今天我们切换...
java中 jdbc报错 ORA-00911: 无效字符
langqiao123的专栏
05-21 5010
Exception in thread "main" java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439) at oracle.jdbc.driver.T4CTTIoer.processError(T4CT
hivesql建表报错
最新发布
09-06
当执行HiveSQL建表命令报错时，可能有几个原因导致： 1. 列名重复：根据引用中的内容，建表语句中指定了两个相同的列名，这可能会导致建表失败。请确保列名的唯一性并重试建表命令。 2. 元数据服务器配置错误：根据引用中的内容，当Hive执行建表命令时，可能会连接到远程的元数据服务器，而不是默认的本地数据库。如果你的MySQL数据库不在本地，你需要在Hive的配置文件中配置元数据服务器的地址。确保配置正确后，重启Hive服务并再次尝试执行建表命令。 3. Orc文件版本不兼容：根据引用中的内容，当使用CDH-Hive2.1.1版本读取Orc文件时，可能会报错。可能是由于Orc文件的版本与Hive不兼容导致的。你可以尝试替换Orc文件或升级Hive版本来解决这个问题。 综上所述，建议你检查列名是否重复，配置正确的元数据服务器地址，并考虑升级Hive版本或替换Orc文件来解决建表报错的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [记一次hive建表报错](https://blog.csdn.net/weixin_39445556/article/details/103200509)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [hive执行建表命令报错](https://blog.csdn.net/weixin_45567175/article/details/102716671)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [cdh-hive2.1.1版本orc格式表读取包数组越界替换包](https://download.csdn.net/download/weinierzui/85404988)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值