Hive 使用达梦DM8 无法识别 “COMMENT” 问题

  1. 将达梦数据库驱动 DmJdbcDriver18-8.1.2.192.jar 导入到 hive 的 lib 文件夹下

  2. 修改 hive 配置文件,增加 dm 数据库相关信息

    <property>
         <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:dm://127.0.0.1:5236?SCHEMA=hive</value>
         <description>
           JDBC connect string for a JDBC metastore.
           To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
           For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
         </description>
     </property>
    
      <property>
         <name>javax.jdo.option.ConnectionDriverName</name>
         <value>dm.jdbc.driver.DmDriver</value>
         <description>Driver class name for a JDBC metastore</description>
       </property>
     <property>
    
     <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>SYSDBA</value>
         <description>Username to use against metastore database</description>
     </property>
    
     <property>
         <name>javax.jdo.option.ConnectionUserName</name>
         <value>SYSDBA</value>
         <description>Username to use against metastore database</description>
       </property>
     <property>
    
  3. 在导入数据时,出现无法识别 “COMMENT” 关键字错误,报 return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask, MetaException(message:Add request failed : INSERT INTO COLUMNS_V2 …)错误,如下图:
    在这里插入图片描述
    (1)经过排查 hive lib包下 datanucleus-rdbms-4.1.19.jar 源代码,缺少 “COMMENT” 关键字
    datanucleus-rdbms-4.1
    (2)官方源码地址::链接
    (3)修改 org.datanucleus.store.rdbms.adapter 下的 BaseDatastoreAdapter类 或者 org/datanucleus/store/rdbms/adapter/SQLConstants.java 类,在
    SQL99_RESERVED_WORDS 增加 “COMMENT”
    在这里插入图片描述
    (4)重新打包后,替换Hive/lib下 的 datanucleus-rdbms-4.1.19.jar 包,重新执行hive命令即可成功
    (5)已经重新打包的 datanucleus-rdbms-4.1.19.jar 提取码:1234

  4. 与原作者沟通后,得到回复大概意思是 “COMMENT” 在SQL92、SQL99、SQL2003 标准中不是保留关键字,所以后续也不会增加这个关键字,如有需求自行添加打包使用。

    在这里插入图片描述

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当pyspark中的hive.metastore.uris无法识别时,可能会导致连接元数据存储失败。错误信息中的"Could not connect to meta store using any of the URIs provided"表示无法使用提供的URIs连接到元数据存储。 这个问题可能有几种可能的原因。一种可能是元数据存储服务没有正确配置或启动。另一种可能是配置的URIs不正确,无法连接到元数据存储。 为了解决这个问题,你可以按照以下步骤进行排查和修复: 1. 确保hive.metastore.uris参数的值正确配置。该参数应该包含元数据存储服务的URI,例如thrift://localhost:9083。你可以检查你的配置文件或代码中是否正确设置了这个参数。 2. 检查元数据存储服务是否已经正确配置和启动。你可以验证元数据存储服务的状态,并确保它正在运行。 3. 检查网络连接是否正常。如果你的代码运行在不同的机器上,确保能够通过网络连接到元数据存储服务的URI。 4. 检查元数据存储服务的日志文件,查看是否有任何错误或异常信息。根据日志中的错误信息,你可以进一步排查和解决问题。 总结来说,当pyspark中的hive.metastore.uris无法识别时,你需要确保元数据存储服务已经正确配置和启动,检查URIs是否正确,并检查网络连接。如果问题仍然存在,你可以查看元数据存储服务的日志文件以获取更多信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive metastore java api使用](https://download.csdn.net/download/weixin_38707862/14037512)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [10、hive配置完hive.metastore.uris后报错](https://blog.csdn.net/Norni/article/details/120512325)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [hive hive.metastore.warehouse.dir 和 hive.metastore.warehouse.external.dir 的作用](https://blog.csdn.net/houzhizhen/article/details/127314671)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值