Atlas解决hive-import出错问题Bug ATLAS-3886

最新推荐文章于 2024-07-29 11:37:33 发布
最新推荐文章于 2024-07-29 11:37:33 发布
阅读量738 收藏 1
点赞数
分类专栏： Atlas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38231448/article/details/112802228
版权
在使用Atlas导入Hive元数据时遇到ConversionException错误。解决方案包括替换commons-configuration-1.10.jar，删除并替换所有Hadoop目录下与该版本冲突的jar文件，以及将特定版本的jackson库复制到atlas-hive-plugin-impl目录。
摘要由CSDN通过智能技术生成

使用Atls导入数据时候爆出以下错误：
在这里插入图片描述

Import hive metastore failed for ConversionException error

org.apache.atlas.AtlasException: Failed to load application propertiesorg.apache.atlas.AtlasException: Failed to load application properties at org.apache.atlas.ApplicationProperties.get(ApplicationProperties.java:147) ~
[atlas-intg-2.1.0.jar:2.1.0] at org.apache.atlas.ApplicationProperties.get(ApplicationProperties.java:100) ~[atlas-intg-2.1.0.jar:2.1.0] at org.apache.atlas.hive.bridge.HiveMetaStoreBridge.main
最低0.47元/天 解锁文章
麦田里的守望者·
关注
专栏目录
hive+hbase学习手册
尬聊码农
05-13 853
hive学习手册 一、hive入门手册 1.什么是数据仓库 1.1数据仓库概念 对历史数据变化的统计，从而支撑企业的决策。比如：某个商品最近一个月的销量，预判下个月应该销售多少，从而补充多少货源。 1.2传统数据仓库面临的挑战 （1）无法满足快速增长的海量数据存储需求 （2）无法有效处理不同类型的数据 （3）计算和处理能力不足 1.3 Hive介绍 Hbase支持快速的交互式的大数据应用 ...
org.apache.atlas.AtlasException: Failed to load application properties
ImezZ
02-07 2862
想用Apache Atlas进行元数据管理，atlas搭建完成且启动成功，但是在将hive元数据导入atlas时报如下错误，从网上找了解决方法都没有解决问题。有哪位大侠知道怎么解决，指导一下，万分感谢！ 2022-02-07 14:39:08,912 ERROR - [main:] ~ Import failed (HiveMetaStoreBridge:179) org.apache.atlas.AtlasException: Failed to load application properties
Atlas导入hive元数据失败
xinkuanet的博客
07-01 1146
错误提示 ./import-hive.sh Could not find a valid HIVE configuration 解决方法 去配置HIVE的环境变量 vi /etc/profile export HIVE_HOME=/usr/local/src/apache-hive-3.1.0-bin PATH中添加$HIVE_HOME/bin 完成之后执行 source /etc/profile 即可 ...
记apache atlas导入hive元数据过程及问题处理
最新发布
山客的专栏
07-29 907
Apache atlas集成hive，导入hive元数据，导入过程中的问题处理
atlas导入hive元数据失败
L13763338360的博客
02-27 1635
错误提示 # bin/import-hive.sh Failed to import Hive Meta Data!!! 解决方法 参考：https://www.cnblogs.com/barneywill/p/12180277.html
Atlas import-hive.sh元数据踩坑(二)
wzj_wp的博客
09-22 1270
方案一： 如果是集成CDH环境，首先检查/etc/hive/conf目录下是不是有atlas-application.properties文件，如果没有，从atlas路径下copy一份过去 方案二： 如果确认文件已经有了，导入还是报错，强行修改import-hive.sh文件,指定HIVE_CP=/etc/hive/conf，保存修改重新导入 ...
Atlas集成外部组件—集成Hive、HBase、Kafka
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-22 3459
目录 1、集成Hive 1.1 历史元数据处理 2、集成HBase 2.1历史元数据导入 3、集成Kafka 3.1Bug规避 3.1.1 发现bug 3.1.2 规避bug 3.1.2 集成原理与局限性 3.1.3 历史元数据导入 3.1.4 准时导入kafka元数据 安装好Atlas只是第一步，接下来我们得采集相关大数据组件的元数据，所以得跟大数据组组件做集成。如果是手工安装的Apache版本的Atlas，我们还需要单独做Atlas跟其他组件的集成配置才能管理他们的元数据，比如
【记录】数据治理工具Apache Atlas 编译集成CDH并部署使用
遇事不决问春风
12-24 783
写在前面： 随着大数据业务越来越复杂，有数仓中大量的细分的历史表，各类用户状态表，以及数据集市之后大量的统计表。当业务有所改变，或者埋点规则改变或者修复之前已存在的bug时。一个小小的改动，可能会对指标统计造成很多改变，但是在开发过程中，如果任务过多，时常会有忘记修改此处字段，究竟有多少脚本需要改变的情况。因此在各大论坛寻求解决方案，最终确定了使用Apache Atlas来进行数据治理，为了实现当修改某张表的某个字段时，会对哪些任务造成影响。 一、下载 综合大量相关资料，目前没有特别好的编译好的包。大部分都
CDH6配置atlas
summer089089的博客
08-31 2170
1.前言 Atlas能够提供开放式的元数据管理和治理功能，能够构建表与表之间的血缘关系，并且支持对表和构建表的过程进行分类管理。对于平台数据量越来越大，元数据管理显得至关重要，元数据有效的表达了数据的来源和流向以及依赖，Atlas的出现，有效的解决了元数据的管理问题。 2.源码下载 mkdir /opt/software cd /opt/software wget https://archive.apache.org/dist/atlas/2.0.0/apache-atlas-2.0.0-sources.t
Atlas几种常见故障解决（不定期更新）
weixin_34242509的博客
03-04 2585
1）使用atlas却发现“读库闲置，框架还是去主库读写数据”配置完atlas之后，发现使用jdbc框架的话，读库和写库各司其职，但是使用mybatis框架之后，就发现框架的读写都去了主库，把读库放置一边，那么这种情况是因为“有事务存在的话，atlas就会强制走主库”，遇到这种情况就检查一下是否有事务的存在，比如@Transactional，如果要解决的话，就加上“@Trans...
Springboot中遇到的问题——Failed to load ApplicationContext解决方法（bai）
weixin_43912675的博客
11-09 9804
Failed to load ApplicationContext 在写springboot项目时，遇到了一个很令人困惑的问题，就是在junit测试时，项目运行会报 java.lang.IllegalStateException: Failed to load ApplicationContext； 解决方案 1. 可能是因为写的项目目录没有对齐，junit测试类的包一定要和所写的类的包要相同，起类名时要避开test这个名字，不然也很容易出错。 2. 第二种可能就是因为在写application.pro
Apache atlas 在CDH集群下的搭建问题及措施
ChengYanan的博客
08-18 606
注：此文系转载，仅当自己保留资料,原文链接https://blog.csdn.net/xiaobai51509660/article/details/90718730 从apache atlas 下载指定版本的源码，通过查看源码，特别是hive/hbase bridge模块，发现其相关依赖为原生的hbase client客户端，直接编译源码，则无法在hbase同步元数据，并且上述模块存在缺少jar的情况。综合同步CDH5.7.1 hive和hbase经验，总结以下修改步骤： (1) import-hive.
Apache atlas同步hive所遇到的一些错误
qq_43161124的博客
07-22 2116
1、错误一： 解决方法：进入/usr/local/atlas/apache-atlas-sources-1.1.0/distro/target/apache-atlas-1.1.0-bin/apache-atlas-1.1.0/conf中（这是我的路径），建立软连接atlas-application.properties到hive安装目录下的conf中。 2.错误二： 解决方法：删除/usr/lo...
apache atlas编译踩坑
weixin_43662454的博客
05-09 3089
纪念编辑atlas编辑踩过的坑 官方下载地址：http://atlas.apache.org/Downloads.html 我的是 apache-atlas-1.1.0-bin.tar.gz 编译源码 环境准备，jdk1.8以上，我的是 jdk1.8.0_211注意jdk1.8后的一定要大于155,我的是211,这个坑编译的时候踩过要大于155以上,哭过. maven3.5以上, 我的是 apa...
使用Apache Atlas结合CDH管理hive元数据，以及beeline的hive-hook问题的解决
ck978105293的博客
09-30 5490
编译。 在官网下载好需要的包之后进行编译，这部分基本看官方安装文档就行。需要注意的是maven版本3.6以上的话，1.1和1.0编译会报错，本人亲试。1.2和2.0两个版本个人体验好像没什么差别，只有配置文件有点不一样（2.0是hbase2），其他地方都一样，连官网的文档都一样。一开始装2.0出错以为是版本问题，之后装的是1.2版本。另外我使用的是集群已有的ES和hbase，不用solr。下面是...
Spark读HBASE
06-08 125
scala访问HBASE通常2种方式，一种是使用SPARK方式读取HBASE数据直接转换成RDD， 一种采用和JAVA类似的方式，通过HTable操作HBASE，数据获取之后再自己进行处理。 这2种方式区别应该是RDD是跑在多节...
apache-atlas-2.1.0-hive-hook.tar.gz
09-05
apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中的一个软件包。Apache Atlas是一个开源的数据治理和元数据框架，用于收集、集成、索引和搜索数据资产。它提供了一个统一的视图来管理企业中的所有数据资产，包括表、列、模式、实体和关系等。而apache-atlas-2.1.0-hive-hook.tar.gz是Atlas项目为了与Hive集成而提供的一个插件。 Hive是一个构建在Hadoop之上的数据仓库基础设施工具，用于处理大规模的结构化数据。它提供了类似于SQL的查询和分析功能，可以将数据批量导入、导出和查询。通过与Apache Atlas的集成，可以实现对Hive中数据资产的元数据管理和治理。 在实际的应用中，apache-atlas-2.1.0-hive-hook.tar.gz可以被部署到Hive的服务器上，并与Hive的插件机制进行集成。通过配置Hive的元数据存储URL、用户名和密码等信息，Atlas可以自动从Hive中提取元数据，并将其索引到Atlas的元数据仓库中。这样，用户可以在Atlas的界面中浏览和搜索Hive中的表、列和关系，并进行数据资产的管理和治理。 此外，apache-atlas-2.1.0-hive-hook.tar.gz还提供了一些其他功能，如基于分类标签的权限控制、数据血缘追踪、数据脱敏等。通过这些功能，用户可以更好地理解和管理Hive中的数据资产，提高数据治理的效率和质量。 总之，apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中用于与Hive集成的插件，通过它可以实现对Hive中数据资产的元数据管理和数据治理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值