Atlas元数据-集成sqoop

最新推荐文章于 2024-08-29 05:00:00 发布

懒脖积泥

最新推荐文章于 2024-08-29 05:00:00 发布

阅读量1.5k

点赞数

分类专栏：元数据管理

本文链接：https://blog.csdn.net/O_n_O_/article/details/107939052

版权

Atlas集成Sqoop

atlas集成sqoop文档较少简单写一下，sqoop hook 与hive hook是相辅相成的

environment：
CDH：6.2.0
sqoop：1.4.7
Atlas：2.0.0
Hive:2.1.1

1. 配置 sqoop-site.xml

我用的cdh版本：
在这里插入图片描述

2.配置Atlas

1.确保/atlas/apache-atlas-2.0.0/hook/sqoop文件，没有看我部署篇

 atlas-plugin-classloader-2.0.0.jar
 atlas-sqoop-plugin-impl
 sqoop-bridge-shim-2.0.0.jar

2.编辑 conf/atlas-application.properties

...
...
######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

懒脖积泥

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Atlas2.1.0与CDH6.3.1版本Sqoop集成问题汇总及解决方案

gmHappy

09-29

1452

集成方案 Atlas编译部分可参照我的另一篇博客：https://gaoming.blog.csdn.net/article/details/108844380 通过添加以下内容在/sqoop-site.xml中设置Atlas hook： <property> <name>sqoop.job.data.publish.class</name> <value>org.apache.atlas.sqoop.hook.SqoopHook</value&

dolphinscheduler 集成atlas sqoop hook

weixin_40455124的博客

06-19

1535

dolphinscheduler 集成atlas sqoop hook 主要需要注意如下事情 Dolphscheduler 里面的租户id 必须是hive/hdfs 对应的用户，如果不是需要，同时properties 文件里面的HDFS_ROOT_USER=也需要注意修改如果租户id不是hdfs对应用户HIVE-SITE里面metastore.event.db.notification.api.auth CORE-CONF里面hadoop.proxyuser.xxuser.hosts及hadoop.pr

1 条评论您还未登录，请先登录后发表或查看评论

apache-atlas-2.1.0-sqoop-hook.tar.gz--基于cdh6.3.1编译完成

05-10

apache-atlas-2.1.0-sqoop-hook.tar.gz--基于cdh6.3.1编译完成

元数据工具之Atlas

最新发布

youziguo的专栏

08-29

2080

Apache Atlas 是一个开源的数据治理和元数据管理框架，旨在帮助组织管理和发现其数据资产。Atlas 提供了数据分类、数据血缘追踪、元数据搜索和可视化、数据治理等功能，是大数据生态系统中元数据管理的重要组成部分。以下是对 Apache Atlas 的详细介绍。

使用Atlas进行元数据管理之Type(类型)

Mantou的博客

11-19

1659

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 1. 概述 Atlas允许用户为他们...

数据治理-Atlas元数据管理基础介绍及使用

湖中屋的博客

08-15

2037

数据治理-Atlas元数据管理数据资产的管理系统（数仓元数据管理系统） atlas 的底层存储：janusGraph 图数据库 --（依赖于hbase 和 solr） atlas的核心功能层： core --相当于javaee里面的service层 atlas对外提供服务的一层：integration（api层） --相当于javaee里面的 controller层外界要将元数据 录入（注入）到 atlas中去，通过kafka进行对接核心组件 1 Core Atlas 使用 JanusGr

元数据管理工具Atlas学习笔记之集成

四国棋客

03-12

3012

文章目录背景环境Atlas安装solrAtlasAtlas启动启动Hadoop、ZooKeeper、HBase、Kafka、Hive和MySQLHadoop启动ZooKeeper启动HBase启动Kafka启动MySQL启动Hive启动solr配置atlas集成HBase集成Solr集成KafkaServer配置集成Hive启动atlas结语背景在文章元数据管理工具Atlas学习笔记之介绍中，我介绍了Atlas这一元数据管理工具，现在，就要将它进行编译，并且和一些常见的大数据组件进行集成。环境操作系

apache-atlas-2.2.0-sqoop-hook.tar.gz

04-06

`apache-atlas-2.2.0-sqoop-hook.tar.gz` 是Apache Atlas的一个特定版本（2.2.0）与Sqoop集成的钩子（hook）包。这个钩子允许Atlas跟踪通过Sqoop操作的数据流动，从而增强元数据管理和血缘追踪的能力。Sqoop Hook...

apache-atlas-2.3.0-hbase-hook.tar.gz

11-03

它还使任何元数据使用者能够互操作，而无需彼此离散的接口——元数据存储是通用的。通过利用 Apache Ranger 来防止运行时对数据的非授权访问路径，从而维护元数据的准确性。安全性既基于角色 (RBAC)，又基于属性 ...

Atlas2.3.0依赖： org.restlet/sqoop-1.4.6.2.3.99.0-195

02-19

在IT行业中，我们经常涉及到各种库和框架的集成与使用，这次我们关注的是"Atlas2.3.0"依赖的组件："org.restlet/sqoop-1.4.6.2.3.99.0-195"。这个依赖包含了三个关键的JAR文件：`sqoop-1.4.6.2.3.99.0-195.jar`，`...

CDH6.3.2 集成配置 ATLAS-2.1.0

qinxw1687的博客

02-18

2703

APACHE ATLAS安装部署，数据治理。

Atlas2.1.0集成CDH6.3.1进行大数据元数据管理

gmHappy

09-28

2882

Atlas源码下载我选择的是Atlas2.1.0从git下载 git clone -b release-2.1.0-rc3 https://github.com/apache/atlas.git Atlas源码编译 1.修改pom文件因与CDH6.3.1集成，在repositories中新增以下部分： <repository> <id>cloudera</id> <url>https://repository.cloudera.co

apache atlas sqoop hook 搭建问题汇总

Mr__XiaoBai的专栏

06-04

2618

1： sqoop 版本必须要大于1.4.7，atlas sqoop hook 才起作用，因为在1.4.7版本中增加了sqoop.job.data.publish.class接口，在1.4.6中执行不会报任务错误，通过修改源码重新添加必须日志来判断，并hook并没有加载进来。 2：按照官网配置好，之后，执行sqoop import --connect，--hive-import --verb...

Apache atlas sqoop Hook无法显示的问题

tom_fans的博客

01-03

2586

上一篇完成了HIVE的元数据管理，atlas还能够支持SQOOP, HBASE, KAFKA, STORM的元数据，但是按照官方文档配置之后发现SQOOP的元数据并没有任何显示，也没有任何报错。 SQOOP日志如图，最后一红圈就是问题所在：从上图可以看到，SQOOP HOOK是起作用了的，但是数据没见进atlas，也没有任何报错，百度，GOOGLE查询类似的信息，发现论坛只有几篇文章提到...

atlas hook 发送失败日志FailedMessagesLogger

weixin_40455124的博客

09-07

241

atlas hook 发送失败可以写到一个日志文件中，需要满足只有一个，log4j的root输出中必须有一个文件类型，比如： <root> <priority value="debug" /> <appender-ref ref="console" /> <appender-ref ref="FILE" /> </root> 这个log 输出是在代码自动生成的，无需在log4j中配置。首先是在 public abstract cl

sqoop框架的介绍及使用（入门）

weixin_45131142的博客

07-10

445

介绍 (1)sqoop是Apache的顶级项目 (2)大数据Hadoop框架生态系统中一员 (3)底层就是MapReduce程序，并行计算的框架，并且仅仅只有Map Task (4)官网:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.6/ (5)版本: sqoop 1.x版本使用的时候非常简单，仅仅只需要执行一个命令即可 sq...

数据集成工具—Sqoop

weixin_44077750的博客

12-06

1253

数据集成/采集/同步工具数据集成工具—Sqoop数据集成/采集/同步工具Sqoop简介Sqoop安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数据的方式使用Navicat运行SQL文件导出MySQL数据库importMySQLToHDFS编写脚本，保存为MySQLToHDFS.conf运行方式一: 执行脚本运行方式二：直接在shell运行注意事项：MySQ

元数据管理Atlas

yingzi的技术博客

02-22

894

1.Atlas概述 Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，服务于数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。 Atlas的具体功能如下： 元数据分类支持对元数据进行分类管理，例如个人信息，敏感信息等 元数据检索可按照元数据类型、元数据分类进行检索，支持全文检索血缘依赖支持表到表和字段之间的血缘依赖，便于进行问题回溯和影响分析等 1）表与表之间的血缘依赖 2）字段与字段之间的血