DataHub: 现代数据栈的元数据平台--如何从DataHub容器中提取日志?

最新推荐文章于 2023-05-13 19:25:54 发布
最新推荐文章于 2023-05-13 19:25:54 发布
阅读量674 收藏
点赞数 1
分类专栏： 基于Datahub进行数据治理 文章标签： DataHub 数据治理 元数据 容器 提取日志
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/penriver/article/details/122945854
版权
本文介绍了如何从DataHub的容器中提取日志，包括查看容器列表、定位日志文件，以及如何将日志保存到本地进行分析，这对于排查DataHub功能问题非常有用。
摘要由CSDN通过智能技术生成

DataHub容器、DataHub GMS(backend server)和DataHub前端(UI server)将日志文件写入本地容器文件系统。
要提取这些日志，需要从运行服务的容器中获取。

当DataHub某一个功能不可用时，就需要通过分析组件日志分析原因。

本文针对从DataHub容器中提取日志的方式进行总结。

如何从容器中提取日志

查看容器列表

docker container ls
在这里插入图片描述

查找日志文件

查看所有日志文件。
日志文件在容器中的文件目录如下：

  • datahub-gms: /tmp/datahub/logs/gms
  • datahub-frontend: /tmp/datahub/logs/datahub-frontend

日志有如下2种：

  • Info Logs: 包括Info、warn、error日志。它们是容器运行时打印到标准输出的内容。
  • Debug Logs: 这些日志文件的保留时间较短(1天)，但包括更细粒度的调试信息【DataHub会忽略其
了解本专栏 订阅专栏 解锁全文 超级会员免费看
enjoy编程
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
DataHub: 现代数据栈的元数据平台--组件日志时间早8个小时，怎么办？
penriver的博客
02-14 1076
DataHub通常使用docker-compose安装部署，但安装好后，查看访问日志，发现日志的时间早了8个小时，怎么办？ 本文针对此问题，提供解决方案。
【DataHub】 现代数据栈的元数据平台--组件日志时间早8个小时，怎么办？
m0_54252387的博客
07-14 343
DataHub通常使用docker-compose安装部署，但安装好后，查看访问日志，发现日志的时间早了8个小时，怎么办？本文针对此问题，提供解决方案。 停止并删除镜像 创建并启动镜像 验证 进入容器，查看时间，验证时间是否正常 或......
datahub数据source读取问题
qq_42437926的博客
08-19 1145
datahub脚本修改
数据治理之关键环节元数据管理开源项目datahub探索
最新发布
Gefangenes的博客
05-13 797
datahub 官网地址最新版本v0.10.2datahub 官网文档地址datahub 源码地址DataHub是一个面向现代数据栈的开源元数据平台，依赖于元数据管理的现代方法。其前身是LinkedIn为了提高数据团队的工作效率，开发并开源的WhereHows；DataHub的可扩展元数据平台支持数据发现、数据可观察性和联合治理，有助于控制数据生态系统的复杂性。DataHub是一个现代数据目录，旨在实现端到端数据发现、数据可观察性和数据治理。
datahub元数据管理部署、使用中遇到的问题
chenzuoli的博客
04-30 1421
datahub元数据管理部署、使用中遇到的问题
【DataHub】 现代数据栈的元数据平台--如何从DataHub容器中提取日志?
m0_54252387的博客
07-14 323
DataHub容器、DataHub GMS(backend server)和DataHub前端(UI server)将日志文件写入本地容器文件系统。 要提取这些日志，需要从运行服务的容器中获取。当DataHub某一个功能不可用时，就需要通过分析组件日志分析原因。本文针对从DataHub容器中提取日志的方式进行总结。 查看所有日志文件。 日志文件在容器中的文件目录如下：日志有如下2种：查看日志文件列表命令模板如下： 示代如下： 将容器日志文件的副本保存到本地文件系统中，以便进一步分析研究 现在你应该能够在本
DataHub: 现代数据栈的元数据平台--如何删除元数据？
penriver的博客
02-24 1024
为了保证DataHub中的元数据的有效性、正确性，需要及时将不正确的、废弃的元数据进行删除。 本文主要讲解在DataHub中如何删除元数据？ 删除元数据主要有2种方式：通过Rest.li API 和 DataHub CLI进行删除，并且都能通过参数针对删除运作进行控制：是软删除还是硬删除
DataHub: 现代数据栈的元数据平台--如何针对元数据建模？
penriver的博客
02-02 1767
DataHub采用模式优先【schema-first】的方法对元数据进行建模: 使用开源的Pegasus模式语言[PDL]扩展了一组定制的注释来针对元数据建模。 DataHub存储、服务、索引和摄取层直接在元数据模型之上操作，并支持从客户端到存储层的所有强类型。 本文针对元数据建模的核心抽象及实体注册的两种方式进行讲解，让你初步理解Datahub如何针对元数据建模
DataHub——实时数据治理平台
大数据流动
05-07 8630
DataHub首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这...
datahub:通用元数据搜索和发现工具
03-09
DataHub：通用的元数据搜索和发现工具 | | | | | :megaphone: 美国太平洋时间3月19日上午7点上午8点召开下一次DataHub市政厅会议（） 主题提案： 注册以获取日历邀请： VC链接： ： 和 :sparkles: 最近更新： 项目每月更新： 。 最新博客文章@ LinkedIn工程博客。 我们发布了v0.6.1。 您可以找到发行说明 我们现在在！ 提出问题并跟上最新的公告。 介绍 DataHub是LinkedIn的通用元数据搜索和发现工具。 在这里阅读有关不同元数据系统的体系结构以及DataHub为何出色的。 还要阅读我们的，查看我们的并观看我们的 。 您还应该访问以更好地了解如何实现以及访问以了解如何针对自己的用例扩展DataHub。 快速开始 请遵循《 获取DataHub的副本并使用在本地运行。 由于本指南假定您具有Docker的一些基本知识，因此，如果您完全不熟悉Doc
DATAHUB 调研测试文档
htmljsp的博客
07-22 2309
DATAHUB 调研测试文档 李达 20200710 lida2012@foxmail.com 1.环境安装 服务器配置： 服务器ip：192.168.123.80 系统版本：CentOS Linux release 7.4.1708 (Core) Cpu：2核ntel(R) Celeron(R) CPU 1007U @ 1.50GHz 内存：8g 硬盘：50G系统硬盘 + 1T挂载硬盘 2.docker部署 2.1.Docker安装 https://github.com/linkedin/datahu
Datahub安装配置—————附带详细步骤
韩江雪de 小屋
07-05 6917
文章目录0 作用1 安装docker2 安装和启动Datahub3 使用Datahub导入数据4 安装配置python[附带] 0 作用 使用Datahub从原始数据库抽取数据表的schema信息。 1 安装docker $ yum -y install docker # 启动docker $ sudo systemctl start docker # 测试是否正确安装 $ sudo docker run hello-world 安装docker-compose【docker的服务编排工具,主要是用来构
centos7下安装启动Datahub
u013946257的博客
11-15 3055
1.安装docker # 安装docker yum -y install docker # 安装docker-compose curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose # 启动docke
元数据管理Datahub架构讲解
Bulut0907
01-04 4058
Datahub的采用了model-first的架构理念，通过提供一个通用的元数据管理模型，再通过插件的方式集成各种数据平台，进行元数据的导入。整体的架构如下：元数据同步方式多样：可以使用Rest、GraphQL API-s、Avro API(从Kafka消费元数据)数据平台的元数据更改可以实时的被同步到Datahub；在Datahub对元数据进行更改，可以实时的在数据平台进行更新用于储存Metadata Graph的Entities和Aspects(关系)。同时提供插入和查询API。
Datahub 入门之读取数据并消费到Hbase中
tsgczf的博客
07-16 4934
第一步： //new thread 消费datahub数据 SendData.toHbase(); 第二步： public class SendData{ public static void toHbase() { String accessId = DatahubConfig.accessId; String accessKey = Datahu...
DataHub: 现代数据栈的元数据平台--如何将数据血缘关系写入DataHub
penriver的博客
02-06 2789
在大数据时代，系统的数据来源广泛，各种类型的数据快速产生且爆发性增长。从数据的产生、ETL 、数据融合分析、数据应用直至最终消亡，在数据流转过程中数据之间的关联关系称为数据血缘关系。 数据血缘揭示了数据的生命周期——目标是记录并显示从数据产生到消亡的完整数据流。 数据血缘描述数据处理流程、表、报表、即席查询之间的流向关系、表与表的依赖关系、表与离线ETL任务、调度平台、计算引擎之间的依赖关系。 本示例演示如何将数据血缘关系写入DataHub并提供源码示例。
DataHub简单的写入与获取demo
树洞树洞-单纯记录
06-11 7717
一、Maven依赖以及JDK 1. Maven Pom <dependency> <groupId>com.aliyun.datahub</groupId> <artifactId>aliyun-sdk-datahub</artifactId> <version>2.12.3-public<...
Docker时代——如何实现日志数据一键上云
weixin_34006468的博客
02-10 55
一、 准备工作 1.1 开通MaxCompute服务 参考使用MaxCompute的准备工作 1.2 开通Datahub服务 进入Datahub Web控制台，创建project（注意：首次使用的用户需要申请开通） 1.3 安装Docker环境 Docker官方说明了在不同操作系统下安装Docker的方法，您可以点击此处查看。在阿里云ECS上，以Cent...
Skkynet DataHub 10.0：实时数据库与元数据管理指南
3. **Excel**: 数据可以通过Excel进行导入和导出，便于数据分析师处理和分析DataHub中的数据。 4. **摄像头 (Cameras)**: 支持视频监控系统的集成，实时传输视频流，并将视频元数据与过程数据相结合，提供全面的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

enjoy编程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值