元数据管理-hive表的数据字典表信息查询-metastore 的mysql导出

最新推荐文章于 2023-09-14 20:59:52 发布
最新推荐文章于 2023-09-14 20:59:52 发布
阅读量573 收藏 1
点赞数
分类专栏： 基础架构 文章标签： 数仓表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacobwe/article/details/96424983
版权

尝试了 sh 脚本的导出源数据表，导出来的都需要再加工。

通过hive在mysql里的 表结构可以查询，以下是查询sql, 可以提供元数据管理的素材

select t.TBL_NAME,c.COLUMN_NAME,COMMENT from TBLS t left join COLUMNS_V2 c on t.TBL_ID = c.CD_ID

在这里插入图片描述

jacobwe
关注
专栏目录
Hive查询数据字典
weixin_34375233的博客
02-15 3346
2019独角兽企业重金招聘Python工程师标准>>> ...
生成Hive数据字典（一目了然，史上最全）
MannerXu的博客
07-24 1586
生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。 下面我会一步一步介绍如何生成markdown格式的数据字典文档。 定义SQL 首先废话不多说，贴出我们需要的在MySQL中使用的SQL。 SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 b.PARAM_VALUE as TABLE_COMMENT,-- 表注释...
基于hive数仓的数据字典查询
weixin_44455388的博客
07-17 4251
SELECT D.NAME AS SCHEMA_NAME, -- 数据库名称 T.TBL_NAME AS TABLE_NAME_EN, -- 表名 P.PARAM_VALUE AS TABLE_NAME_CN, C.INTEGER_IDX AS COLUMN_ID, -- 字段序号 C.COLUMN_NAME AS COLUMN_NAME_EN, -- 字段名 C.COMMENT AS COLUMN_NAME_CN, -- 字段备注 C.TYPE_NAME AS COLUMN_DATA_TYP
HIVE元数据表/数据字典
weixin_30699463的博客
02-01 545
HIVE元数据表/数据字典 0人收藏此文章,我要收藏 表名 说明 BUCKETING_COLS Hive表CLUSTERED BY字段信息(字段名，字段序号) COLUMNS Hive表字段信息(字段注释，字段名，字段类型，字段序号) DBS ...
生成Hive数据字典
qiulinsama的博客
04-30 2576
生产中Hive的元数据存储在MySQL中，构建数据字典我们可以通过查询元数据表，导出查询结果后生成自己想要的文档。 下面我会一步一步介绍如何生成markdown格式的数据字典文档。 定义SQL 首先废话不多说，贴出我们需要的在MySQL中使用的SQL。 SELECT a. NAME as SCHEMA_NAME,-- 数据库名称 t.TBL_NAME as TABLE_NAME,-- 表名 ...
Hive元数据库信息对应mysql表介绍
看图说话
03-08 1789
目录 概述 一、存储Hive版本的元数据表（VERSION） 二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS） 1、DBS 2、DATABASE_PARAMS 三、Hive表和视图相关的元数据表 1、TBLS 2、TABLE_PARAMS 3、TBL_PRIVS 四、Hive文件存储信息相关的元数据表 1、SDS 2、SD_PA...
大数据学习之路-Hive
weixin_43441789的博客
03-09 747
Hive1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和 数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2 MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.
大数据-hive入门详解
zZsSzss的博客
08-13 450
目录hive概述什么是hive?HQL转换成MR流程hive的优缺点hive的架构 hive概述 什么是hive? 维基百科-hive Apache Hive 中文手册 hive是建立在hadoop架构上的数据仓库工具,能够提供数据精炼、查询和分析,能够将结构化的数据文件映射成一张表,并提供类SQL查询功能,底层是将SQL转换成MR程序 HQL转换成MR流程 首先hive通过对SQL进行统计分析,将SQL语言中常用的操作用MapReduce写成很多模板,所有的MapReduce模板都封装在hive中
数据仓库之电商数仓-- 2、业务数据采集平台
FunnyPrince_的博客
10-04 739
目录 1). 2). 3). 4). 5). 6). 7). 8). 9).
数据分析与业务(业务数据分析和hive的相关知识点)
易_水寒的博客
09-17 1535
数据分析与业务 数据分析流程 1、问题定位（ 3W问题）： （1）What：确定核心指标（后续干嘛） 在excel中 ：涉及统计，描述性统 三类人接触： 分析人员：搭档 需求：根据目的需求要干什么来确定 业务线：核心（跟他要求数据，与之搞好关系） 了解去干嘛，通过后续问题找出核心指标 比如：介绍人–>就业速度和就业薪资（考虑目的性是什么） （2）Why：优化 下降问题：业务人员（别人找，别人着急） 日活 月活 收入 上升问题：自己走前面，主动去找，体现自己的价值 目的：监控指标
HIve讲解（详细）
热门推荐
Ele_sorriu的博客
12-17 2万+
Hive 一、Hive基本概念 1.1、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复...
大数据从入门到精通(超详细版)之Hive的函数，超级详细，可当做字典使用哦！！！
最新发布
tyuiop321的博客
09-14 285
上一篇文章我们主要讲了Hive的虚拟列的使用与数据抽样操作，接下来的文章我们将讲解Hive的函数使用。重点帮助大家学习函数的分类与常见的函数及其实际的操作用法。
hive如何生成数据字典
LookDreamGo的博客
12-22 3276
一、连接hive元数据库 执行下面sql即可 -- 查看hive里表和字段字典信息 -- 如果是用create table 的方式建的表，这里是查不到的。 -- 建的表必须要有表注释，否则查不出来。 select d.name as db_name -- 数据库名 ,c.tbl_name -- 表名 ,e.param_value as tbl_name_desc -- 表中文注释 ,a.integer_idx as column
查询oracle数据字典，并对应出hive的数据类型
weixin_30856725的博客
08-21 380
SQL开始 select t2.owner||'.'||t2.TABLE_NAME 源表名, 'dl_{0}_seq.'||'tt_{1}_'||lower(t2.table_name) hive表名, nvl(t3.comments,'{2}') hive表注释, lower(t2.COLUMN_NAME) 字段名, t2.DATA_TYPE 源类型, case ...
mysql 分区报错_hive 用mysql做metastore 分区查询报错
weixin_33370255的博客
02-27 295
下载Hive安装包 http://hive.apache.org/downloads.html 根据需求下载相应的安装包解压安装 默认的数据存放路径hdfs:/user/hive/warehouse/user Hive配置文件主要从默认模版创建hive-site.xml和hive-env.sh cp hive-default.xml.template hive-site.xml cp hisele...
Hive基础概念与数据导入导出
TranSad的博客
09-27 313
Hive是什么 Hive 是 Hadoop 家族中一款数据仓库产品,Hive 最大的特点就是提供了类 SQL 的语法,封装了底层的 MapReduce 过程,让有 SQL 基础的业务人员,也可以通过SQL直接利用 Hadoop 进行大数据的操作。像我一开始学习MapReduce的时候，就是通过一个个Java小demo去学习它们的原理和过程，要通过java去实现一些特定的MR过程对于当时Java用得不太多的我来说非常不友好。直到Hive的出现让这些变得简单了起来，我们大可以放心的去用SQL实...
Hive数据类型、数据库相关操作、表的相关操做、数据的导入导出
yingzi的技术博客
01-22 940
文章目录Hive数据类型1.基本数据类型2.集合数据类型案例实操3.类型转化数据库的相关操作1.创建数据库2.查询数据库3.修改数据库4.删除数据库表的相关操作1.建表2.管理表3.外部表4.管理表与外部表的互相转换5.重命名表6.增加/修改/替换列信息7.删除表DML数据操作1.数据导入1）向表中装载数据2）通过查询语句向表中插入数据（Insert）3) 查询语句中创建表并加载数据(As Select)4）创建表时通过Location指定加载数据路径5）Import数据指定Hive表中2.数据导出1）In
Hive内/外表浅析及常用数据导入导出
qq_32812063的博客
01-23 746
内部表/外部表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table），默认创建内部表； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己指定，若未指...
Hive元数据库表分析及相关查询汇总（持续更新）
碣石观海的博客
05-06 2682
参考文章（先收藏）： 1.元数据表字段详细注释：Hive学习之路 （三）Hive元数据信息对应MySQL数据库表 2.元数据表关联查询语句：hive元数据库表分析及操作 一、查询汇总： 1.查询元数据表字段描述信息 --查询元数据表字段描述信息 select t.TBL_NAME ,c.COLUMN_NAME ,c.TYPE_NAME ,c.C...
滴滴出行数据分析：Hbase-Hive-Mysql-Sqoop-可视化实战
使用Sqoop将Hive分析后的结果导入到关系型数据库Mysql中，这一步骤是为了便于传统的关系型数据操作和管理，例如报表生成、业务查询等。Sqoop是连接Hadoop和SQL数据库的工具，能够有效地在Hadoop和关系型数据库之间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值