![](https://img-blog.csdnimg.cn/20210708192746844.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据库
文章平均质量分 71
数据库相关知识以及常用语句记录。
承缘丶
学无止境……,共同学习进步
展开
-
SQL基础(关系模型)
SQL及定义域概念关系简介关系模型简介运算基础原创 2024-04-23 12:39:47 · 1250 阅读 · 0 评论 -
图数据库Neo4j详解
图数据库Neo4j详解转载 2024-04-22 22:29:21 · 1120 阅读 · 0 评论 -
读过本文才算真正了解Cassandra数据库
了解Cassandra数据库转载 2024-01-22 20:00:00 · 179 阅读 · 0 评论 -
PowerDesigner简介以及简单使用
使用PowerDesigner新建模型形成SQL脚本原创 2024-01-10 22:00:00 · 1233 阅读 · 0 评论 -
GaussDB的自定义hash函数
GaussDB的自定义hash函数原创 2024-01-02 10:45:21 · 408 阅读 · 0 评论 -
GaussDB获取视图DDL语句的函数
GaussDB获取视图DDL语句的函数原创 2024-01-02 10:33:59 · 767 阅读 · 0 评论 -
拉链表的自动处理函数
拉链表的自动处理函数,参考原创 2023-12-29 13:45:00 · 344 阅读 · 0 评论 -
通过MySQL删除Hive元数据信息
之前遇到过一个问题,在进行Hive的元数据采集时,因为Hive表的文件已经被删除了,当时是无法删除表,导致元数据采集也发生了问题,所以希望通过删除Hive表的元数据解决上述问题。之前安装时,经过特定的配置后,Hive上所有元数据均保存在Mysql中,所以可以从Mysql上删除表相关信息即可删除hive表,而且不会影响Hdfs上数据。6、验证表hive中表是否还存在,即是否删除成功。2、备份Hive的元数据库;3、删除备份表的外键信息;5、将删除的外键添加。原创 2023-08-03 15:02:38 · 1233 阅读 · 0 评论 -
Oracle递归查询connect by用法
Oracle中可以通过子句来实现SQL的层次查询。自从Oracle 9i开始,可以通过函数实现将父节点到当前行内容以“path”或者层次元素列表的形式显示出来。自从Oracle 10g 中,还有其他更多关于层次查询的新特性。例如,有的时候用户更关心的是每个层次分支中等级最低的内容。那么你就可以利用伪列函数来判断当前行是不是叶子。如果是叶子就会在伪列中显示“1”, 如果不是叶子而是一个分支(例如当前内容是其他行的父亲)就显示“0”。转载 2023-07-27 15:14:58 · 337 阅读 · 0 评论 -
Spark SQL与Hive SQL解析执行流程
Spark SQL与Hive SQL解析执行流程记录转载 2022-10-07 15:25:48 · 1336 阅读 · 0 评论 -
MySQL GTID介绍
GTID介绍,搭建主备环境,测试复制的故障转移,复制错误跳过。转载 2022-08-28 17:16:15 · 4176 阅读 · 0 评论 -
数据库密码加解密
为符合数据安全,针对数据库密码进行加密以防止数据库密码明文展示而引发的安全隐患。原创 2022-08-16 09:38:03 · 5620 阅读 · 0 评论 -
CHECK的简单用法
约束的存在目的是根据需要,把商业规则应用到数据库的设计中。约束有唯一标识(Identifier)、非空约束(Not null)、默认值(Default Value)、检查(Check)、参照完整性(Referential Integrity),这里来说下“检查”。原创 2022-04-10 19:29:58 · 5839 阅读 · 0 评论 -
根据Excel记录生成Mysql和Hive建表语句
根据Excel记录生成Mysql和Hive建表语句原创 2022-01-11 12:10:30 · 1607 阅读 · 0 评论 -
Hive:order by,sort by,distribute by与cluster by
Hive:order by,sort by,distribute by与cluster by转载 2022-01-07 19:01:10 · 389 阅读 · 0 评论 -
Hive Lateral View
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView原创 2022-01-07 12:10:56 · 1445 阅读 · 0 评论 -
记一次Mysql多表update和exists与in的比较调优
菜鸟记一次Mysql多表update和exists与in的比较调优。原创 2021-12-11 08:45:39 · 1085 阅读 · 0 评论 -
Hive表多张日志表跑select insert合并为一张表
Hive表多张日志表跑select insert合并为一张表原创 2021-12-11 08:13:52 · 2282 阅读 · 0 评论 -
记一次“登录Mysql数据库输入正确密码但数据库显示密码错误”问题的处理
“登录Mysql数据库输入正确密码但数据库显示密码错误”问题的处理(内含忘记Mysql密码时的处理)原创 2021-11-17 12:41:00 · 3140 阅读 · 0 评论 -
Mysql语句层优化整理总结
语句层优化主要包括:使用更高效的SQL来达到同样的目的。原创 2021-11-05 12:49:27 · 623 阅读 · 0 评论 -
Mysql存储层优化整理总结
存储层优化主要包括:“存储引擎”选取、字段类型选取、三范式与逆范式等。原创 2021-11-05 09:14:54 · 1329 阅读 · 0 评论 -
Mysql设计层优化整理总结
设计层优化主要包括:索引的使用、分表分区等。原创 2021-11-04 13:06:23 · 347 阅读 · 0 评论 -
Mysql之常用的状态查询语句
目录1.查看Mysql状态——"show status;":2.显示当前所有连接的工作状态——"show processlist;":3."show variables like 'profiling';"以及"show profile for query 1;":show variables like 'profiling':开启:关闭:查询SQL以及分析SQL:1.查看Mysql状态——"show status;":其中比较重点的几条:Queries:当前一共发生原创 2021-10-27 21:11:00 · 892 阅读 · 0 评论 -
Hive表结构备份以及Hive数据统计
目录Hive备份:1.main脚本:2.目录结构:3.设置crontab:数据统计:1.初处理备份文本:2.1ETL处理第一步的文件:文本文件输入:Excel输出:2.2附:统计Mysql表信息:3.根据具体需求使用Excel做vlookup:Hive备份:1.main脚本:#!/bin/bash#生成昨天的日期,用作备份的文件名YMD=`date -d yesterday +%Y%m%d`#日志存储地址log_dir=/home/原创 2021-10-20 11:05:52 · 693 阅读 · 0 评论 -
SQL优化建议(不定时更新添加)
SQL优化建议(不定时更新添加)记录原创 2021-09-23 13:51:46 · 516 阅读 · 0 评论 -
Hive常用语句、函数记录(不定时更新添加)
unix_timestamp:返回当前或指定时间的时间戳。from_unixtime:将时间戳转为日期格式。dayofmonth:当前时间是一个月中的第几天。months_between: 两个日期间的月份。map_values: 返回map中的value。sort_array: 将array中的元素排序。map_keys: 返回map中的key。last_day:日期的当月的最后一天。add_months:日期加减月。date_add:日期加天数。date_sub:日期减天数。ceil: 向上取整。原创 2021-09-08 17:19:38 · 155 阅读 · 0 评论 -
HiveSQL执行计划详解
转载专用: 读到了好文章,用于分享收藏,侵权删。 转发自大佬:五分钟学大数据,https://yuanmore.blog.csdn.net/版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/helloHbulie/article/details/118656150目录一、查看SQL的执行计划1. explain 的用法3. explain 的使用场.转载 2021-08-31 15:47:53 · 284 阅读 · 0 评论 -
Hive数据误删除,一定条件下数据还原
误删除Hive表数据处理方法:例如我有一个表,表名为:biao_ceshi,表的所属库是jwy_sdm,表的分区是etl_rkrq,我误删除了,如果时间来得及的话(一般自动清理回收站的时间是集群配置的,6小时等),恢复方法:1、在Hdfs里面找删除过的数据文件(这个是华为的FI-Hive环境,其他可能略有不同): hadoop fs -ls /user/ hadoop fs -ls /user/ Hive用户名/.Trash hadoop ...原创 2021-08-23 13:54:55 · 615 阅读 · 0 评论 -
Hive表类型(存储格式)
转载专用: 读到了好文章,用于分享收藏,侵权删。 转发自大佬:桥路丶 ,https://blog.csdn.net/qq_33876553 版权声明:本文为CSDN博主「桥路丶」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/qq_33876553/article/details/112215854Hive表类型行式存储Hive支持的.转载 2021-08-23 13:30:48 · 154 阅读 · 0 评论 -
Hive性能优化
转载专用: 读到了好文章,用于分享收藏,侵权删。 转发自大佬:五分钟学大数据,https://yuanmore.blog.csdn.net/版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/helloHbulie/article/details/115659156目录一、Hive性能问题排查方式二、Hive性能调优的方式1. SQL语句优化un.转载 2021-07-16 17:38:13 · 1203 阅读 · 0 评论 -
数据库游标简介
目录一、引入游标二、声明游标变量三、打开游标四、提取数据五、属性六、扩展FETCHFETCH部分参数简介:MOVEUPDATE/DELETE WHERE CURRENT OFCLOSE七、返回游标一、引入游标为了避免一次执行整个SQL,返回结果包含大量行,撑爆内存,整个时候可以使用游标来封装刚刚提到的“整个查询”。游标有显式游标和隐式游标:显式游标主要用于对查询语句的处理,尤其是查询结果返回多条记录的情况。 隐式游标由系统定义,“对于...原创 2021-07-15 20:02:01 · 4310 阅读 · 1 评论 -
Hive数据倾斜解决方案
转载专用: 读到了好文章,用于分享收藏,侵权删。 转发自大佬:五分钟学大数据,https://yuanmore.blog.csdn.net/ 版权声明:本文为CSDN博主「五分钟学大数据」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/helloHbulie/article/details/116117518数据倾斜问题剖析数据倾斜是分布式系.转载 2021-07-14 21:34:20 · 187 阅读 · 0 评论 -
窗口函数简介
目录窗口函数引入窗口帧窗口函数执行逻辑的顺序通用的窗口函数简要使用几个常用的窗口函数1.RANK()2.ROW_NUMBER()3.DENSE_RANK()4.CUME_DIST()5.NTILE(num_buckets integer)窗口函数引入概念:一个窗口函数在“一系列与当前前行有某种关联的表行”上执行某种计算。类似于一个聚集函数所完成的计算,但是窗口函数不会使多行被聚集成一个单独的输出行,这是与通常的非窗口聚集函数的区别。任何内建的或用户定义的通原创 2021-07-10 11:16:31 · 560 阅读 · 0 评论 -
MPP(高斯DB)常用语句(不定时更新添加)
目录1.获取分布键2. 获取主键3.查看视图注释4.改变表所属schema5.查找某个schema里有什么个表6.一个merge的举例7.根据mpp表生成hive的建表语句(表名加_di后缀)8.分区操作①.查看表分区②设置每月一个分区(区间)③设置上界④删除分区⑤新增分区⑥分区合并⑦分区分割⑧重命名分区9.列操作①查询列信息②拼接所有列10.数据去重(未优化版本)1.获取分布键selectattnamefro原创 2021-07-08 20:49:53 · 7566 阅读 · 3 评论