数据库
文章平均质量分 68
ac.char
信息安全、网络安全、大数据、云计算、虚拟化、云数据库、系统运维、系统HA。。。
涉及前端,后端,python,ssh,java,js,C#,安卓,IOS,架构师,关系数据库(MySQL、Sql Server、PostgreSQL、Oracle、sqlite),内存数据库,爬虫,数据分析,数据开发,运维,测试,需求原型
;
;
一看就不够真实哈哈哈哈哈,怎么可能会有人啥都精通
展开
-
PostgreSQL中查询 每个表的总大小、索引大小和数据大小,并按总大小降序排序
这个查询语句会返回每个表的总大小、索引大小和数据大小,并按总大小降序排序。请确保在执行查询之前已经连接到正确的数据库,并具有足够的权限来查询表的大小信息。原创 2023-06-29 14:25:09 · 1767 阅读 · 0 评论 -
PostgreSQL中使用插件earthdistance进行经纬度距离计算,并进行排序返回结果集
可以计算任意两个城市之间的距离,并按照距离远近进行排序。这将返回一个浮点数,表示两个城市之间的距离(单位为米)。这将返回一个包含城市名称和距离的结果集,按照距离从近到远进行排序。可以计算任意两个城市之间的距离,并按照距离远近对城市进行排序。模块,以便进行地理位置的计算。列添加 GiST 索引,以加速查询。列创建一个 GiST 索引,从而加速距离计算和排序。运算符来计算两个点之间的距离,它利用了。索引的支持,可以更快地计算距离并排序。最后,我们可以为表中的。注意,这里我们使用了。原创 2023-06-22 18:39:48 · 2215 阅读 · 0 评论 -
PostgreSQL数据库函数,实现一个可根据职位角色配置节点,包含多级审批功能,审批过程中有会审、或审
定义一些流程概念和规则:1. 审批流程是由若干个审批节点(Approval Node)组成的,每个节点代表一个审批环节。2. 每个审批节点包含一个节点ID,一个节点名称,以及一个可选的节点描述。3. 审批流程还包括一个开始节点和一个结束节点,它们不需要配置具体的审批人。4. 一个审批节点可以有多个后续节点,表示审批通过之后,流程会继续走向这些后续节点中的一个。5. 每个审批节点都需要配置一个审批规则,这个规则用于决定流程如何继续,可以是会审、或审或者单人审批。6. 审批规则的具体定义会在后文……原创 2023-06-12 10:44:45 · 1092 阅读 · 0 评论 -
PostgreSQL数据库,简单的实现一个可配置节点的审批流,审批过程中包含会审、或审
在查询这些节点和连接信息时,可以使用递归查询来实现。递归查询可以查找所有与节点相关的连接,以及与这些连接相关的节点,直到查询完所有节点为止。在查询进行中,使用连接表中的连接信息来确定下一步是和审还是或审,如果是和审,则查询必须通过当前节点才能继续,如果是或审,则查询只需要通过其中一个子节点就能继续。评估函数可以根据实际场景进行自定义,例如,在会审节点中必须所有子节点都通过才能通过,而在或审节点中只要有一个子节点通过即可通过。节点类型包括会审节点和或审节点,节点名称是可配置的,用于描述节点的用途。原创 2023-06-12 09:24:34 · 498 阅读 · 0 评论 -
PostgreSQL获取年月日,获取年份
select to_char(t.detect_date,‘YYYY’)select extract(year from now())为double precision 格式类型select to_char((SELECT now()::timestamp),‘yyyy’)select to_char((SELECT now()::timestamp+ ‘1 year’),‘yyyy’)select to_char((SELECT now()::timestamp+ ‘-1 year’),‘yyyy’)其原创 2022-07-11 17:29:58 · 18396 阅读 · 2 评论 -
sqlserver数据库的服务器 改名字后 数据库登录不上 解决方案 sqlserver 更改 服务器名的问题
SQL Server 复制需要有实际的服务器名称才能连接到服务器。不支持通过服务器别名、IP 地址或任何其他备用名称进行连接。请指定实际的服务器名称“”。 (Replication.Utilities)原创 2021-11-17 20:57:02 · 2906 阅读 · 0 评论 -
SQL EXITS IN ANY ,(all any) 区别
EXITS 和 IN 的区别:从效率来看:select * from T1 where exists(select 1 from T2 where T1.a=T2.a) ;T1数据量小而T2数据量非常大时,T1<<T2 时,1) 的查询效率高。select * from T1 where T1.a in (select T2.a from T2) ;T1数据量非常大而T2数据量小时,T1>>T2 时,2) 的查询效率高。简而言之,一般式:外表大,用IN;内表大,用转载 2021-09-30 21:36:46 · 227 阅读 · 0 评论 -
Hibernate格式化sql语句实体类 BasicFormatterImpl 源码
源码import java.util.HashSet;import java.util.LinkedList;import java.util.Set;import java.util.StringTokenizer;public class BasicFormatterImpl{ private static final Set<String> BEGIN_CLAUSES = new HashSet<String>(); private static fin转载 2021-09-09 00:20:20 · 252 阅读 · 0 评论 -
PostgreSQL 云数据库 RDS> 读写外部数据文本文件(oss_fdw)
PostgreSQL 读写外部数据文本文件(oss_fdw)阿里云 > 云数据库 RDS> RDS PostgreSQL 数据库> 插件> 异构数据库访问前提条件oss_fdw用例oss_fdw参数CREATE SERVER参数CREATE FOREIGN TABLE参数CREATE FOREIGN TABLE的导出模式参数辅助函数辅助功能oss_fdw注意事项ID和Key隐藏)阿里云支持通过oss_fdw插件将OSS中的数据加载到PostgreSQL和PPAS数据库中,也支持转载 2021-08-22 11:40:39 · 754 阅读 · 0 评论 -
PostgreSQL/PPAS CPU使用率高的排查及解决办法
PostgreSQL/PPAS CPU使用率高的排查及解决办法一、问题描述二、解决方案三、追踪慢SQL四、处理慢SQL一、问题描述RDS for PostgreSQL/PPAS使用过程中,可能会遇到CPU使用率过高甚至达到100%的情况。本文将介绍造成该状况的常见原因以及解决方法,并通过CPU使用率为100%的典型场景,来分析引起该状况的排查及其相应的解决方案。二、解决方案如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。如果您对实例(包括但不限于ECS、RD转载 2021-08-22 11:20:55 · 1964 阅读 · 0 评论 -
PostgreSQL 性能分析插件 pg 监控工具
pg_stat_statements pg_toppg_systatpg_proctabpgdashpgmetricspgbadgerpgcluupg_buffercachepg_trgmpg_stat_statements: 监控收集各类sql执行情况system_stats:用于监控OS层信息pg_stat_kcache:监控单条SQL花费cpu等pg_stat_monitor:pg_stat_statements和pg_stat_kcache的结合体pgpro_stats原创 2021-08-21 20:55:48 · 2021 阅读 · 0 评论 -
PostgreSQL , 内存表 , 会话级内存表 , pg_variables 在某些场景,要求快速的DML,并且对数据可靠性要求不是非常高
PostgreSQL 内存表作者digoal日期2016-08-18标签PostgreSQL , 内存表 , 会话级内存表 , pg_variables背景在某些场景,要求快速的DML,并且对数据可靠性要求不是非常高。例如游戏的会话信息,传感器上传的最新数据,运算的中间结果,等等。例如在一个场景中,有非常多的传感器的数据要不断的被更新和查询,可以使用这种方法,每个传感器的ID哈希后分配给对应的会话,这个传感器。上面的需求,PostgreSQL 临时表都能满足。但是临时表也存在一定转载 2021-08-21 14:03:27 · 985 阅读 · 0 评论 -
PostgreSQL TEMPORARY TABLE和UNLOGGED TABLE, 临时表、全局临时表和 Unlogged 表
PostgreSQL TEMPORARY TABLE和UNLOGGED TABLE, 临时表、全局临时表和 Unlogged 表一. 临时表 TEMPORARY|TEMP TABLE二. Unlogged 表 UNLOGGED TABLE普通表:unlogged表一. 临时表 TEMPORARY|TEMP TABLE会话级或事务级的临时表,临时表在会话结束或事物结束自动删除,任何在临时表上创建的索引也会被自动删除。除非用模式修饰的名字引用,否则现有的同名永久表在临时表存在期间,在本会话或事务中是不可见的转载 2021-08-21 13:43:35 · 2273 阅读 · 0 评论 -
PostgreSQL 用来实现数据逻辑增量复制 pgsql_admin_script pgq.md
PostgreSQL 用来实现数据逻辑增量复制 pgsql_admin_script pgq.mdpgsql_admin_script常用管理脚本generate_report.sh # 用来生成数据库巡检报告, 注意可以使用lock_timeout和statement_timeout来避免长时间等待。pgq.md # 用来实现数据逻辑增量复制。pgq_case.md # 在线数据逻辑复制。pgsql_perf_tuni转载 2021-08-19 23:39:07 · 481 阅读 · 0 评论 -
PostgreSQL Oracle GoldenGate支持种类繁多的数据库的同步,功能非常强大 pgsql_admin_script ogg_oracle_replicate_to_postgres
PostgreSQL Oracle GoldenGate支持种类繁多的数据库的同步,功能非常强大 pgsql_admin_script ogg_oracle_replicate_to_postgresql.mdpgsql_admin_script常用管理脚本generate_report.sh # 用来生成数据库巡检报告, 注意可以使用lock_timeout和statement_timeout来避免长时间等待。pgq.md # 用来实现数据逻辑增量复制转载 2021-08-19 23:31:52 · 640 阅读 · 0 评论 -
PostgreSQL pgq的实际应用案例, 在线增量复制的实施案例 pgsql_admin_script pgq_case.md
PostgreSQL pgq的实际应用案例, 在线增量复制的实施案例 pgsql_admin_script pgq_case.mdpgsql_admin_script常用管理脚本generate_report.sh # 用来生成数据库巡检报告, 注意可以使用lock_timeout和statement_timeout来避免长时间等待。pgq.md # 用来实现数据逻辑增量复制。pgq_case.md # 在线数据逻辑复制。转载 2021-08-19 23:26:43 · 1362 阅读 · 0 评论 -
PostgreSQL 安装脚本 pgsql_admin_script install_pgxl.txt
PostgreSQL 安装脚本 pgsql_admin_script install_pgxl.txtvi env_xl.sh export PS1="$USER@`/bin/hostname -s`-> "export PGPORT=1991export PGDATA=/disk1/digoal/pgxl/co1export LANG=en_US.utf8export PGHOME=/home/digoal/pgxlexport LD_LIBRARY_PATH=$PGHOME/lib转载 2021-08-19 23:23:26 · 793 阅读 · 0 评论 -
PostgreSQL TPC-C极限优化玩法 pgsql_admin_script pgsql_perf_tuning.md
PostgreSQL TPC-C极限优化玩法digoal2016-01-19简介本文以工业界测试模型TPC-C为测试模型,介绍PostgreSQL数据库从系统层面的优化到数据库层面的优化方法。测试仓库4000个,数据量400GB。TPmC从 256195.32 提升到 606466.31 是如何做到的。测试环境介绍16核开HT共32线程,256G 1600MHz 内存,万兆网卡,3 块 6.4TB AliFlash PCI-E SSD,逻辑卷条带,XFS,数据块对齐。XFS文件转载 2021-08-19 23:15:14 · 1425 阅读 · 0 评论 -
PostgreSQL 服务器状态 pgsql 运行状态 采集脚本 pgsql_admin_script generate_report.sh
PostgreSQL 服务器状态 pgsql 运行状态 采集脚本#!/bin/bash# 已在CentOS 6.x上进行测试# author: digoal# 2015-10# 权限需求 , OS: root PG: Superuser# 用法 . ./generate_report.sh >/tmp/report.log 2>&1# 生成报告目录 grep -E "^----->>>|^\|" /tmp/report.log | sed 's/^转载 2021-08-19 22:35:41 · 804 阅读 · 0 评论 -
PostgreSQL 各类生成建表sql语句DDL方法收集, 函数获取数据库大小
PostgreSQL生成建表语句生成的sql指定scheme为:【sch_租户id】,不同scheme生成规则或者不需要指定scheme直接修改下相关代码即可使用。CREATE OR REPLACE FUNCTION "public"."findattname"("dbinstancename" varchar, "namespace" varchar, "tablename" varchar, "ctype" varchar) RETURNS "pg_catalog"."varchar" AS $转载 2021-08-17 23:14:39 · 3657 阅读 · 0 评论 -
DQL、DML、DDL、DCL的概念与区别
DQL、DML、DDL、DCL的概念与区别DQL、DML、DDL、DCL的概念与区别SQL的发展二. SQL语言的分类1. 数据查询语言DQL2 .数据操纵语言DML3. 数据定义语言DDL4. 数据控制语言DCL1) GRANT:授权2) ROLLBACK [WORK] TO [SAVEPOINT]:回退到某一点3) COMMIT [WORK]:提交提交数据有三种类型(1) 显式提交(2) 隐式提交(3) 自动提交DQL、DML、DDL、DCL的概念与区别SQL(Structure Query Lan转载 2021-08-04 14:15:17 · 439 阅读 · 0 评论 -
PostgreSQL 分区表探索(pg_pathman)数据库优化
PostgreSQL 分区表探索(pg_pathman)使用场景分区概念说明安装RANGE分区结语使用场景许多系统在在使用几年之后数据量不断膨胀,这个时候单表数据量超过2000w+,数据库的查询也越来越慢,而随着时间的推移许多历史数据的重要性可能逐渐下降。这时候就可以考虑使用分区表来将冷热数据分区存储。常用的使用场景比如sql分析的日志记录,常用的分区字段有按照创建时间、省份、以及业务类型,具体使用需要结合需求Postgresql官方的建议是单表大小超过了服务器内存大小可以考虑分区(大概的了解了下按转载 2021-05-05 17:35:01 · 1055 阅读 · 0 评论 -
pg PostgreSQL 查询全部表备注,表名称,表字段,主键,索引,以及全部字段的备注,全部索引信息,字段类型
pg PostgreSQL 查询全部表备注以及全部字段的备注查询所有表名称以及字段含义查看所有表名查看表名和备注查看特定表名备注查看特定表名字段查询所有表名称以及字段含义select c.relname 表名, cast ( obj_description (relfilenode, 'pg_class') as varchar ) 名称, a.attname 字段, d.description 字段备注, concat_ws ( '', t.typname, SUBSTRI原创 2021-05-05 14:54:07 · 8640 阅读 · 3 评论 -
MySQL大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化查询场景---方法1: 直接使用数据库提供的SQL语句---方法2: 建立主键或唯一索引, 利用索引(假设每页10条)---方法3: 基于索引再排序---方法4: 基于索引使用prepare(第一个问号表示pageNum,第二个?表示每页元组数)---方法5: 利用MySQL支持ORDER操作可以利用索引快速定位部分元组,避免全表扫描---方法6: 利用"子查询/连接+索引"快速定位元组的位置,然后再读取元组. 道理同方法5利用子查询示例:利用连接示例:测试实验1.转载 2021-04-30 02:45:41 · 344 阅读 · 0 评论 -
Bitmap Index Scan 与 Index Scan 索引对比
Indexes are an important structure for database performance. You can refer to previous posts for the different types of indexes supported by Postgres. These indexes are accessed by Index Scan, Index Only Scan, and Bitmap Index Scan. In this post, we will .翻译 2021-04-27 20:52:42 · 1129 阅读 · 1 评论 -
Neo4j ETL
目录Neo4j ETLOverviewFeaturesLicenseIssues & Feedback & ContributionsDownload & RunExamples of command usage:Neo4j-DesktopJDBC DriversIntroductionArchitecture DiagramWhat it isPlans for the FutureWho is it forOpen Qu转载 2021-04-08 10:31:34 · 1045 阅读 · 0 评论 -
PostgresSql 数据库获取所有表的索引信息
PostgresSql 数据库获取所有表的索引信息-- 查询全部有关信息selecta.schemaname,a.tablename,a.indexname,a.tablespace,a.indexdef,b.amname,c.indexrelid,c.indnatts,c.indisunique,c.indisprimary,c.indisclustered,d.descriptionfrom pg_am bleft join pg_class f on b.oid = f原创 2021-03-15 13:05:52 · 974 阅读 · 0 评论 -
PostgreSQL SQL中的ALL,ANY,SOME的用法,sql查询速度优化,sql运行优化
SQL中的ALL,ANY,SOME的用法准备两个表:--T1(2,3)--T2(1,2,3,4)--ALL,ANY,SOME 的子查询-- >ALL 父查询中的结果集大于子查询中每一个结果集中的值,则为真SELECT * FROM T2 WHERE N>ALL (SELECT N FROM T1)-- >ANY,SOME 父查询中的结果集大于子查询中任意一个结果集中的值,则为真SELECT * FROM T2 WHERE N>ANY(SELECT N FROM转载 2021-02-22 19:50:25 · 4592 阅读 · 0 评论 -
PostgreSQL could not identify an equality operator for type json
PostgreSQL could not identify an equality operator for type jsonPostgreSQL 中 json类型字段不支持 distinct原创 2021-01-22 11:19:54 · 1757 阅读 · 0 评论 -
mysql的时间转化,MySQL 日期时间 Extract(选取) 函数,MySQL 日期时间计算函数,日期、时间相减函数,获得国家地区时间格式,时间戳,时区(timezone)转换函数
mysql的时间转化,MySQL 日期时间 Extract(选取) 函数,MySQL 日期时间计算函数,日期、时间相减函数,获得国家地区时间格式,时间戳,时区(timezone)转换函数一、mysql的时间转化1.1 获得当前日期+时间(date + time)函数:now()1.2 获得当前日期+时间(date + time)函数:sysdate()2. 获得当前日期(date)函数:curdate()3. 获得当前时间(time)函数:curtime()4. 获得当前 UTC 日期时间函数:utc_da转载 2021-01-21 19:04:55 · 891 阅读 · 0 评论 -
PostgreSQL CPU占用高分析,查询IO消耗最高的SQL,查询耗时最长的SQL,查询被锁住的session会话
查看当前活跃的DB session 正在运行的SQL语句(运行时间超过10秒)SELECT now() - query_start as "runtime", usename,application_name, client_hostname, datname, state, query FROM pg_stat_activity WHERE now() - query_start > '10 seconds'::interval and state!='id原创 2020-12-31 01:55:15 · 3170 阅读 · 2 评论 -
sql 运行错误信息,错误代码汇总,ODBC 错误信息:SQL Error: 1048, SQLState: 23000
sql 运行错误信息,ODBC 错误信息:SQL Error: 1048, SQLState: 2300000000 成功01000 常规警告01002 断开连接错误01004 数据被截断01006 未废除特权01S00 无效连接字符串特性01S01 行中的错误01S02 选项值已更改01S03 未更新或删除任何行01S04 更新或删除了多行01S05 取消操作被当成 FreeStmt/Close01S06 设法在结果返回第一个行集之前进行提取07001 参数个数错误07006原创 2020-12-27 23:28:48 · 2486 阅读 · 0 评论 -
Scriptella ETL,跨数据库实现数据同步, 快速上手,中文版解析
Scriptella ETL 快速上手,中文版解析1. Scriptella 预备知识2. Scriptella 常用示例2.1. JavaScript的使用2.2. CSV文件的使用2.3. 文本文件的使用2.4. 发送邮件的使用2.5. M$ Excel的使用3. Scriptella 注意事项1. Scriptella 预备知识官方网站:http://scriptella.javaforge.com/许可证:Apache License, Version 2.0当前版本:Scriptella转载 2020-12-25 22:53:05 · 1979 阅读 · 2 评论 -
PostgreSQL, pgsql新增插入数据,存在则更新,不存则在新增插入,ON CONFLICT insert冲突处理
基本语法, 通过 INSERT ON CONFLICT 来使用 upsert 功能upsert :(update or insert)INSERT INTO table_name(column_list) VALUES(value_list)ON CONFLICT target action;[Err] ERROR: duplicate key value violates unique constraint "kxstore_pkey"DETAIL: Key (id)=(137936381原创 2020-12-25 13:26:54 · 6155 阅读 · 0 评论 -
PostgreSQL学习手册(SQL语言函数),自定义数据库函数
PostgreSQL学习手册(SQL语言函数),自定义数据库函数一、基本概念:二、基本类型:三、复合类型:四、带输出参数的函数:五、返回结果作为表数据源:六、返回集合的SQL函数:七、多态的SQL函数:八、函数重载:一、基本概念:SQL函数可以包含任意数量的查询,但是函数只返回最后一个查询(必须是SELECT)的结果。在简单情况下,返回最后一条查询结果的第一行。如果最后一个查询不返回任何行,那么该函数将返回NULL值。如果需要该函数返回最后一条SELECT语句的所有行,可以将函数的返回值定义为集合,即S转载 2020-12-25 09:55:41 · 951 阅读 · 0 评论 -
PostgreSQL学习手册(PL/pgSQL过程语言),自定义数据库函数
PostgreSQL学习手册(PL/pgSQL过程语言)一、概述:二、PL/pgSQL的结构:三、声明:1.函数参数的别名:2.拷贝类型:3.行类型:4.记录类型:四、基本语句:1.赋值:2.SELECT INTO:3.执行一个没有结果的表达式或者命令:4.执行动态命令:五、控制结构:1.函数返回:2.条件:3.循环:4. 遍历命令结果:5. 异常捕获:六、游标:1.声明游标变量:2.打开游标:3.使用游标:七、错误和消息:一、概述:PL/pgSQL函数在第一次被调用时,其函数内的源代码(文本)将被解析转载 2020-12-25 09:38:21 · 1024 阅读 · 0 评论 -
Extract-Transform-Load,ETL,使用scriptella实现数据抽取同步
Extract-Transform-Load,ETL,使用scriptella实现数据抽取同步ETL定义`scriptella`使用介绍引入maven依赖编写etl.xml脚本编写java类ETL定义ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。scriptella使用介绍例子,项目地址scriptella例子原创 2020-12-25 00:50:08 · 1102 阅读 · 0 评论 -
查询 MSSQL,Sql Server 中查所有表数据大小
查询 MSSQL,Sql Server 中查所有表数据大小-- 查询 MSSQL,Sql Server 中查所有表数据大小declare @tablespaceinfo table ( nameinfo varchar(500),rowsinfo int,reserved varchar(200),datainfo varchar(200),index_size varchar(200),unused varchar(200) ) declare @tablename varchar(255原创 2020-12-24 19:07:33 · 593 阅读 · 1 评论 -
PostgreSQL中uuid的使用,uuid_generate_v4()
PostgreSQL中uuid的使用,uuid_generate_v4()1.使用create extension命令安装扩展2.如果PostgreSQL是默认安装的则是不带uuid函数的,为了生成一个uuid,我们可以在客户端生成。方法3:数据库函数生成uuid1.使用create extension命令安装扩展create extension "uuid-ossp" 安装扩展成功以后,就可以通过uuid_generate_v4()或uuid_generate_v1()查询select uui原创 2020-12-24 15:04:44 · 11837 阅读 · 0 评论 -
PostgreSQL如何查询IO消耗最高的SQL及优化,pg_stat_statements插件安装及使用
PostgreSQL如何查询IO消耗最高的SQL及优化一、安装pg_stat_statements插件二、加载pg_stat_statements模块三、配置pg_stat_statements采样参数四、创建pg_stat_statements extension五、分析SQL1.字段分析2.如何获取不同情况的SQL(1)最耗IO的SQL(2)最耗时的SQL(3)响应时间抖动最严重的SQL(4)最耗共享内存的SQL(5)最耗临时空间的SQL六、重置统计信息七、优化方案1.进行有针对的查询,避免使用`sel转载 2020-12-20 22:32:14 · 3650 阅读 · 0 评论