MyySophia
工作只是你的权利,而只有你的行为才能为你赢得尊重
展开
-
容灾多活解决方案
容灾系统是指在相隔较远的异地,建立两套或多套功能相同的系统,系统之间可以相互进行健康状态监视和功能切换,当一处系统因意外(如火灾、洪水、地震、人为蓄意破坏等)停止工作时,整个应用系统可以切换到另一处,使该系统可以继续正常工作。容灾系统需要具备较为完善的数据保护与灾难恢复功能,保证生产中心不能正常工作时数据的完整性及业务的连续性,并在最短时间内由灾备中心接替,恢复业务系统的正常运行,将损失降到最小。原创 2024-03-10 19:45:46 · 85 阅读 · 0 评论 -
腾讯云私有云平台运维面试
根据会议将面试问题进行总结,很多问题感觉当时没回答好,这是为啥呢?应该还是不熟练吧,或者不善于表达。将次经历分享出来,大家多练练。原创 2023-06-25 23:51:34 · 1760 阅读 · 0 评论 -
postgrest API CURD数据库
这个东西就是我一直想要的一个东西,postgresetAPI 操作pg数据库,因为sql 的stm真的太繁琐了。api.todos 赋予todo_user所有操作权限。默认是3000端口,原创 2023-09-26 10:23:23 · 136 阅读 · 0 评论 -
GreenPlum on K8s
GreenPlum on K8sGreenPlum on K8sGreenPlum on K8s原创 2023-07-13 09:21:16 · 640 阅读 · 0 评论 -
红帽集群套件RHCS概述
RHCS是Red Hat Cluster Suite的缩写,也就是红帽子集群套件,RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合,它将集群系统中三大集群架构融合一体,可以给web应用、数据库应用等提供安全、稳定的运行环境。更确切的说,RHCS是一个功能完备的集群应用解决方案,它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现,通过RHCS提供的这种解决方案,不但能保证前端应用持久、稳定的提供服务,同时也保证了后端数据存储的安全。原创 2023-07-11 10:38:03 · 317 阅读 · 0 评论 -
ORA-01555-快照过旧问题处理
mysql 和oracle都有着undo空间,undo log主要记录了数据的逻辑变化,比如一条INSERT语句,对应一条DELETE的undo log,对于每个UPDATE语句,对应一条相反的UPDATE的undo log,这样在发生错误时,就能回滚到事务之前的数据状态。另一个例子是,如果一个事务需要读取一个表中的数据,并且在读取数据的同时,其他事务对相同的数据进行了修改,那么该事务将无法读取最新的数据,并且可能会出现ORA-01555错误。改,导致读取的数据快照无法满足当前事务的要求。原创 2023-05-22 09:06:06 · 4173 阅读 · 0 评论 -
postgres explain可视化分析神器
该工具提供了一个简单易用的界面,用户可以通过它将他们的 SQL 查询提交给 Explain.dalibo.com,该工具会自动解析和优化该查询,并生成一个可视化的执行计划。在执行计划中,用户可以看到查询的性能评估结果,包括扫描行数、运行时间等信息。Explain.dalibo.com 还提供了一个查询库,其中包含大量 SQL 查询示例,用户可以从中学习如何编写高效的查询语句。Explain.dalibo.com 是一个在线 PostgreSQL 查询分析工具,由法国的 Dalibo 公司开发。原创 2023-03-29 10:29:43 · 1217 阅读 · 0 评论 -
正则中常见的4种匹配模式
匹配区间类型的需求使用这四种模式能达到事半功倍的效果。正则中常见的四种匹配模式,分别是:不区分大小写、点号通配模式、多行模式和注释模式。原创 2020-06-26 22:17:20 · 6336 阅读 · 0 评论 -
正则有哪些常见的流派及其特性?
在不了解Liunx 正则流派的前提下在linux环境学习正则非常痛苦。首先看自己的linux 版本支持的流派.使用man grep 即可查询的到........................................................... Matcher Selection -E, --extended-regexp Interpret PATTERN as an extended regular expression (原创 2020-07-31 16:22:00 · 502 阅读 · 0 评论 -
正则表达式分组()与引用实战
目录分组与编号分组引用不保存子组分组引用在查找中使用分组引用在替换中使用总结 括号在正则中的功能就是用于分组。简单来理解 就是,由多个元字符组成某个部分,应该被看成一个整体的时候,可以用括号括起来表示一 个整体,这是括号的一个重要功能。其实用括号括起来还有另外一个作用,那就是“复用”。分组与编号 括号在正则中可以用于分组,被括号括起来的部分“子表达式”会被保存成一个子组。分组引用不保存子组如果正则中出现了括号,...原创 2022-02-17 16:44:57 · 453 阅读 · 0 评论 -
表格文件格式之王 CSV,GreenPlumer的福音来了
对于较小的数据集,csvsql还可以利用sqlite来执行即席 SQL 查询,而无需触及数据库。通常,任何数据分析的最后步骤之一是将数据放到网络上,以表格、地图或图表的形式显示。通常情况下,您想要的是 JSON,而这正是csvjson的用武之地。例如,要从我们的 sqlite 数据库的表中导出道格拉斯县,我们将运行:joined。请记住,在使用它时,您正在将整个数据集加载到内存数据库中,因此对于大型数据集来说,它可能会非常慢。有时,如果您只运行一个查询,即使构建数据库也是浪费时间。原创 2023-02-08 10:02:41 · 337 阅读 · 0 评论 -
postgres中跨年周别踩坑记
2022年最后一周的范围是: 2022-12-26 到 2023-01-01。引申一下,如果需要让2023的1月1日归为2023年的第一周可以这么写。我的sql是这样的。年份取的是自然年,没有取ISO标准的年份导致的。2023-01-01 咋成了2023年第52周。pg 8.3版本之后提供了一个ISO年份专门来解决这个问题。使用to_date按照fotmat转换。2023开工第一周遇到了pg跨年的问题。认真阅读官网的说明应该不会有这个问题,原创 2023-01-31 15:36:31 · 188 阅读 · 0 评论 -
Top 命令中的 Irix 模式与 Solaris 模式(解释单个进程cpu占比为何会超过100%?)
任何单个进程都不可能同时使用多个处理器。如果你想让数据库操作使用更多的处理器,你应该尝试数据库级别的“并行度”或应用程序级别的“多线程”。原创 2023-01-17 14:21:19 · 760 阅读 · 0 评论 -
GrennPlum存储过程实战
由于在PostgreSQL中没有严格区分函数和存储过程,因此本节讨论的存储过程是指数据库的函数对象。做过Oracle开发的人都知道,Oracle是严格区分函数和存储过程的,函数可以执行查询和赋值操作,但是不能进行INSERT和UPDATE操作;存储过程既可以执行查询、赋值操作,也可以执行INSERT、UPDATE、DELETE、TRUNCATE操作,可以说存储过程包含了函数的功能。原创 2022-11-28 08:15:00 · 507 阅读 · 0 评论 -
GreenPlum在线扩容工具GPExpan实战
GPExpand是Greenplum数据库的扩容工具,可以为集群增加新节点,从而存储更多的数据,提供更强的计算能力。在Greenplum 5.0及之前版本中,集群扩容需要停机后才能增加新节点,然后对表数据做重分布。因为集群大小已经改变,所以重分布之前要先将所有哈希分布表改成随机分布,然后按照新的集群大小重新计算哈希值后重新分布。原创 2022-11-25 10:30:00 · 311 阅读 · 0 评论 -
GreenPlum dblink实战
类似于Oracle的DBLink,PostgreSQL也提供不同数据库实例之间进行数据交互的工具,也叫作DBLink。Greenplum继承了这个功能。DBLink是从PostgreSQL 8.3开始引入的扩展模块,Greenplum从5.0版开始提供对DBLink模块的支持。在PostgreSQL中,DBLink允许一个PostgreSQL数据库实例通过libpq协议连接到另外一个远程PostgreSQL实例,在同一个会话里(Session)通过UDF的方式对远程数据库进行查询、更新等操作。原创 2022-11-21 14:20:55 · 357 阅读 · 0 评论 -
深入理解pg wal日志
深入理解pg wal日志原创 2022-10-14 16:54:13 · 302 阅读 · 0 评论 -
postgresql中select ditinct on的魅力
【代码】postgresql中select ditinct on的魅力。翻译 2022-10-14 09:24:28 · 117 阅读 · 0 评论 -
Kafka原理介绍
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka中发布订阅的对象是topic。原创 2022-09-28 10:40:28 · 668 阅读 · 1 评论 -
HikariCP Unable to acquire JDBC Connection] with root cause问题查询
2022-08-21 11:10 收到报案,系统无法访问。四个节点发生同样报错:无法连接到数据库,详细报错见附件AP日志.原创 2022-08-26 17:21:55 · 516 阅读 · 0 评论 -
Bitnami Postgresql镜像和Docker官方镜像的区别
【代码】Bitnami Postgresql镜像和Docker官方镜像的区别。原创 2022-08-19 13:42:19 · 1262 阅读 · 0 评论 -
数仓GreenPlum中数据实时同步的方式
抽取数据是ETL处理过程的第一个步骤,也是数据仓库中最重要和最具有挑战性的部分,适当的数据抽取是成功建立数据仓库的关键。从源抽取数据导入数据仓库或过渡区有两种方式,可以从源把数据抓取出来(拉),也可以请求源把数据发送(推)到数据仓库。影响选择数据抽取方式的一个重要因素是操作型系统的可用性和数据量,这是抽取整个数据集还是仅仅抽取自最后一次抽取以来的变化数据的基础。...原创 2022-08-12 10:18:19 · 646 阅读 · 0 评论 -
GP如何进行数据比对?
需求:根据输入的时间区间,搜寻A B两库的数据同一时间的数据差异可能使用到的linux命令 diff psql脚本issue1 :这个时间区间可以存储在表中?原创 2022-08-09 09:26:53 · 563 阅读 · 0 评论 -
gp中的decode函数实现
oracle中有一个decodde函数,开发同学都很喜欢。从Oracle迁移到GP时,如果有decode ,代码量修改会变少以下为GP的decode实现原创 2022-06-20 14:30:15 · 2080 阅读 · 0 评论 -
认识PostgreSQL中与众不同的索引
文章整理自来自:https://developer.aliyun.com/learning/trainingcamp/postgresql/1?spm=5176.12901015.0.i12901015.7774525cj5Taig#J_2725970650一、索引总体介绍1.1 索引的作用主键、唯一约束 排序 定位Tuple(row)1.2 索引的分类-按算法分1.2索引的分类-其他分类1.3 创建索引的方式1.3.1 非阻塞式创建索引• 使用普通方式创建....原创 2021-01-22 18:54:50 · 326 阅读 · 0 评论 -
raft共识算法动态演示
Raft 分布式共识算法动画演示原创 2022-05-25 22:12:23 · 271 阅读 · 0 评论 -
Postgresql limit sql性能分析
问题描述 分析 表的信息 估算cost start-up cost run cost 执行计划 实际执行时间 从内核视角来分析 解决方案 写在最后 Coding过程中经常会写SQL语句,有时写的SQL出现慢查询而被DBA鄙视。今天我们一起从使用者,DBA,内核开发三个不同角度来分析和解决一个SQL性能问题,来重新认识逻辑优化与物理优化。..转载 2022-04-20 16:22:39 · 1684 阅读 · 0 评论 -
Drop table会不会释放空间
GreenPlum 测试drop table tablename 对空间释放的问题。 需要注意的是drop是直接delete seg上的数据文件,通过系统表的relfilenode可以找到该文件的索引。而truncate table tablename 并不会立即释放表空间。是需要用关键字vacuum来回收的。-------------------------2019-01...原创 2019-08-22 09:14:38 · 4843 阅读 · 0 评论 -
GreenPlum 共享内存初识
原文地址:https://blog.csdn.net/wan_exe/article/details/56484664postpresql启动后会生成一块共享内存。,共享内存主要用做数据块的缓冲区,以便提高读写性能。共享内存是常用的进程间通信,两个进程可以直接共享访问同一块内存区域。实现共享内存的步骤如下:(1) 创建内存共享区进程1通过操作系统提供的api从内存中申...转载 2018-06-25 19:20:39 · 502 阅读 · 0 评论 -
Greenplum 跨库数据JOIN需求 - dblink的使用和弊端以及解决方案
背景Greenplum在许多企业中被用于数据仓库,一个企业中通常会有统一的用户管理系统,账务系统;还有许多业务线。数据被分成两类,一类是业务相关的,一类是全公司统一的数据。如果用户将两个部分数据分别存入不同的数据库(单个实例可以创建多个数据库),并且公共数据需要与业务数据JOIN时,你可能会想到dblink这个功能,通过DBLINK管理其他数据库然后和本地数据进行JOIN。如果你对实例和数据库的概念不太理解,可以参考一下这篇文档。《PostgreSQL 逻辑结构 和 权限..转载 2020-09-08 16:39:29 · 842 阅读 · 0 评论 -
Greenplum MPP 与 Hadoop大PK?
MPP和Hadoop都是为了解决大规模数据的并行计算而出现的技术,两种技术的相似点在于: 分布式存储数据在多个节点服务器上 采用分布式并行计算框架 支持横向扩展来提高整体的计算能力和存储容量 都支持X86开放集群架构 但两种技术在数据存储和计算方法上,也存在很多显而易见的差异: MPP按照关系数据库行列表方式存储数据(有模式),Hadoop按照文件切片方式分布式存储(无模式) 两者采用的数据分布机制不同,MPP采用Hash分布...原创 2021-10-26 13:38:05 · 3162 阅读 · 0 评论 -
greenplum外部数据加载之GPHDFS与PXF比较
在功能上,GPHDFS和PXF都用于为Greenplum提供对Hadoop上的数据访问,都采用Java的工作进程与Greenplum的外部表协议集成的工作方式。下面将详细比较二者的区别,说明为什么PXF是GPHDFS的下一代产品。❏外部表协议GPHDFS对可执行外部表进行了封装,通过fork进程的方式启动Java虚拟机,然后调用Hadoop依赖库完成对HDFS文件的访问。这种父子进程的方式使得Java虚拟机也拥有gpadmin权限,导致安全性差、耦合紧密。PXF使用类似GPFDIST的协议,通过HT原创 2022-02-08 14:43:22 · 1841 阅读 · 0 评论 -
解决服务器重启,GreenPlum无法启动问题
一台测试服务器,由于升级glib的时候直接把系统搞死,机器无法启动,后来机器就回来之后,发现GP 启动不起来了。gp启动时报错 home]$ gpstart -a20210917:11:05:30:028785 gpstart:gptest01:gpadmin-[INFO]:-Starting gpstart with args: -a20210917:11:05:30:028785 gpstart:gptest01:gpadmin-[INFO]:-Gathering information原创 2021-09-17 13:40:33 · 1291 阅读 · 0 评论 -
postgresql 之search_path的生效方式
1、对当前会话=# show search_path; search_path---------------- "$user",public(1 row)=# set search_path = temp, "$user",public;SET=# show search_path; search_path----------------------------------------------------------原创 2021-09-02 14:56:05 · 1149 阅读 · 0 评论 -
GPORCA 控制级别
GPORCA优化器是一款优秀的优化器,但是在某些场景下还是不如Postgres query optimizer 发挥稳定,因此在session级别如何打开和关闭这个优化器.一、系统级别以gpadmin用户登录master查看是否已开启?~]$ gpconfig -s optimizerValues on all segments are consistentGUC : optimizerMaster value: offSegment value: o...原创 2021-03-24 10:52:24 · 460 阅读 · 0 评论 -
Greenplum的窗口函数 实例操作
来自 《Greenplum数据库管理员指南》其中 lead、 lag、 rank、 row number个人觉得比较常用 Function Return Full Syntax 描述 Type cume dist() double CU...原创 2019-11-24 18:07:42 · 1279 阅读 · 0 评论 -
GROUP BY和PARTITION BY的数学的理论基础?(2)
写在前面在使用SQL进行各种各样的数据提取时,一个常用的操作是按照某种标准为数据分组。不仅是使用SQL的时候,在日常生活中整理或者分析数据时,我们也经常需要给数据分组。SQL的语句中具有分组功能的是GROUP BY和PARTITION BY,它们都可以根据指定的列为表分组。区别仅仅在于,GROUP BY在分组之后会把每个分组聚合成一行数据。集合论和group by有如下表对这张表使用GROUP BY或者PARTITION BY,可以获取以团队为单位的信息。无论使用哪一个,都可以将原来的表Team原创 2021-03-18 16:14:56 · 564 阅读 · 0 评论 -
关系型数据库中的关系到底是什么?(1)
定义关系的定义可以用下面这样一个公式来给出。R ⊆ (D1×D2×D3 · · · ×Dn)(关系用符号 R 表示,属性用符号 Ai 表示,属性的定义域用符号 Di 表示)这个公式读作“关系 R 是定义域 D1, D2, …, Dn 的笛卡儿积的子集”。公式很简洁,为了便于理解,我们再举个简单的例子解释一下。首先假设有 3 个属性 a1、 a2、 a3,然后我们描述一下它们的定义域。这里说的定义域与数学中函数的定义域一样,指的是“属性的取值集合”。我们假设属性 a1 可以取 1 种值,属性原创 2021-03-16 23:04:21 · 1772 阅读 · 0 评论 -
那些一直被我们“误解”的数据库名词
原创 2021-03-16 22:43:48 · 144 阅读 · 0 评论 -
GP中两种主键去重的方式
目录一、从外部表中去重二、利用ctid去重一、从外部表中去重通过在heap表上创建主键索引,可以在数据加载过程中,利用主键进行去重。目前,Greenplum还不支持INSERT ON CONFLICT语法,但可以通过函数实现同样的功能。在数据通过外部表往目标表导入,当违反唯一性约束时,通过JOIN的方式找出非重复记录插入目标表。-- 2021年3月1日15:28:07CREATE OR REPLACE FUNCTION merge_table(targettable ch...原创 2021-03-02 09:47:08 · 725 阅读 · 0 评论