- 博客(92)
- 收藏
- 关注
RSS订阅原创 Oracle 星型查询转换解析
星型查询是一种业务的应用，星型查询转换的核心思想是将原本的星型连接查询重写成更高效的形式。有些业务刚好满足如下的结构，我们可以使用星型查询。
2024-10-03 19:22:01
11
原创 Oracle SQL语句没有过滤条件，究竟是否会走索引？？
因为虽然查询的这三个列都被覆盖索引包含在内，但这三个列都可为null，正如开篇所说——Oracle不会为全都为null的行走索引。答案是：可能走索引也可能不走索引，具体要看列的值可不可为null，Oracle不会为所有列nullable属性都为Y的sql语句走索引。可以看到这三个列虽然都有索引，但这三个列的nullable属性都是Y，也就是都可为空，所以索引将失效，该语句将走全表扫描。这样就保证了每一行都将在索引中。再次查询同样的SQL语句，可以看到没有where条件的SQL语句也走了索引。
2024-10-03 17:14:29
840
原创 Oracle 闪回版本（闪回表到指定SCN）
在这个脚本中，有两个事务，我们尝试保留insert的事务，回滚update的事务。可以看到最下面的几行是刚才执行脚本所做的操作。update操作被回滚了。
2024-09-30 16:19:12
570
原创 Oracle 日志文件多路复用
多路复用 PRODCDB 数据库的所有日志组中的 redo log 文件，存放目录： /u01/app/oracle/oradata/MREDO。
2024-09-30 15:35:36
449
原创 Oracle 配置恢复目录catalog
Oracle中使用RMAN备份的数据我们分为两类Oracle默认把 RMAN知识库 放在目标数据库的控制文件中，在以后进行恢复的时候 我们要先读知识库的信息然后才能恢复。但这样就产生了一个问题，知识库放在了控制文件上，控制文件如果丢失，那么知识库的信息也丢失了，进而无法恢复数据。所以我们需要保护这个控制文件，一般有两种办法。知识库包含的内容：目标数据库的结构归档日志的记录每次备份的备份集与备份镜像。
2024-09-29 16:52:40
831
原创 Oracle 19c 使用EMCC 监控当前所有数据库
EMCC，全称Oracle Enterprise Manager Cloud Control，是Oracle提供的一套集中化监控工具，可以对数据库、操作系统、中间件等进行监控，通过OMS（Oracle Management Service）收集监控数据并将监控信息存入对应Oracle资料数据库并对收集的数据进行处理与展示；使用agent部署在受监控机或远程监控实现监控采集。可实现短信、邮件、SNMP等多方式实现实时告警。同时EMCC在监控Oracle数据库方面，是功能最全面、最强大的存在。
2024-09-25 15:23:28
624
原创 PG duckdb插件 pg_quack部署与使用
pg_quack 是一个创新的 PostgreSQL扩展，它将 DuckDB-—一个嵌入式列式数据库 管理系统集成到PostgreSQL中。这个开源项目为开发者提供了一种在同一个数据 库环境中利用高性能数据处理和存储的新方式,使得在PostgreSQL在OLAP的性能 上得到了很大的提高。pg_quack利用了DuckDB的优秀特性,包括其对列式存储的支持,这使得针对大量 结构化数据的分析性能得到了显著提升。
2024-09-25 11:32:18
587
原创 ORA-28032 Your password has expired and the database is set to read only
解决：一开始以为是cdb的密码不正确，mos上找到问题，non-cdb的密码过期了，并且noncdb要插入到cdb中作为pdb，non-cdb要处于只读状态，先把non-cdb设置为读写状态，修改sys和system用户密码，修改后再设置为只读。non-cdb 处于只读状态，CDB创建到noncdb的dblink后产生的报错，dblink可以成功创建，但无法连接到non-cdb。修改后可正常通过dblink创建来自non-cdb的pdb。
2024-09-19 18:46:03
215
原创 Oceanbase Restore Point实践
在很多应用系统中，用户需要查询数据库中的某个时间点，或者特定版本的数据来完成一些数据分析或汇总之类的操作。OceanBase 数据库在 V2.2.7x 版本中提供了 Restore Point 功能，允许用户在租户上创建 Restore Point，将历史版本的数据保存下来。Restore Point 功能类似于租户的快照点，您可以通过闪回查询的方式来访问特定版本的历史数据。
2024-09-10 17:48:27
664
原创 Oracle绑定变量窥视与自适应游标共享
创建test表，列status存在2个值，有数据倾斜，在列st问题：如果SQL硬解析生成执行计划时“窥视”到的绑定变量刚好只适合少部分数据，不适合其他大多数数据，那么直到下一次硬解析前（一般是收集统计信息后才会触发硬解析），都会使用这个不优的执行计划。解决：1.收集直方图，当查询Active的时候，直方图观察到绝大多数都是Active，则会走全表扫描，当查询Inactive的时候，直方图观察到绝大多数都是Inactive，则会走索引扫描。
2024-09-10 16:46:08
1412
原创 mysqldump 迁移至MySQL到Oceanbase-CE V4 和旁路导入语法的学习
mysql：oceanbase：# 通过mysqldump导出数据#传输脚本到oceanbase服务器#oceanbase导入对比数据，数据成功迁移成功。
2024-09-09 18:24:22
513
原创 Oceanbase 数据库审计
数据加密和访问控制可以大幅降低安全风险，但对于具备权限的用户，仍然需要记录其操作，以防止用户登录信息泄露，或者访问权限被滥用。审计功能可以加强企业对数据安全、合规等方面的要求，是跟踪用户行为最主要的工具。
2024-09-06 10:00:54
892
原创 Oceanbase 透明加密TDE
数据存储加密是指对数据和 Clog 等保存在磁盘中的数据进行无感知的加密，即透明加密（简称 TDE）。数据在写入存储设备前自动进行加密，读取时自动解密，该过程对用户是透明的，黑客和恶意用户无法从数据文件、数据库备份或磁盘中读取到敏感数据。
2024-09-04 17:21:01
1639
原创 oceanbase OBCE 第四章实验 事务与远程执行
个人对ob_proxy_readonlyu_transaction_routing_policy 这个参数的理解是：ob里面有很多分区表，不同分区的主副本可能会在不同的observer上面，那么当一条DML语句过来的时候就会产生分布式事务，降低性能，为了解决这个问题，OBProxy会把事务里所有 SQL 都发往开启事务的那条 SQL 被路由到的节点上去 。但是如何判断事务开启的标志呢，事务的第一个语句可能是一条DQL语句，这就由ob_proxy_readonlyu_transaction_routing_
2024-09-03 12:19:29
857
原创 OBCE 第三章实验 内存管理手动实践 深入了解Queuing（buffer）表
个人结论： 在oceanbase 的LSM-tree 架构中，对表进行DML操作，因为oceanbase是准内存性数据库，所以中间的记录都会在内存中记录，有点像PG中update方式（PG中update操作会先insert 再给原数据打上delete，但数据并没有真正删除）。所以当表中比较频繁的执行DML操作的时候，就会占用大量的内存，并且在做查询的时候也会扫描已经打上delete的数据块。或删除的比例达到_ob_queuing_fast_freeze_min_threshold 则直接开始转储。
2024-09-02 11:38:12
1182
原创 oceanbase 常用视图查询记录
V4 该视图变成了gv$ob_memstore_info。V3 版本用视图 gv$memstore_info。V4 该视图变成了gv$ob_memstore。V3 版本用视图 gv$memstore。
2024-08-30 12:12:21
544
原创 Oceanbase 使用OBD 一键性能测试（Sysbench，TPCC，TPCH）
首先需要了解TPCC 模拟工具，这一工具在之前的博客有提到。实操环境： oceanbase 单节点 all-in-one部署环境，也就是obd demo这里我们都用obd一键测试，比较简单，如果obd不满足需求可以选择手动测试的方式。
2024-08-29 15:24:03
790
原创 PG POC-TPCC测试部署与使用
ITEM商品信息表:10w条商品信息,保持不变warehouse仓库表:按需库容,比如上图表示有W个仓库,则有W条记录Stock库存表每个仓库有10W条商品的库存信息,因此总数目为W*10wdistrict区域表:每个仓库管理10个区域,因此有W*10条记录custoer客户表:每个仓库负责10个区域,每个区域管理3000个客户,因此客户数为W*3wOrder订单表:每次客户下单会生成一条记录,会持续增长,不删除,初始化为每个客户一条订单,因此初始值为W*3w。
2024-08-28 16:24:49
888
原创 PG_RMAN 部署与使用
pg_rman是一款开源的备份恢复软件,支持在线和基于PITR的备份恢复方式。pg_rman类似于 oracle的rman,可以进行全量、增量、归档日志的备份。
2024-08-27 18:21:49
903
原创 CentoOS 7下配置并部署 DataX 3.0与DataX-web
content:配置读和写插件reader:配置迹插件name:插件名称parameter:插件参数encoding:字符集编码writer:配置写插件setting:配置任务参数speed:配置速度相关参数channel:配置线程并发数errorLimit:配置脏数据容忍度(记录数或比例。
2024-08-23 18:25:52
624
原创 若依服务器上云部署
这里出现点问题，原因是我使用的centos 7 .原因是新版的node v18开始 都需要GLIBC_2.27支持，可是目前系统内却没有那么高的版本。不推荐的方式：这样部署访问会非常慢，chunk-vendors.js和app.js太大没有做拆分，这样部署没什么用。中间可以遇到连不上redis的问题，需要修改redis的配置文件，把bind那一行 修改为0.0.0.0 就行。打包后可以在admin文件夹的target中看到jar包，只把这个包上传到服务器即可。这里我选择降级了，选择了16.20.1。
2024-08-13 16:46:45
261
原创 mysql 性能调优概述
聚簇索引：索引的数据和基表的数据放在一块，叶子节点存放的是完整的行数据，类似与Oracle的IOT表。非聚簇索引：索引的数据和基表的数据分开存放
2024-07-31 16:10:09
499
原创 Oracle 物化视图详解与实践
简介：把访问基表的查询改写成访问物化视图，从而提高查询速度。无需改变应用程序的代码，只需要创建一个允许查询重写的物化视图。总而言之就是把访问基表的查询改写成访问物化视图。创建一个允许查询重写的物化视图：
2024-07-14 21:19:35
820
原创 Oracle数据库加密与安全
首先,在定义数据表中的数据列(或者修改数据列)的时候,使用ENCRYPT进行标注。表示这个字段是使用加密保护的重要数据。对数据列加密是TDE一个常用的功能。常需要对数据库中某个表的某个敏感数据进行加密处理,防止信息的外泄。如果现在把钱包关掉，理想情况应该是看不见该表的数据了，如下图。到此 Wallet配置成功，创建了master key。可以看到此时仍然可以看到数据，原因是因为钱包已经打开了。可以看到已经不允许被查看了。4.启动，关闭Wallet。现在对sal这一列进行加密。
2024-07-12 19:17:27
1826
原创 PG 逻辑备份
ph_dump 只能备份单个数据库，不会导出角色和表空间相关的信息，而且恢复的时候需要创建空数据库。pg_dumpall 可以备份所有数据库，并且备份角色，表空间。
2024-07-12 10:51:19
273
原创 Oracle RAC 19c 打补丁至最新版本-19.23.0.0.0
由于测试环境内存很小，一个节点执行这个步骤我这跑了近五个小时，生产环境上线的时候只跑了大概十分钟左右，整个步骤没有任何问题。其实打完GI理论上就不用打DB了，但是很多打补丁都是GI和DB都打，我打DB也成功了，所以就都打了。验证Oracle Inventory的有效性，分别用grid，oracle用户验证。升级OPatch，两个节点都要升级，首先需要备份原来的OPatch。用户权限这样不行，很奇怪只有在家目录才能解压，给了权限也不行，升级oracle的OPatch，在两个节点。
2024-07-07 10:06:37
1459
原创 中标麒麟 RAC 19c 部署（Openssh免密BUG解决方案）
点击setup，成功后点击test。这里test大概率报错，原因是操作系统OpenSSH版本太高，ssl倒是没问题 。MOS上面说的 加-T参数我尝试了但没有解决。于是尝试了一下两种方式。都解决了问题。
2024-07-07 09:52:46
854
原创 Postgre 调优工具pgBadger部署
pgbadger是为了提高速度而构建的，具有来自pg日志文件的完整报告，他是一个小型的Perl脚本（linux需要安装perl），性能优于任何其他pg日志分析器。pgBadger 可以自动检测日志文件格式( syslog、 stderr、 csvlog或 jsonlog)。它被设计用来解析巨大的日志文件和压缩文件。支持的压缩格式有gzip、bzip2、lz4、xz、zip和zstd。还可以使用命令行选项将 pg Badger限制为仅报告错误或删除报告（可以自定义）的任何部分。
2024-06-16 22:06:56
1097
原创 PG 数据库常用参数调整
数据库中一个至关重要的参数,主要与参数 checkpoint_timeout(checkpoint_timeout配合使用,值越小意味着检查点要越快完成,要求写得要快。控制每次检査点发生时i/o的吞吐量,值越高,则/o占用的资源越少,数据库性能越好;值越低,则/o占用的资源越多,影响数据库性能,但是提高检査点完成速度。
2024-06-10 15:49:40
1189
原创 PG sql调优案例学习
经过分析发现,如果连接方式能够走嵌套循环,那么其成本比其它连接方式都低,当然我们要提供条件让优化器自动选择成本最低的连接方式,只要有一张表的访问方式是索引扫描,那么连接方式一般会选择嵌套循环。Employees表的复合索引在执行计划中起到了作用,或者选择在连接条件列上( employee_id, department_id, manager_id)创建单列索引Departments和 locations表的记录比较少,即使创建了单列或者多列索引,都不会使用索引。连接顺序是L>D->EMP-MGR-J
2024-06-10 14:52:58
650
原创 Postgre pg_fdw(foreign data wrappers)部署 实现PG到PG之间数据同步
可以看到数据已经访问成功，令人惊讶的是，我尝试了客户端的外部表与服务器的源表不一致，竟仍能访问成功！
2024-06-03 23:24:12
417
原创 PG 窗口函数
窗口函数也叫分析函数，也叫OLAP函数，通过partition by分组，这里的窗口表示范围，，可以不指定PARATITION BY,会将这个表当成一个大窗口。
2024-05-31 17:41:09
1092
OceanBase企业版v3部署，其中总结了部署过程的各种问题
2024-06-10
数据RAC11g 升级到 RAC 19c
2024-02-06
对于oracle11g 各种进程进行详解，进程与内存结构的关系，SGA的讲解
2024-01-26
linux中对于springboot程序生成火焰图，并对火焰图进行解析
2024-01-26
linux文件系统，inode，datablock，superblock，Filesystem Description等详解
2024-01-21
感觉是相同的代码却一个过得了一个过不了
2023-08-01
关于#google 地图API在安卓手机上运行#的问题，如何解决？
2023-07-11
单片机报错，I2C.c文件的相关问题
2023-05-27
mysql中出生年份的获取
2022-10-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人