关注
分享
woqutechteam
这个作者很懒，什么都没留下…
展开
-
【沃趣科技】从 Oracle 日志解析学习数据库内核原理
由浅入深，介绍了数据库中常见而又关键的概念，了解数据库思路以及工程实现中需要注意的事项。原创 2022-05-30 13:54:32 · 635 阅读 · 0 评论 -
对信用卡欺诈 Say No｜百行代码实现简化版实时欺诈检测
利用 Flink+QDecoder 可以很容易将 oracle 的增量变化取出来，同步给大数据平台或者数据湖，有助于将静态数据流动起来，帮助企业盘活数据资产，提升运营决策效果。原创 2022-03-02 16:32:08 · 4671 阅读 · 0 评论 -
【沃趣科技】直方图系列1
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在这个关于直方图的简短系列中，我们将讨论为什么需要直方图以及Orac...翻译 2019-12-23 11:43:15 · 391 阅读 · 0 评论 -
【沃趣科技】执行计划-6：推入子查询
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。在这个系列的第5部分，我们看了一些需要额外注意的”第一个子操作先执行...翻译 2019-12-11 09:36:22 · 341 阅读 · 0 评论 -
【沃趣科技】执行计划-5：第一个子操作的变化
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。我提出了“子操作按先后顺序执行，递归向下”的解释执行计划的基本策略，...翻译 2019-11-19 10:26:27 · 245 阅读 · 0 评论 -
【沃趣科技】Oracle RAC Cache Fusion系列十八：Oracle RAC Statisticsand Wait Events
沃趣科技作为国内领先的数据库云平台解决方案提供商，一直致力于企业级数据库云平台产品的研发，为用户提供高性能、高可用、可扩展的的数据库云环境及不同业务场景需求的数据库平台，满足客户对极致性能、数据安全、容灾备份、业务永续等需求。沃趣科技凭借专业的团队，优质的产品，前沿的技术，贴心的服务赢得了客户的信任与尊重，也获得了市场的认同。OracleDatabasePerformanceTuning...原创 2019-11-01 11:50:42 · 448 阅读 · 0 评论 -
Oracle RAC Cache Fusion 系列十七：Oracle RAC DRM
根据前面系列的文章的解释，我们知道PCM资源的Master节点是通过hash算法得出。那么在一个多节点的RAC集群中，数据块请求节点和存放它的相关锁元素信息节点有很大概率是不相同的。这就意味着用户对资源的请求会存在很多的2或3次回路，从而造成很多的消息通信增加私网的负载进而影响影响数据库的性能。为了缓解这种性能影响，Oracle使用资源的remaster来减少资源的跨节点请求。针对某一个数据库对象...原创 2019-10-28 09:53:04 · 306 阅读 · 0 评论 -
Oracle RAC CacheFusion 系列十六：Oracle RAC CurrentBlock Server
PCM锁资源存储方式有两种，1.如果PCM锁属于本地实例，那么它会被存储在本地实例的LE结构中。2.如果PCM锁属于远程实例那么它将会被分配存储在本地实例的共享池中。kclle结构： kcllerls表示release; kcllelnm表示name（id1，id2）; kcllemode表示hold-mode; kclleacq表示acquir...原创 2019-10-23 15:38:30 · 285 阅读 · 0 评论 -
执行计划-3：解释规则
在这系列的前两个部分中，我们列举了一些生成或者找回执行计划的方法，也学习了一些额外的步骤可以帮助我们模拟真实的环境来判断执行计划是否存在问题。这部分我们会熟悉整体解释执行计划的基本准则。在第四部分前，我们不用考虑使用谓词的部分。TheShapeof aplan我们会从一个简单的例子开始-创建几张表，连接它们，在我们检查执行计划的时候需要回答提出的问题。这里是数据生成的脚本：...翻译 2019-10-18 10:08:14 · 285 阅读 · 0 评论 -
Oracle RAC CacheFusion 系列十五：Oracle RAC CRServer Part Two
一致性读请求ktrget请求调用流程，调用kcbgtcr获取最佳缓存区域用以构建CR缓冲区，然后调用ktrgcm应用undo构建可用的CR缓存。kcbgtcr计算扫描hash桶，调用ktrexf查找最佳缓存区。如果在缓存区域在本地则结束，如果不在本地则调用kcbzib获得缓存区域。kcbzib请求调用kcbzgb获得一个buffer并且设置buffer的状态为Reading。ktr...原创 2019-10-14 09:35:17 · 223 阅读 · 0 评论 -
MySQL并发复制系列一：binlog组提交
并发复制（Parallel Replication） 系列 一 : Binary Log Group Commit作者：沃趣科技MySQL数据库工程师 麻鹏飞MySQL Binary log在MySQL 5.1版本后推出主要用于主备复制的搭建，我们回顾下MySQL 在开启/关闭 Binary Log功能时是如何工作的 。MySQL没有开启Binary log的情况下原创 2016-04-18 13:10:05 · 4980 阅读 · 1 评论 -
MySQL并发复制系列二：多线程复制
并发复制（Parallel Replication） 系列二： Enhanced Multi-threaded Slaves作者：沃趣科技MySQL数据库工程师 麻鹏飞首先梳理下传统MySQL/MariaDB主备复制基本原理： 主从复制通过三个线程来完成，在master节点运行的binlog dump的线程，I/O线程和SQL线程运行在sla原创 2016-04-18 13:13:26 · 2263 阅读 · 0 评论 -
MySQL并发复制系列三：MySQL和MariaDB实现对比
并发复制（Parallel Replication） 系列三：MySQL 5.7 和MariaDB 10的parallel replication对比作者：沃趣科技MySQL数据库工程师 麻鹏飞 经过上两篇关于MySQL／MariaDB 的Binary Log Group Commit的发展历程和enhanced multi-threaded slave的介原创 2016-04-18 13:18:56 · 1522 阅读 · 0 评论 -
PostgreSQL中删除的数据能否恢复
作者：沃趣科技首席数据库架构师 唐成问题的提出有人问PostgreSQL数据库中刚刚删除的数据能否被恢复？或更进一步，如果如要在一个事务中做了一系列的更新、删除、插入的操作后，把这个事务提交之后又后悔了，能否恢复到之前的状态？当然如果数据库有备份，可以直接从备份的数据中恢复，本文讨论的是没有备份的情况下原创 2016-04-18 13:27:41 · 2368 阅读 · 0 评论 -
Oracle并行基础一
Oracle并行基础（连载一）作者：沃趣科技高级数据库技术专家 魏兴华概述Oracle企业版有一项非常厉害的技术：并行查询，也就是说一个语句可以雇佣多个服务器进程（parallel slaves也叫PX slaves）来完成这一个查询所需要的结果。并行操作不仅仅能够充分利用主机的CPU资源，也能够充分利用系统的IO资源、内存资源，这看起来是一个优原创 2016-04-18 13:29:48 · 668 阅读 · 0 评论 -
Oracle并行基础二
Oracle并行基础（连载二）作者：沃趣科技高级数据库技术专家 魏兴华消费者生产者模型的限制根据上面的介绍，你已经知道了，一个并行操作内一般会具有两组PX slave进程，一组为生产者，一组为消费者。生产者通过table queue发送数据，消费者通过table queue接收数据。而且对于消费者和生产者模型，有一个很大的限制是：一组DFO单元最多只原创 2016-04-18 13:31:36 · 620 阅读 · 0 评论 -
Oracle 查询转换初探
概述Oracle查询转换器的作用是把原始sql重写为语义相同的语句，目的是为了获得更高效的sql。查询转换主要有四种技术：子查询展开，视图合并，谓词推入，星型转换。了解查询转换是掌握SQL优化的基础，本文将对这四种技术做一些简单的介绍。子查询展开子查询展开是指优化器不再把子查询作为独立的单元处理，而是转换成等价的join方式。转换有两种方式：一是将子查询的结果集原创 2016-04-18 13:33:27 · 741 阅读 · 0 评论 -
CBO的相关原理 系列一
CBO的相关原理CBO在oracle7中被引入，基于数据对象的统计信息（包括数据集的行数，唯一值的个数等等）来计算执行计划的执行成本。随着版本的演化，CBO逐渐完善起来，在9i开始使用系统统计信息(system statistics，系统统计信息的出现是为了估算SQL在CPU方面的消耗)。但是CBO仍然存在一些缺陷，通过了解CBO的一些相关原理，其缺陷大家也就很容易理解了，从而也会明白原创 2016-04-18 13:34:45 · 1284 阅读 · 0 评论 -
Oracle Memory Management and HugePage （连载二）
作者：沃趣科技高级数据库工程师 魏兴华 MSMM10G前SGA的管理是通过手工设置一系列的参数来实现的，例如重要的参数有以下几个：● buffer_cache_size● shared_pool_size● large_pool_size●原创 2016-04-20 17:08:57 · 4734 阅读 · 0 评论 -
Oracle Memory Management and HugePage （连载一）
在这篇文章中，我给大家介绍一些Oracle内存管理和大页的知识。Oracle发展这么多年，提供了多种的内存管理方式，从最早SGA、PGA手工管理，到9I版本出现的PGA的自动管理，到10G版本出现的SGA自动管理（ASMM)，再到11G版本出现的memory自动管理（AMM)，Oracle基本是在朝着智能化、傻瓜化、自动化的方向稳步前进着，对于初学Oracle的DBA来说，看到这些不同的内存管理方式一定心里有着不同程度的疑惑。原创 2016-04-20 17:06:58 · 4425 阅读 · 0 评论 -
基于Oracle的私有云架构探析（连载一）
云是当今最为热门的一个话题或者说技术，在数据库界也一样，Oracle 12G这个名字不硬生生被掰弯成了Oracle 12C,数据库云在我看来能给企业带来的第一价值是节省资源，提高服务器资源的利用率，随着更快速CPU、更廉价大内存的出现，企业传统孤岛式的数据库使用方式，一个主机一个实例，会导致大量的资源浪费。原创 2016-05-20 11:28:21 · 9912 阅读 · 0 评论 -
备份重于一切：远离“Gitlab删库事件”，QBackup是你的最佳选择！
作者简介：孙朝阳 沃趣科技高级产品经理。案发现场： Gitlab删库事件回顾Gitlab是大家很熟悉的开源Git代码托管工具，国内公司大多使用社区版自行搭建私有化的内部代码托管平台。Gitlab 的数据库采用PostgreSQL集群，db1.cluster和db2.cluster。另外还有db1.staging 和 db2.staging两台staging数据库原创 2017-02-17 13:20:54 · 1329 阅读 · 1 评论 -
#ASM 翻译系列第三十四弹：ASM INTERNAL ASM Disk Group Attributes
原文： ASM Disk Group Attributes 作者： Bane Radulovic 译者：邱大龙，沃趣科技数据库技术专家，主要参与公司产品实施、测试、维护以及优化。对SQL优化、数据迁移、备份容灾等有深入的研究，对大数据量数据迁移、故障恢复、高并发下数据库性能调优有丰富的经验。 审校：魏兴华 责编：仲培艺磁盘组的属性是ASM 11.1版本引入的，是磁盘组层面而原创 2017-02-28 12:22:03 · 580 阅读 · 0 评论 -
ASM 翻译系列第三十五弹：ASM 253号文件——ASM spfile
从ASM版本11.2开始，ASM spfile可以储存在ASM磁盘组里。事实上，在安装ASM时，OUI就已经把ASM spfile放在了磁盘组中。对于单实例环境和集群环境都是这样。在安装过程中创建的第一个磁盘组是spfile的默认位置，但这不是必要的。ASM spfile还是可以放在文件系统上，就是$ORACLE_HOME/dbs目录下。原创 2017-02-28 12:23:05 · 480 阅读 · 0 评论 -
ASM 翻译系列第三十六弹：ACFS磁盘组的重平衡操作
从Oracle 11.2版本开始，可以在ASM磁盘组之上创建通用的集群文件系统，被称为Oracle ASM Cluster File Systems或Oracle ACFS。原创 2017-03-01 09:41:33 · 444 阅读 · 0 评论 -
ASM翻译系列第一弹：基础知识 ASM AU，Extents，Mirroring 和 Failgroups
ASM Allocation Units在ASM磁盘组中，最基本空间分配单位是allocation unit，简称AU，每个ASM的磁盘在初始化后都会被切割成一个一个的AU。当磁盘组创建时，可以通过设置AU_SIZE的属性值，来指定AU的大小（在11.1版本以后），AU的大小可以是1，2，4，8，16，32，64MB，如果不指定AU的大小，默认值是1MB（Exadata下为4MB）原创 2017-02-22 10:32:48 · 632 阅读 · 0 评论 -
ASM 翻译系列第二弹：ASM 12C 版本新特性
随着Oracle 12c的发布，也就意味着全新版本的ASM面世了。已知的重大新特性有Flex ASM，数据预校验和更加便捷的磁盘管理操作。下面针对这几个方面进行详细介绍。Flex ASMFlex ASM特性可以允许ASM实例只运行在集群中某些节点上。默认安装将会创建3个ASM实例，而不管集群中节点的数量。一个ASM实例可以为本地和远端数据库提供服务。如果一个ASM实例crash，数原创 2017-02-22 10:34:04 · 927 阅读 · 0 评论 -
ASM翻译系列第三弹：ASM disk的基础知识
groups、disks和filesOracle ASM使用磁盘组来存放数据文件，每一个ASM的磁盘组由一些ASM磁盘组成，每一个ASM磁盘组本身是一个独立的存储单元，是自描述的，对于ASM磁盘组中数据库文件，ASM提供一个文件系统的接口，方便DBA做管理。存放在ASM磁盘组中的文件被均匀的分布在磁盘组中的所有磁盘上，通过这种方式，每一块磁盘都可以提供一致的性能，同时ASM的性能可以比得上原创 2017-02-22 10:36:20 · 482 阅读 · 0 评论 -
ASM 翻译系列第四弹：高级知识kfed元数据编辑器
kfed - ASM metadata editorkfed是一个没有官方文档记录的ASM工具，它可以用来读取和修改ASM的元数据块。它本身是一个独立的工具，独立于ASM实例，因此不管实例是否启动，ASM磁盘组是否mount ，它都可以正常使用。kfed最为强大的地方在于它可以修复ASM损坏的元数据。kfed的二进制文件在最近的ASM版本中直接可用，如果你没有在$ORACLE_HO原创 2017-02-22 10:37:27 · 729 阅读 · 0 评论 -
ASM 翻译系列第五弹：高级知识 ASM 元数据概述
ASM 元数据概述ASM的元数据由ASM实例进行维护和管理，元信息本身非常重要，ASM磁盘组中的文件要想被Oracle DB和其他客户端正常使用，就要求元信息一定要是完好无损的，ASM的元信息以元信息块的形式存储在磁盘组中。译者注：ASM的元信息可以类比为Oracle数据库的数据字典，一旦核心的元信息发生毁坏，那么ASM磁盘组将不能被装载继而提供服务。有些ASM元数据在每个A原创 2017-02-22 10:49:20 · 671 阅读 · 0 评论 -
ASM 翻译系列第六弹：高级知识 如何映射ASMLIB管理的盘到它对应的设备名
当使用ASMLIB 来管理ASM 磁盘时，设备的路径信息是不会在gv$asm_disk视图path列中显示的，如果你使用的是ASMLIB Support Tools 2.1 或者更高（oracleasm-support-2.1*的rpm包）版本,可以通过root用户运行’oracleasm querydisk -p’来获得设备路径信息：# ls -l /dev/oracleasm/disks原创 2017-02-22 10:50:57 · 377 阅读 · 0 评论 -
#ASM 翻译系列第十六弹：ASM Internal ASM Active Change Directory
原文： ASM Active Change Directory 作者： Bane Radulovic 译者：郭旭瑞，沃趣科技产品交付部经理，负责QData Cloud高性能数据库云平台、QBackup数据库秒级备份恢复云平台等产品的整体交付管理与技术支持、维保服务工作。 审校：魏兴华 责编：仲培艺当ASM实例要对多个元信息block进行原子修改时，ASM的active ch原创 2017-02-22 11:00:42 · 680 阅读 · 0 评论 -
ASM 翻译系列第十七弹：ASM Internal ASM Disk Directory
原文： ASM Disk Directory 作者： Bane Radulovic 译者：郭旭瑞，沃趣科技产品交付部经理，负责QData Cloud高性能数据库云平台、QBackup数据库秒级备份恢复云平台等产品的整体交付管理与技术支持、维保服务工作。 审校：魏兴华 责编：仲培艺本篇文章讲述ASM元信息的2号文件，ASM的2号文件是ASM的磁盘目录，它跟踪磁盘组中的所有磁盘原创 2017-02-22 11:05:51 · 368 阅读 · 0 评论 -
ASM 翻译系列第十一弹：高级知识 Offline or drop？
原文： ASM disk header 作者： Bane Radulovic 译者：庄培培，沃趣科技数据库售前工程师，主要负责数据库平台架构方案设计、产品验证测试。 审校：魏兴华 责编：钱曙光Offline or drop?当一个ASM磁盘不可用时，ASM会把它从磁盘组里移除，对吗？要看情况，通常取决于ASM版本和磁盘组的冗余级别。因为一个external冗余的磁盘原创 2017-02-22 11:07:59 · 486 阅读 · 0 评论 -
ASM 翻译系列第七弹：高级知识 How many partners？
ASM的数据冗余机制是通过将extent的镜像副本复制到同一磁盘组不同failgroup的磁盘上来实现的，这个磁盘被称为partner磁盘。在11GR2版本，一个冗余（Normal,High)的磁盘组，每一个ASM磁盘最多可以拥有8个partner磁盘，而在11GR2版本之前每一个磁盘最多拥有10个partner。在external冗余方式的磁盘组内既没有failgroup，磁盘之间也没有part原创 2017-02-22 11:09:33 · 428 阅读 · 0 评论 -
ASM 翻译系列第八弹：ASM Internal ASM file extent map
当ASM创建一个文件时（例如数据库实例要求创建一个数据文件），它会以extent为单位分配空间。一旦文件被创建，ASM会传递extent映射表给数据库实例，后续数据库实例能在不和ASM实例交互的情况下访问这个文件。如果一个文件的extent需要被重新定位，比如磁盘组进行rebalance操作，ASM会告知数据库实例关于extent映射表的变更。可以通过查询ASM实例的X$KFFXP视图来获取A原创 2017-02-22 11:12:25 · 488 阅读 · 0 评论 -
ASM 翻译系列第九弹：ASM工具箱
本篇文章主要介绍几个大家应该熟练掌握的ASM工具。asmcmd - command line interface to ASMASM最初发布时，asmcmd的功能还很弱。从11gR2版本开始，asmcmd已经成为一个功能非常强大且常用的工具。ASMCA - ASM configuration assistantASMCA有两种使用方式，第一种是比较容易使用的图形界面，还有一种是静默原创 2017-02-22 11:14:49 · 460 阅读 · 0 评论 -
ASM 翻译系列第十弹：ASM Internal ASM DISK header
原文： ASM disk header 作者： Bane Radulovic 译者：庄培培，沃趣科技数据库售前工程师，主要负责数据库平台架构方案设计、产品验证测试。 审校：魏兴华 责编：钱曙光ASM disk headerASM磁盘头可能是ASM元数据中最广为人知的部分。之前你可能认为当它被破坏或丢失时，只能寄希望于Oracle技术支持人员协助来恢复。在本节中将解释原创 2017-02-22 11:24:47 · 466 阅读 · 0 评论 -
ASM 翻译系列第十一弹：高级知识 Offline or drop？
原文： ASM disk header 作者： Bane Radulovic 译者：庄培培，沃趣科技数据库售前工程师，主要负责数据库平台架构方案设计、产品验证测试。 审校：魏兴华 责编：钱曙光Offline or drop?当一个ASM磁盘不可用时，ASM会把它从磁盘组里移除，对吗？要看情况，通常取决于ASM版本和磁盘组的冗余级别。因为一个external冗余的磁盘原创 2017-02-22 11:25:59 · 711 阅读 · 0 评论 -
ASM 翻译系列第十二弹：ASM Internal amdu - ASM Metadata Dump Utility
原文： ASM disk header 作者： Bane Radulovic 译者：庄培培，沃趣科技数据库售前工程师，主要负责数据库平台架构方案设计、产品验证测试。 审校：魏兴华 责编：钱曙光amdu - ASM Metadata Dump UtilityASM Metadata Dump Utility，即ASM元数据导出工具，它的简写amdu更被人所熟知，常被O原创 2017-02-22 11:27:15 · 633 阅读 · 0 评论