- 博客(84)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 上周稼先社区的活动
整个活动下来，感受到了参天团队的热情和专业。和新闻联播一样，读秒开播。面向主要是社区内部。看来每周都有这种请外部人士进来交流。大家提问题也很踊跃。整体的专业也很强，尤其是他们对存储很专业。专业存储不仅仅是解决了本地盘的可靠性问题，其实数据库本身就是IO密集型产品。众所周知，数据库的优化主要就是去减少IO。当然如果实在减少不了，那么就是加速IO了。有些人没有意识到数据库和存储强相关。其实你看有时候同样一个数据库版本，但是在不同硬件环境下的运行状态和吞吐能力不一样。
2024-08-20 23:01:42
328
原创 OpenTenBase的深度使用体验
OpenTenBase，是企业级分布式数据库TDSQL的社区发行版。2023年12月16日，腾讯云将OpenTenBase捐赠给开放原子开源基金会。最初是TDSQL for PG，如今OpenTenBase已经包括了TDSQL的MySQL版（就是TPCC打榜的那个）
2024-08-18 20:15:42
623
原创 PostgreSQL的部分索引
我以前用过MySQL的部分索引。不过说实话使用场景不多。于是上次本来打算在书中也写这个。结果徐老师说PG的不一样。后来我尝试了。果然不一样。Seq Scan on xxg (cost=0.00…45691.00 rows=100000 width=12)(1 row)xxg=# \d xxgTable “public.xxg”Column | Type | Collation | Nullable | Default--------±--------±----------±---------±---
2024-08-12 21:03:41
841
原创 有些数据库最终走向了合并
分布式事务也控制不了N个数据库，其中还是异构数据库的，全体回退。比如一个系统需要用户的信息，每次调会员的接口。下次自己有的用自己的，没有再去找。结果就是自己理解的划分，或者说是抄别人的。终于原本的小寺庙成了个大寺庙，自然大寺庙就需要大寺庙的配套模式：开会、文件、沟通、协调、打分、评比……结果导致成立更多的部门，招聘更多的管理者，提拔更多的干部，设立更多的管理岗位，设置更多的考核、激励机制……你再看看hadoop的架构，也非常像上面提到的。首先如果要查询的数据在不同的数据库上，这下就无法关联查询了。
2024-08-11 20:00:25
354
原创 数据库的基础的exists
如果写成exists那么，这两种是一样的结果。那么这种就是返回了较少的表的全部数据。当然这种会随着两个表的数量上升以及关联的范围越来越大会变得越来越慢。有时候这个较少的表也很大。比如这时候子查询是2条。从日志中就可以看到，关联子查询不会再是子查询仅返回1行的那种优势了。而实际工作中X和表Y表都会很大。而且实际工作中更多的是这种写法。这种关联子查询的方式。其实日常工作中遇到的都是基础问题，很难有什么高级问题。实际上这样写，子查询有一条或者是1万条都是返回父查询，没有差别。我的新书中有更多有价值的的经验。
2024-08-05 21:31:12
465
原创 今天此文堪比出师表最后一句话
事情实在太多，最近里里外外都是事情，没时间写。今天早上有个读者加我，是悉尼的。至此人类常居住的大陆，仅剩下南美和非洲还没有读者了。估计也很难有，毕竟那里华人少。所以我觉得今天该写点什么。那写点什么呢？先说一下出版社说新书在月底可能来不及了，要8月初了。
2024-07-16 00:25:14
546
原创 成章数据库安装体验
一位来自国产数据库的朋友想请我试用一下他们的产品。并且直言早期问题比较多，还请多多包涵。一般对于这种比较客观和友好的我都愿意试试。对于怼天怼地吊打谁的我个人就不尝试了。他们中文名字叫“成章数据库“我就尝试从一个不了解产品的人的角度去安装尝试一下。我也和他们反馈了说这个怎么一个汉字都没有啊。（同样的话我以前对PingCAP的CTO黄东旭老师说过，后来TiDB的就都有中文了。不过是不是因为我说的就不知道了）官方意思这个产品主打海外。对于不在国内卷，而出去的产品我是赞赏的。
2024-06-23 10:30:55
954
原创 盛世古董乱世金-数据库稳定到底好不好？
是不是觉得这个还用问？是的要问。因为这个还是一个有争议的问题。但是争议双方都没有错。这就像辩论，有正反双方。大家都说的有道理，但是很难说谁对谁错。
2024-06-16 20:44:26
581
原创 不是说好数据库兼容了吗？为什么我还要改？
昨天 Roger总的《关于国产数据库选型，CTO、CIO看这篇就够了》又火了。文章中很多写的让各路群里感受到了共鸣。我对文中的没有大的争议。只是有些话李总说了前半句，后面没说。我来蹭一下。其实很多文章都说了一半，后一半没说。可能对读者会有误解，以为就到此结束了。
2024-05-16 00:09:53
554
1
原创 从“金事通”带给我意想不到的来说--“数据是架构的中心”
上周一个保险的销售人员来找我完成一定的售后流程。其中有一项是请我下载一个叫 金事通的 APP。说实在的我根本没听过。她说这是政治任务。我想不是有你们保险公司的APP了嘛。为什么还要我安装。没办法先安装吧。经历了注册、人脸识别的步骤后。可以登录了。注册短信发来的 中国银保信。很有意思不是某个保险公司，而是银保监会的。
2024-05-13 21:09:28
1034
原创 我觉得POC应该贴近实际
今天我看到一位老师给我一份测试数据。这是三个国产数据库。算是分布式的。其中有两个和我比较熟悉，但是这个数据看上去并不好。看上去第一个黄色的数据库数据是这里最好的了。但是即使如此，我相信大部分做数据库的人都知道。MySQL和PostgreSQL平时拿出的数据都比这些国产分布式数据库要好。那Oracle就更加不用说了。
2024-05-10 22:16:22
372
原创 Polardb集中式部署体验
PolarDB是阿⾥云数据库团队⾃主开发的云原⽣数据库。据了解PolarDB是产品品牌统称，云上PolarDB提供了Polardb MySQL版（集中式数据库），PolarDB PostgreSQL版（集中式数据库）和PolarDB分布式版（兼容MySQL）（简称：PolarDB- X） 三个产品版本，之前云上还有⼀个PolarDB兼容Oracle版，但已经与PolarDB-PG合并了。PolarDB对PostgreSQL版和分布式版做了开源，开源PolarDB的站点：OpenPolarDB.com。
2024-05-02 19:50:56
856
2
原创 OceanBase单机版安装体验
后来在其他的文档上找到了，关于第一次失败的原因。官方说了，应该调整这些。但是说只影响性能。但是我实测是不调整的话，初始化是不通过的。既然如此给官方个建议。在env的脚本中，为什么不直接给我们把这个调了呢？那就真的是一键安装了。
2024-04-25 20:38:25
511
原创 最近几家国产数据库都在求“鞭策”
在DTC的晚宴上，我正在低头拨虾，就听到一句要吐槽一下以Polardb为首的国产数据库。作为Polardb的形象代言人–德哥，在细品这句话以后露出了“迷之微笑”，赞许的点头，以Polardb“为首”这个用得好。3月的时候排名是这样的作为第一，有信心和有心胸，还愿意接受“吐槽”。我还没有用过，没有资格吐槽。不过大家可以去用用。就等空了安装了。不知道这个安装起来如何，比MySQL复杂比Oracle简单的话我能接受。如果比MySQL简单或者比Oracle复杂的话，我都会震惊的。
2024-04-22 23:31:53
172
原创 不是我说，这玩意也叫高可用？
背景：有人求助说数据库起不来了。原因是某个文件有问题（可以理解为无法访问或者读写）。我问有从库吗？说没有。这里的高可用架构是通过存储复制做的。然后高可用那端的文件也一样。听到这里随着这个系统不是我的，我都忍不住骂。这叫什么高可用？
2024-04-17 23:22:06
459
原创 今天你卷了吗？
高考的地狱模式是卷。100个人录取30个。再怎么努力也只有30个。反过来大家如果都不努力也录取30个。日常加量不加价的工作是卷。互联网公司就是1个人拿2个人的薪酬做3个人的事情。但是非互联网公司，一个人做2个人的事情还是3个人的事情拿的都是一份薪酬。不断扩张技能是卷。会一个技术栈拿这么多钱，会N个技术栈甚至全栈也拿那么多钱。
2024-04-16 22:05:17
260
原创 被客户端工具的bug惊出一身冷汗
相关运维部门需要统计数据库的一些参数，请我审核一下。当我看到MySQL这页的事务隔离级别时候当场站起来了。因为大面积的都是RR级别（REPEATABLE READ）。有关这个并不是今天的主题，我就不深入说了。其实日常使用只要记住一点就够了。这是MySQL的默认隔离级别。在这个级别下，如果事务中（比如update）表没有索引，或者的SQL没有用到索引，操作的表是表级别锁。知道这个就行了，其他的一些深入的了解其实对于日常来说用处不大。
2024-04-15 23:18:22
721
2
原创 2024年DTC的回顾与思考
刚结束了2024的数据库技术嘉年华这是我从2017年开始就参加的技术大会。中途因为疫情的耽误。正常来说我是连续的。知道我的朋友都知道我习惯炫耀一下。按照惯例，此时此刻群友都在写大会回顾。只是有几个不讲武德的人已经发送了。下面有主观和客观的分析。
2024-04-14 23:00:45
498
原创 备份也能给你搞出点问题来
为了防止数据丢失，防止一些灾难等等。管理上以及一些监管机构都对备份有要求。有的甚至要求保留几十天甚至180的要求。这些是为了防止故障，但是也有不少时候，没备份还没故障，结果备份导致了故障。
2024-04-07 21:18:58
286
原创 震惊！一次小时级到秒级的优化--原因实在不敢恭维
支持人员说可能打听到的逻辑是：更加excel的某几列去数据库的表中找到相应的数据，先进行一波删除。虽然整体设计和逻辑上我不认同这样做，但是这个又不是我的系统，帮别人就先按照优先的条件去做。这就1万的数据同步到50万的场景，硬是搞出了大数据（48亿行的运算）的场景。做技术的总有对技术的研究，深入研究的都知道大数据库本身就是数据库。原理也都是一样的，无论小马拉大车还是杀鸡用牛刀都是不合适的。正式上传的时候，就看到那个页面的进度条不动（估计在初始化），然后进度条开始了。不少人还会说，大数据的机器是要负荷高的。
2024-03-14 20:56:01
364
原创 其实很多人不了解SQL Developer
这种方法网上找不到，我是发挥自己的机智，在微信群中搜索关键字。就左下角出现了单独的SSH配置框然后建立SSH主机（这个就是堡垒机的地址）当然官方的最新的版本23C的在SSH上有bug。而且SQL Developer的实时监控约等于一个简化的EM。其实Oracle官方自己也有自己的工具叫SQL Developer。这个是个不错的软件。打开这个目录就看到了熟悉的tnsname.ora。就是把所有的配置（我自己名下权限的数据库连接字符串）导出了。然后在工具的连接框内就出现了配置文件中包含的数据库连接。
2024-03-13 17:42:40
1196
原创 【无标题】
今天还是主要是开源的，开源的可以自己搞就是上面说的，觉得自己可以解决。可以说很多架构问题都是出在数据层，例如常见的「烟囱式系统」带来的种种问题，特别是数据孤岛问题，其实本质上的原因就出在没有将数据层打通。开源软件写的也不容易（很多公司做的东西不开源，我觉得可能是开源了被内行看到说这写的什么玩意啊）。（当然如果是我们团队几个人一起在改，互相发送改的内容这个不算传播）那么就要按照开源软件的协议做，声明来自哪里，谁做的，并且也开源。我觉得这不是问题，别人做出来的，开源了不是他的义务，愿意开源好。
2024-03-06 20:54:12
407
原创 低代码工具APEX的入门使用（未包含安装）
那时候还没有流行低代码，直到2021年的时候，那时候开始低代码无代码。然后只要会写高质量的SQL，那么就完成了数据采集和数据展示的工作。请看Oracle ACE的网站，这就是用APEX做的。实际上有一次我看O记的人操作他们的办公流程，都是用APEX做的。但是我们要注意其实APEX这种技术不是现在才有的，Oracle11G的时候就有了。在外观对话框中，Apex默认提供了三种类型的主题和导航，我们可以⾃由选择。在APEX ⼯作区主⻚中，选择 SQL⼯作室，单击对象浏览器（就像客户端工具的一样功能）。
2024-03-04 22:18:08
402
原创 每当遇到一致性问题我就思念一个数据库好
估计马上就会被问责。例如，卡号可能是CARD_ID,也可能个是CARD_NO或者CARD_NUM，当然也可能是不带下划线等等。但是有些字段比如时间，连数据类型可能都不一样，比如有的是时间型，有些是字符型。那么其他数据库都是好的，也基本是瘫痪的。这个标准包含，字段名，字段含义、字段类型、字段长度和字段的值。例如，A系统的STATUS，表示发送状态。A系统的1表示全额付款，B系统的1表示部分支付。而且就风险和收益来说，我觉得应对风险的成本单实例成本低，性价比高。可能还有，不一一列出了，因为优点实在是太多了。
2024-02-26 19:59:43
342
原创 MariaDB落幕和思考
这个背景是说在宋代以前都是认为曹魏是正统，但是北宋灭亡后，南宋偏安一隅。考虑了半天，结果什么都没发生，只有自己这里发生问题了。很多系统中考虑了主备模式，甚至同城双活，两地三中心，现在三地五中心的也有。应该考虑，但是一年到头几乎没有遇到，毕竟国泰民安的，地震海啸属实不容易遇到，几年甚至几十年才有一次。比起说起来卡脖子了，闭源的来说，还是先看看自己的企业能坚持多久。更多的是风险还没来，公司关门了。就像是魏国，甲骨文说我买过来了（皇帝在我这里），我是正统。与其担心一些遥远的不着边际的问题，不如看看当下的问题。
2024-02-22 21:26:43
645
原创 MySQL到Redis的同步的做法（文末有官方推荐）
说清楚这个以后，还是要说如果有非常频繁访问的数据，还是应该放在Redis中，毕竟能解放在线交易数据库，就解放一点吧。毕竟每秒几十次的通过索引点查的请求对关系型数据库来说，这都不叫事（其实每秒几万也问题不大，感兴趣的话看我早期的公众号。这是把MySQL等数据库的计算过程说的慢，查询结算结果的快做了一个不公平的比较。最近Redis企业版推出了一个新功能，可以通过CDC的方式从RDBMS里面自动把数据变化同步到Redis，直接供应用从redis读取数据，避免了从业务逻辑层面处理数据导入导出的问题。
2024-02-21 17:07:03
492
原创 从starrocks安装说起和Oracle的OLAP殊途同归
它引入了更多的SIMD（Single Instruction, Multiple Data）指令，可以同时对多个数据进行操作，加快向量化计算和并行处理的速度。问过后原厂产研的老师非常准确的说，是avx2的问题。通过使用AVX2指令集，程序可以更高效地利用CPU的并行计算能力，加快运算速度，提高系统的响应能力。Oracle的In-memory之所以快，其实也是因为SIMD的原因（当然在内存中做就更加快了），而这个是2013年就发布的。对于做数据库的人都知道什么是交易型数据库，什么是分析型数据库。
2024-02-20 19:55:19
993
原创 DBA不仅仅是管理数据库--也要管理好需求
我想说就是如果砌的墙比紫禁城还高，但是就是有人就是要去偷鸡，他可以挖地道。但是软硬件提升的情况下，业务和SQL什么都不改，问题就解决了。所以有钱有有钱的做法，有些都惹不起的情况下，就用钱来解决吧。不同的数据库有不同的处理方式，不少数据库都有自己的解决方案。我多年经验告诉我，在设计一塌糊涂的前提下，优化显得苍白无力。比如不是什么人都能提需求，那种不靠谱或者不着调的人提的不靠谱、不着调的需求就要扼杀在摇篮里。现在酒驾的人少多了，但是依然有。而士兵指的是不靠谱的业务或者按照这种不靠谱的业务照单全收的开发人员。
2024-02-06 20:07:20
383
原创 DBA不仅仅是管理数据库--也要管理中间件
但是在一次次数据库问题甚至故障后，越来越多的开发人员意识到我说的是对的。多次中间件（这里指的是Tomcat的JVM和消息队列等）的问题（OOM或者是频繁Full GC）也是由于SQL造成的。因为一次取的数据太多，数据库把数据明细这种几十万甚至上百万的数据送到相关环节，这些环节一下处理不了这些数据，就发生了OOM或者是频繁Full GC。很早之前我说开发的主题语言其实更多的是SQL（这里并没有说Java不重要的意思），只是Java中并没有太多的业务逻辑。更多的是看看开发这里的问题。这里我主要指的是SQL。
2024-02-05 22:16:37
1592
原创 对比上次MySQL的DDL
这个命令在11G是不可能这么快的。而且也没有MySQL的超够64就会重新构建的问题。这个是在Oracle19C下的实验，特别说明。因为在Oracle11G下有些结论是不成立的。这个命令在11G是也是同样效果。MySQL的DDL未必都是可以快速完成的，那么Oracle同等场景下如何？再对这个表进行增加字段的DDL，带有默认值和非空约束。比较稳定的都是不到20毫秒的扩容和1.5秒左右的缩容。这个命令在11G是不可能这么快的。这个命令在11G是不可能这么快的。下面对这个进行增加字段的DDL。
2024-02-01 21:00:39
420
原创 即使在MySQL8上也不是所有DDL都是秒过的
MySQL8的特性借鉴了Oracle 11G的设计，将表结构放在数据字典上管理。换句话说小于64位的长度在这个区间内从小到大扩大是可以快速DDL的。大于64位的，从小小到大扩大也是可以快速DDL的。在MySQL8中可以看到没有非空，也没有默认值也是可以快速加字段的。这里涉及到的问题就是，数据字典存储64位长度以下的和存储64位以上是不一样的。但是就是主要如果从小于64扩大到超过64位，则需要考虑会发生表重构的可能。当然如果增加了，更加没有问题，可以快速增加字段。这里可以复现一下，构造了一个1000万的表。
2024-01-29 21:26:21
890
Pulsar问题无法调用SQL命令
2021-08-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人