资源放送丨2021数据库大咖讲坛（第5期）视频&PPT&互动问答

最新推荐文章于 2024-09-12 19:56:52 发布

数据和云

最新推荐文章于 2024-09-12 19:56:52 发布

阅读量333

点赞数

文章标签：数据库运维大数据 mysql java

原文链接：https://www.modb.pro/course/69?sjhy

版权

2021年8月6日，以“数据库安全与智能运维”为主题的2021年度数据库大咖讲坛第5期进行了线上直播。大会邀请来自万里数据库、腾讯云、云和恩墨、Greenplum的技术专家，就MySQL MGR、云数据库安全自治、AI在openGauss数据库的实现、Greenplum开源数据库透明加密等话题展开分享，通过ACDU（中国DBA联盟）和墨天轮技术社区搭建的平台，深入加强行业间的交流与合作。

数字化时代，随着业务的激增和数据量的爆发，数据库的规模也在急速扩大，传统运维方式已逐渐跟不上业务发展的需求，使得各种矛盾接连出现。为保障数据库“安全、稳定、高效”地运行，实现数据库智能运维是大势所趋。在这种业务需求的驱动下，各大公司的运维团队已经从传统DBA手动运维，逐渐向保障数据库安全前提下的工具化、产品化、自助化、自动化运维转型，也开始了智能运维在数据库领域的思考和实践。

本期大咖讲坛，我们邀请到多名业界专家，为大家分享如何构建“安全、稳定、高效”的数据库运维体系，以及从自动化运维向智能化运维过渡时所进行的思考、探索与实践。与行业同仁共同实现数据库的智慧未来！

MySQL高可用自动化切换之MGR

演讲嘉宾：叶金荣——万里数据库开源生态负责人，Oracle MySQL ACE总监，腾讯云TVP

MGR是MySQL未来实现读写可扩展战略的重要依托，可谓重中之重。MySQL MGR神似Oracle RAC，配合MySQL Shell以及MySQL Router，可以很方便地实现自动化切换，日常运维管理也非常省事，强烈推荐。叶金荣老师本次分享的主要内容有MGR简介、利用MySQL InnoDB Cluster套件更好地使用MGR以及MGR最佳使用实践经验。

演讲PPT下载：https://www.modb.pro/doc/42375

云数据库性能和安全自治最佳实践

演讲嘉宾：刘迪——腾讯云高级产品经理

本次演讲详细介绍了云数据库在“自治”领域的最佳实践，主要聚焦在云数据库“自诊断”、自优化”、“自安全”等领域的探索。通过剖析AI能力在数据库诊断和优化方面的技术突破，揭秘云数据库自治服务如何大量传统人工的数据库运维工作智能化，服务于云上和云下企业。并且通过解读2021年9月即将正式实施的《数据安全法》的具体细则，详细介绍如何构建数据库安全治理体系，包括从组织、制度、措施、审计四个维度入手，从事前、事中、事后三个阶段对数据实施防护措施。

演讲PPT下载：https://www.modb.pro/doc/42452

AI在openGauss数据库的实现解析

演讲嘉宾：高云龙——云和恩墨北区服务总监

人工智能已经走进了opengauss数据库，AI的助力让opengauss数据库不仅节省了人力成本，更是极大的提高了运维效率，通过提前预测避免了数据库故障的发生，让我们一起来解析AI在数据库的使用方式。

演讲PPT下载：https://www.modb.pro/doc/42374

深度揭秘Greenplum开源数据库透明加密

演讲嘉宾：王淏舟——Greenplum 研发工程师

数据加密已经成为保证数据库安全必不可少的一项要求。传统Greenplum使用额外UDF在实现数据加密，在易用性和性能方面都有所欠缺。为了满足客户对于数据加密的易用性和性能方面的要求，Greenplum实现了基于扩展组件模式的透明数据加密。该功能可实现原生用户数据自动加解密，无需修改查询语句且性能损失小。本次分享对Greenplum透明数据加密的实现进行了深入介绍。

演讲PPT下载：https://www.modb.pro/doc/42376

典型问题解答

Q1、多个节点为什么有性能问题？

（1）节点多了，需要向更多的节点广播，收集信息，汇总信息；

（2）数据在节点之间传播，消耗更多的资源，包括，网络，硬件资源。

Q2、在主节点进行分区操作，从节点会同步执行这个DDL操作吗？

会同步DDL操作。

Q3、低延迟网络，一般网络延迟为多少？

一般建议5-10ms以内，0.5ms以内更好。

Q4、有些是物理机，CPU是32c或64c,甚至更高，这种情况 slave_parallel_worker 也设置为CPU的两倍吗？

这个是指最高可以设置为逻辑CPU的2倍，在没有高并发的场景下，不用总是设置这么大，可以先观察PRIMARY节点上的事务并发度，例如观察 Threads_running 这个status值。

Q5、从传统的主从升级到MGR ,从库的数据需不需要重新从主库同步？

如果数据已经一致了，则不需要。如果不放心，可以先做下一致性检查，用pt-table-checksum之类的工具。或者干脆直接利用clone plugin复制一份，确保一致。

Q6、MGR不建议不同节点同一张表的DML?阻塞MGR会出现死锁，那么并发INSERT有无问题？

这里可能有些误会，是指不要在不同节点上对同一个表一边执行DML，一边执行DDL。MGR也是会发生死锁的，如果是在单节点上的并发DML操作，那么死锁场景和InnoDB的死锁是一样的。

Q7、两个MGR 集群之间是如何做到数据单向或双向同步的？

用MySQL原生的复制机制即可。

Q8、生产环境中，MGR自身能自动切换，但业务应用端是如何做到不用切换连接IP就能无感知的正常使用？

可以用MySQL Router或其他第三方中间件来实现，例如lvs、HAProxy、ProxySQL等，可根据个人掌握情况选择合适的。

Q9、双向同步复制的话，如果是大数据，有什么解决方案？

无论是MGR还是普通复制，都尽量不要跑大事务，尽量拆分成多个小事务。例如本来打算一次性UPDATE上千万条数据，可以变成跑一个循环，每次只UPDATE几千条数据，尽量不要超过上万条数据，然后提交一次，再执行下一次UPDATE，坚决不要一次性全部执行，很容易失败或造成其他严重后果。

Q10、如何预防恶意删库，也就是说，数据库执行高危动作，从流程上讲有没有具体的落地经验分享下。

所有访问数据库的账户，做到权限最小化，只给需要的权限。比如业务账户只有增删改查，没有DROP，甚至没有ALTER权限。还有代码自查，有没有DELTE不带where，所有新增账户，尤其是非应用账户，需要走公司流程申请，所有业务账户，至少要做到登录IP网段限制，非业务账户的登录限制，精确到IP。做好审计和监控。

Q11、说到数据库智能运维，故障告警关联和故障根源定位，腾讯云在这方面是如何解决的？

告警分为指标阈值告警和事件触发告警，通过关联性分析，结合故障根因进行输出。多个指标告警可能关联的根因是同一个，会协助区分出哪些指标是受影响的。

Q12、智能运维是自带软件控制系统，还是需要另外配置？

云商提供的数据库自治服务，可以支持云数据库、云服务器自建数据库、IDC自建数据库，提供2种接入方式：

（1）第一种是直接连接，只需要授权数据库账号名密码，但是只能实现云上自治能力的70%；

（2）部署agent接入，可以提供90%的自治能力（审计日志能力后续支持），agent计划开源。

Q13、加密数据查询的难点有哪些？

主要难点是：加解密要保证高性能，保证高并发事务不被影响，读写（即同时存在对一个表的加解密）互不干扰，数据库自动恢复支持，密钥管理自动化。

Q14、GPDB关于审计，能看到所有select操作的语句吗？即便是有一个用户只执行了一次，也能看到？

可以的，所有操作都会被记录。

Q15、我们根据总局文件要求，查询大于500行的都要记录日志，目前有什么好的办法吗？

GPCC（gpdb的可视化监控组件）可以支持查询日志查找和过滤，直接设置过滤条件就可以了，不过如果需要存储所有查询操作，日志文件会很大。

Q16、数据加密是否带有水印？能标识出数据的根源吗？

水印需要ETL或者客户端的支持，这样对数据库和用户就不透明了，目前不在透明加密的范围，属于安全组件的范围。

2021数据库大咖讲坛（第5期）视频回放地址：https://www.modb.pro/course/69（复制链接至浏览器或点击文末“阅读原文”观看）

关于ACDU （All China DBA Union）：

ACDU，创始于2020年，由ACOUG联合创始人、国内首位Oracle ACE总监、云和恩墨创始人兼首席架构师盖国强（eygle）先生倡议发起。该联盟主要面向以DBA为主，涵盖数据库相关设计、开发、测试、部署、运维等技术人群。ACDU通过墨天轮社区能够为所有的DBA提供一个线上和线下的沟通平台，在这里分享知识、经验以及工作心得，甚至可以寻求和获得帮助。我们注重于知识的传承、人才的培养，更崇尚数据技术带来的乐趣与成果，希望能够为中国DBA的持续成长做出应有的贡献。