- 博客(135)
- 收藏
- 关注
RSS订阅原创 开源大数据集群部署（二十一）Spark on yarn 部署
yarn的capacity-scheduler.xml文件修改配置保证资源调度按照CPU + 内存模式：(每个yarn 节点)修改mapred-site.xml: （每个yarn节点）Spark 环境配置文件 （每个spark节点）Spark 配置文件 （每个spark节点）直接访问histroy server。创建对应hdfs目录，并修改权限。开启history server。更多技术信息请查看云掣官网。
2024-04-16 17:41:10
549
1
原创 MySQL运维实战之ProxySQL（9.4）proxysql和后端MySQL自动切换
将主库和备库的hostgroup配置到mysql_replication_hostgroups表中后，proxysql会检测主备库的read_only状态。当检测到read_only从OFF变成ON时，会将writer_hostgroup中的主机添加的reader_hostgrup中。当检测到read_only从ON变成OFF时，会将主机从reader_hostgroup中移到writer_hostgroup中。后端MySQL实例的高可用，需要借助其它方式来实现，如MHA。更多技术信息请查看云掣官网。
2024-04-16 14:55:07
246
原创 PostgreSQL开发与实战（8.2）PG的锁2
咨询锁是一种具有应用层面的锁，数据库中一般不会主动调用相关咨询锁资源，需要开发同学在应用层决定是否需要使用这类锁。咨询锁使用的模型是悲观锁模型，相对于传统意义上的锁，咨询锁更快，可以避免表膨胀，并在会话结束时由服务器自动清除。会话级别的锁需要显式释放，随着连接的关闭自动释放事务级别的锁也需要显式释放，或者会随着事务的结束（提交或者回滚）一并释放_lock ： 会话级别锁_xact_lock ：事务级别锁_lock() : 获取指定参数下的会话/事务级别排它锁资源。
2024-04-12 16:10:54
636
原创 使用clickhouse-backup备份和恢复数据
支持单表/全库备份支持备份上传到S3/FTP等存储支持单表/全库恢复本文对备份工具的使用做一些介绍。可以使用clickhouse-backup命令行工具进行备份和恢复操作。使用clickhoues-backup有几个前提条件需要能访问clickhoues的数据目录（如/var/lib/clickhoues, 在docker或k8s环境中，需要将数据卷挂载到同样的路径）需要有clickhouse账号，能访问clickhouse服务，执行一些sql。
2024-04-12 15:50:58
1137
原创 MySQL运维实战之ProxySQL（9.3）使用ProxySQL实现读写分离
作者：俊达proxysql读写分离主要通过mysql_query_rules表中的规则来实现。
2024-04-11 15:45:38
775
原创 在K8S上使用Clickhouse
clickhouse是一款开源的分析型数据库，性能强大。本文介绍如何在K8S环境中部署和使用clickhouse。我们使用开源的clickhouse operator：相关依赖：k8s 1.15+。我们使用了k8s 1.20。8C16G 3节点。存储CSI。我们使用了nfs。nfs仅用作测试，生产环境不建议使用nfs作为数据库存储。
2024-03-25 16:30:30
1234
原创 MySQL运维实战之ProxySQL（9.1）ProxySQL介绍
在这个架构下，客户端并不需要知道连接的是proxysql，对客户端而言，他连接的是一台标准的mysql服务器。在proxysql后端，可以是一个使用mysql复制技术搭建的集群，或者是一个group replication集群。如果后端mysql集群发生了主备切换，proxysql可以自动感知到，客户端不用做特殊处理，就能实现数据访问高可用。proxysql本身支持mysql协议，对客户端而言，proxysql本身就是一台mysql。应用通过dns连接后端实例，当后端发生切换后，将dsn指向新的主库。
2024-03-25 16:06:16
432
原创 MySQL运维实战之备份和恢复（8.9）xtrabackup备份指定表
通过–tables，–tables-file，–databases，–databases-file等参数指定需要备份的表。通过这种方式备份的数据库，只能通过import tablespace的方式恢复。具体操作方法参考上一篇文章。如果实例设置了参数innodb_file_per_table，xtrabackup可以备份部分表。更多技术信息请查看云掣官网。
2024-03-19 10:26:14
393
原创 MySQL运维实战之备份和恢复（8.8）恢复单表
作者：俊达xtrabackup支持单表恢复。如果一个表使用了独立表空间(innodb_file_per_table=1)，就可以单独恢复这个表。
2024-03-14 16:07:23
496
原创 Clickhouse MergeTree 原理（一）
作者：俊达MergeTree是Clickhouse里最核心的存储引擎。Clickhouse里有一系列以MergeTree为基础的引擎（见下图），理解了基础MergeTree，就能理解整个系列的MergeTree引擎的核心原理。本文对MergeTree的基本原理进行介绍。
2024-03-13 15:38:18
999
原创 MySQL运维实战之备份和恢复（8.5）xtrabackup恢复增量备份
作者：俊达恢复增量备份时，需要先对基础全量备份进行恢复，然后再依次按增量备份的时间进行恢复。
2024-03-06 17:04:46
417
原创 PostgreSQL开发与实战（5）备份管理pg_probackup
提供增量备份，增量备份一定程度上可以节省磁盘空间的使用并且减少备份时间消耗可通过全量备份+增量备份进行增量恢复无需通过实际的数据恢复操作验证备份文件是否有效可以通过设置恢复时间以及备份最大文件数来进行备份文件以及WAL归档日志的保留策略对于backup、restore、merge、delete、validate、checkdb操作都可开启并发线程执行提供压缩备份以节省磁盘空间可对远程实例进行备份恢复可从standby实例进行备份。
2024-03-05 16:52:14
1083
原创 开源大数据集群部署（十四）Ranger集成Hbase
访问地址：http://hd1.dtstack.com:6080/在hmaster和back master上进行安装和执行。用户密码：admin/rangerAdmin123。在hd1.dtstack.com主机上执行。测试连通性，连接成功后保存即可。更多技术信息请查看云掣官网。
2024-03-05 15:19:39
1962
原创 客户案例｜用友NC财务系统上云
本文分享一次成功将用友NC财务系统上云的经验，主要涉及阿里云上Oracle ASM存储扩容，阿里云ESC RAC服务器扩容，阿里云上Oracle RAC数据库迁移等相关技术，一起来看看吧！
2024-03-04 17:19:40
1854
原创 PostgreSQL开发与实战（4）查询性能Top SQL
pg_stat_statements可跟踪服务器执行的所有SQL语句的计划信息和执行统计信息，详见官方文档说明：[http://postgres.cn/docs/13/pgstatstatements.html](http://postgres.cn/docs/13/pgstatstatements.html)
2024-03-01 14:48:12
731
原创 MySQL运维实战之备份和恢复（8.4）xtrabackup恢复全量备份
作者：俊达恢复全量备份大致可以分成以下几步：解压备份文件、prepare备份文件、将数据copy到目标实例相关目录、启动数据库实例。
2024-03-01 14:36:45
1155
原创 MySQL运维实战之备份和恢复（8.3）xtrabackup增量备份
在做增量备份之前，需要先做一个全量备份。xtrabackup会基于innodb page的lsn号来判断是否需要备份一个page。如果page lsn大于上次备份的lsn号，就需要备份该page。增量备份时需要根据xtrabackup_checkpoints中的lsn。我们可以根据业务的具体情况，制定合适的备份策略。比如每周末进行一次全量备份，其他时间每天进行一次增量备份。需要注意的是，恢复增量备份时，需要增量备份前的全量备份，以及该增量备份和全量备份之间的所有增量备份。更多技术信息请查看云掣官网。
2024-02-29 16:47:31
626
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人