- 博客(48)
- 收藏
- 关注
原创 Oracle Data Guard常用命令
至此,正常切换完成,可在主库insert/update数据看是否实时可在备库中select到。SESSIONS ACTIVE:当前主机存在活动会话,但也可切换为备机。SESSIONS ACTIVE:当前备机存在活动会话,但页可切换为主机。TO STANDBY:当前主机已就绪,可切换为备机。TO PRIMARY:当前备机已就绪,可切换为主机。此时,主库已经切换为备库,下面可以在所有备库选择一个切换为主库。3.若原主库故障解决,利用RMAN将主库恢复到备库。至此,应急切换完成,备库可正常使用了。
2024-03-23 17:19:05
366
原创 Oracle Data Guard部署
initorcl.ora 此文件是主库的配置文件,上一步scp过来的,下面的仅供参考,请根据实际情况修改。装oracle软件(路径保持一致),不需要装库。两边都需要同样的操作,确保没有任何报错。11.2 备库创建日志组。
2024-03-23 15:51:29
473
原创 Linux安装Oracle 11G
2、下载Oracle安装包:linux.x64_11gR2_database_1of2.zip 和 linux.x64_11gR2_database_2of2.zip;1、CentOS7自行安装(64位),网络自行配置;3、HostName修改:oracle。
2024-03-23 15:13:10
2428
原创 监控系统prometheus+grafana+发送告警信息
targets: ['xxx.xxx.xxx.xxx:9100'] 添加多个主机以逗号分隔['xxx.xxx.xxx.xxx:9100','xxx.xxx.xxx.xxx:9100']6、node_exporter下载地址 https://prometheus.io/download/5、grafana官网下载 https://grafana.com/grafana/download。4、prometheus官网下载 https://prometheus.io/download/
2024-03-16 20:53:20
1604
原创 TiDB学习笔记(七)-数据库系统优化
一、TiDB Server 关键性能参数与优化处理器-动态节能技术cpupower frequency-set --governor performance处理器-中断亲和性 NUMA绑核 内存-透明大页 内存-虚拟内存参数 存储及文件系统 I/O调度器 格式化参数-块大小 挂载参数 网络二、PD 关键性能参数与优化三、TiKV 关键性能参数与优化线程池调优gPRC线程池 负责网络IO,反序列化, server.grpc-concurrency 默..
2022-04-20 15:06:11
2000
原创 TiDB学习笔记(六)-数据库查询优化
预处理阶段针对点查进行优化(直接下推到SQL执行器。优化原因:优化方式单一,使用频率最高。) 构造出事的逻辑执行计划 常量折叠 表达式简化 子查询处理(子查询转换为表连接) 逻辑优化列剪裁 分区剪裁 聚合消除 MAX/MIN优化 投影消除 外连接消除 谓词下推 连接顺序调整物理优化扫描方式 全表扫描 索引扫描-索引选择 算子物理实现方式 聚合算子 连接算子 排序算子 是否将算子下推到存储层 聚合算子 limit算子 Top..
2022-04-17 18:33:35
1840
原创 TiDB学习笔记(五)-数据库事务设计
事务四大特性ACID事务隔离级别事务隔离级别区分现象2PC two-phase commit缺点:同步阻塞 单点故障 网络延迟Percolator要素:TSO全局时序,隔离级别 并发控制协议,2PC优点:实现简单 基于单行事务基础上,实现了跨行事务 去中心化的锁管理缺点需要管理中心化的版本号 网络交互较多快照隔离级别Snapshot Isolation,事务只能看到早于它开始时刻之前提交的其他事务。和可重复读类似,不会出现幻读。如果是悲观锁则和MySQ
2022-04-14 22:33:41
782
原创 TiDB学习笔记(四)-HTAP
HTAP可拓展性 分布式事务 分布式存储 OLAP和OLTP 同时支持行存和列存 OLAP和OLTP业务隔离 实时性 行存与列存数据实时同步 TiDB的HTAP特性行列混合 列存支持基于主键的实时更新 TiFlash作为列存副本 OLAP和OLTP业务隔离 智能选择 MPP架构(TiFlash)MPPTiDB Server作为协调者 所有MPP计算都在TiFlash节点内存中完成 只支持等值连接 nforce_mpp帮助验证是否可以使用M.
2022-04-13 22:30:30
496
原创 TiDB学习笔记(三)-Schema设计
TiDB不支持的数据对象:Function、Procedure、TriggerSchema的KV映射原理:数据时在RocksDB中以KV方式存储表编号+主键 作为key,其他列 作为value非聚簇表: key:TableID_RowID Value:所有列组成聚簇表: key:TableID_Col1 Value:Col1之外的列组成默认创建的就是聚簇表特点:表中的行数据存储顺序与主键存储的顺序一致 主键是KV映射中key的一部分 通过主键访问行记录时,可...
2022-04-07 22:44:30
927
原创 TIDB学习笔记(二)-体系架构
TIDB的优势:分布式,高度兼容MySQL,高可用,支持ACID事务(事务模型:Percolator),丰富的工具链生态TiDBSQL层,解析SQL,将数据读取请求发给TiKV/TiFlashPD集群的大脑。元信息管理模块,负责存储每个 TiKV 节点实时的数据分布情况和集群的整体拓扑结构,分配分布式事务ID,根据 TiKV 节点实时上报的数据分布状态,下发数据调度命令给具体的 TiKV 节点TiKV存储数据,分布式提供事务的KV存储引擎存储数据的基本单位是Region,每个TiKV会负
2022-03-24 15:16:38
1984
原创 MySQL高可用架构特点对比
MGR局限性存储引擎必须为Innodb,即仅支持InnoDB表,并且每张表一定要有一个主键,用于做write set的冲突检测; 每个表必须提供主键; 只支持ipv4,网络需求较高; 必须打开GTID特性,二进制日志格式必须设置为ROW,用于选主与write set; COMMIT可能会导致失败,类似于快照事务隔离级别的失败场景; 目前一个MGR集群组最多支持9个节点; 不支持外键于save point特性,无法做全局间的约束检测与部分部分回滚; 二进制日志binlog不支持Replica
2022-03-18 09:44:43
3664
原创 MySQL5.6 5.7 8.0区别
MySQL 5.5InnoDB代替MyISAM成为MySQL默认的存储引擎。 多核扩展,能更充分地使用多核CPU。 InnoDB的性能提升,包括支持索引的快速创建,表压缩,I/O子系统的性能提升,PURGE操作从主线程中剥离出来,Buffer Pool可拆分为多个Instances。 半同步复制。 引入utf8mb4字符集,可用来存储emoji表情。 引入metadata locks(元数据锁)。 分区表的增强,新增两个分区类型:RANGE COLUMNS和LIST COLUMNS。 My
2022-03-11 15:29:40
1730
原创 TiDB学习笔记(一)-PCTA
一、分布式存储系统TiDB使用LSM Tree数据结构。B树需要两次写,LSM Tree用顺序写入替换随机写入rocksdb存储引擎支持批量写入,无锁快照读Raft协议逻辑清晰,安全性高 RPO=0 RTO<30stikv采用自动分片 range 高效扫描数据,弹性分片,自动分离与拓展 96MB自增分片,20MB合并分片 热点分片问题MVCC 在key后添加版本号 key_version_value分布式事务:去中心化两阶段提交,默认乐观事务锁,默认隔离级别...
2022-03-01 23:06:46
893
原创 Redis使用规范
1.拒绝bigkey value不应超过1MB。其中string类型的值应控制在10KB以内,hash,list,set,zset元素个数不应超过5000个且单个元素应非常小。2.控制key的生命周期 key应设置过期时间。最好可以设置不同的过期时间,防止集中过期引起的缓存雪崩。 缓存雪崩:大量key在同一时间段失效,大量请求直接到达存储层。 (补充: 缓存穿透:访问一个不存在...
2022-02-11 15:40:58
1492
原创 MySQL索引原则
索引是帮助数据库高效获取数据的数据结构。MySQL默认使用Innodb存储引擎,Innodb使用B+Tree。一.索引的优缺点 优点:索引可以提高检索速度,减少扫描的数据量,避免排序和临时表,可以将随机IO变成顺序IO。 缺点:降低表的更新速度(insert,update,delete),创建索引需占用磁盘空间,需维护成本。二.索引类型普通索引 CREATE INDEX .... 主键索引 PRIMARY KEY 特殊的唯一索引,不允许有空值。 唯...
2022-02-11 15:40:26
770
原创 MySQL数据库规范
一.字符集和排序规则 同一个数据库实例内,应使用相同的字符集和排序规则。 字符集应使用utf8mb4,排序规则应使用utf8mb4_bin。utf8mb4_bin大小写敏感(utf8字符集没有包含完整的Unicode字符) 不同的字符集和排序规则,容易导致性能问题和大小写判断问题。二.总体命名规则 (1)不应使用MySQL关键字进行对象命名。(例:add,alter,drop等) (2)名字不应使用无意义字符,做到见...
2022-02-11 15:39:40
1596
原创 ELK安装部署
ES、Kibana、Logstash、Filebeat尽量安装同一版本,本文安装的是6.2.3版本。环境准备:关闭防火墙、SElinux。需java环境,采用的jdk1.8。Filebeat->Kafka->Logstash->ES->KibanaES、KibanaIP:10.0.1.190 安装目录:ES:/data/elasticsearch Kibana:/usr/local/kibanaLogstashIP:10...
2022-02-09 15:26:13
854
原创 MySQL 8.0.17+版本的clone-plugin 应用
1 . Clone Plugin介绍本地克隆:启动克隆操作的MySQL服务器实例中的数据,克隆到同服务器或同节点上的一个目录里远程克隆:默认情况下,远程克隆操作会删除接受者(recipient)数据目录中的数据,并将其替换为捐赠者(donor)的克隆数据。您也可以将数据克隆到接受者的其他目录,以避免删除现有数据。(可选)2. 原理# PAGE COPY这里有两个动作开启redo archiving功能,从当前点开始存储新增的redo log,这样从当前
2021-11-28 11:49:40
450
原创 Percona-toolkit工具详解
1. pt工具安装[root@master ~]# yum install -y percona-toolkit-3.1.0-2.el7.x86_64.rpm2. 常用工具使用介绍2.1 pt-archiver 归档表# 重要参数--limit 100 每次取100行数据用pt-archive处理 --txn-size 100 设置100行为一个事务提交一次, --where 'id<3000' 设置操作条件 --progress
2021-11-28 11:48:07
323
原创 MySQL常见问题
1. 业务是什么?产品的功能用户的行为(热功能,热数据)2.你们公司用什么版本数据库?5.6.38 5.7.20 3. 你们公司怎么还在用这么低的版本?我们这个业务已经运行了4年了,一直用的5.6版本,非常稳定,所以说暂时没有打算升级。4. GA时间问题漏洞怎么说?答:刚去上家公司不到两年,交接的时候已经运行了2年多了,我接手的时候版本已经是5.6.38 ,应当是做过小版本的升级。5. 我们现在公司用的是5.7,你能胜任吗?能。虽然我们生产中一直使用
2021-11-28 11:46:03
585
原创 MySQL笔试题(附答案)
一、简答题1.简述你们公司使用的MySQL版本,并说明具体小版本及GA时间?5.6.38 5.7.20 2017-9-132.请介绍你熟悉的数据库的种类和代表产品名称?NoSQL:Redis Mongodb memcacheRDBMS:Oracle MySQL MSSQL PG3.请简述MySQL二进制安装重点步骤?1.下载,上传,解压2. 创建用户3. 创建相关目录并授权4. 设置环境变量5. 初始化数据6. 配置文件7. 配置启动脚本4.怎
2021-11-28 11:37:47
7757
1
原创 MySQL安装部署 (5.6,5.7,8.0)
5.6.44 二进制包安装部署解压到以下目录[root@oldboy ~]# ll /usr/local/mysql56/drwxr-xr-x. 2 root root 4096 Jun 3 11:20 bin-rw-r--r--. 1 7161 31415 17987 Mar 15 15:38 COPYINGdrwxr-xr-x. 3 root root 18 Jun 3 11:19 datadrwxr-xr-x. 2 root root 55 Jun
2021-11-28 11:33:25
95
原创 MySQL多实例-MGR部署实战
MGR介绍基于传统异步复制和半同步复制的缺陷——数据的一致性问题无法保证,MySQL官方在5.7.17版本正式推出组复制(MySQL Group Replication,简称MGR)。由若干个节点共同组成一个复制组,一个事务的提交,必须经过组内大多数节点(N / 2 + 1)决议并通过,才能得以提交。如上图所示,由3个节点组成一个复制组,Consensus层为一致性协议层,在事务提交过程中,发生组间通讯,由2个节点决议(certify)通过这个事务,事务才能够最终得以提交并响应。引入组复制,主要
2021-11-28 11:32:03
176
原创 MySQL分布式架构-中间件Mycat
1. MyCAT基础架构图2. MyCAT基础架构准备2.1 环境准备:两台虚拟机 db01 db02每台创建四个mysql实例:3307 3308 3309 33102.2 删除历史环境:pkill mysqldrm -rf /data/330* mv /etc/my.cnf /etc/my.cnf.bak2.3 创建相关目录初始化数据mkdir /data/33{07..10}/data -pmysqld --initialize-insecu.
2021-11-28 11:26:02
236
原创 Mongodb常用
第一章:逻辑结构Mongodb 逻辑结构 MySQL逻辑结构库database 库集合(collection) 表文档(document) 数据行选择之所以称之为选择,肯定是痛苦的! ------->oldguo 第二章:安
2021-11-28 11:22:10
196
原创 Redis常用
NoSQL 产品(key-value)RDBMS :MySQL,Oracle ,MSSQL,PGNoSQL :Redis,MongoDB,列存储存储相关NewSQL----->分布式数据库架构(学习了MongoDB)缓存产品介绍:memcached (大公司会做二次开发)redisTair1. Redis功能介绍数据类型丰富 (笔试、面试)*****支持持久化 (笔试、面试) *****多种内存分配及回收策略支持事务 (面试)
2021-11-28 11:18:54
499
原创 MySQL优化
1.优化哲学1.1 为什么优化?为了获得成就感?为了证实比系统设计者更懂数据库?为了从优化成果来证实优化者更有价值?但通常事实证实的结果往往会和您期待相反!优化有风险,涉足需谨慎!1.2 优化风险优化不总是对一个单纯的环境进行!还很可能是一个复杂的已投产的系统。优化手段本来就有很大的风险,只不过你没能力意识到和预见到!任何的技术可以解决一个问题,但必然存在带来一个问题的风险!对于优化来说解决问题而带来的问题控制在可接受的范围内才是有成果。保持现状或出现更差的情况都
2021-11-28 11:15:34
196
原创 MySQL中间件-Atlas
1. Atlas介绍 Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。下载地址https://github.com/Qihoo360/Atlas/releases注意:1、Atlas只能安装运行在64位的系统上2、Cento..
2021-11-27 22:37:35
227
原创 MySQL-MHA高可用架构
1. 主从复制架构演变介绍1.1 基本结构(1)一主一从(2)一主多从(3)多级主从(4)双主(5)循环复制1.2 高级应用架构演变1.2.1 高性能架构读写分离架构(读性能较高)代码级别MySQL proxy (Atlas,mysql router,proxySQL(percona),maxscale)、amoeba(taobao)xx-dbproxy等。分布式架构(读写性能都提高):分库分表——cobar--->TDDL(头都大了),DRDSMyca
2021-11-27 22:36:07
296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人