- 博客(43)
- 收藏
- 关注
RSS订阅原创 exBase
下列为默认端口号，若部分端口号已被占用，用户可以根据实际情况进行修改。31030exBase默认端口31003配置库默认端口2181zookeeper默认端口9092kafka默认端口8091metaNode的RPC端口8092nodemgr的RPC端口8085exBase调用metaNode的接口端口。
2024-09-25 13:02:27
1096
原创 VastBase——VPatch版本控制
VPatch是用于Vastbase版本控制的工具。可以实现在单机环境下的升级和回退操作，具体功能如下：升级环境检查，补丁冲突检查等。PSU、PSR、OOP补丁的升级、回退、升级或回退失败时的还原。升级过程中记录相关日志和步骤文件。升级过程中管理备份文件。自vpatch V2.0.0开始，支持在检查和回退时指定--force参数，用于对特殊的可回退升级包进行升级后的强制回退。强制回退表示对修改了函数和系统表的升级过程进行回退（若不指定--force参数，则修改了函数和系统表的升级过程无法回退)。
2024-09-01 23:01:40
1241
原创 VastBase——SQL调优
好的表定义至少需要达到以下几个目标：1、减少扫描数据数据量：通过分区的剪枝机制可以实现该点。2、尽量减少随机I/O：通过聚簇/局部聚簇可以实现该点。表定义在数据库设计阶段创建，在SQL调优过程中进行审视和修改。
2024-09-01 14:41:15
1180
原创 VastBase——数据库参数调优
CPU通常情况下并没有多少调优手段，依赖于厂商调校。所以需要与服务器厂商充分沟通。研读厂商技术手册。I/O性能指标通常有：使用率、饱和度、IOPS（Input/Output Per Second）吞吐量、响应时间。通过选择不同的文件系统、缓存配置以及数据库参数pagewriter_sleep、bgwriter_delay等进行调优。网络的性能指标通常有：带宽、延时、吞吐量、PPS，网络性能通常情况下较难诊断，若为生产环境建议部署监控。
2024-08-31 17:00:24
1720
原创 Linux——性能调优工具一览
平均负载uptime、topuptime最简单、top提供了更全的指标系统整体CPU使用率top、vmstat、mpstat只可以动态查看，而sar还可以记录历史数据/proc/stat是其他性能工具的数据来源进程CPU使用率top和ps可以按CPU使用率给进程排序，而pidstat只显示实际用了CPU的进程，htop和atop以不同颜色显示更为直观系统上下文切换vmstat除了上下文切换此时，还提供运行状态和不可中断状态进程的数量进程上下文切换pidstat注意加上-w选项。
2024-08-28 13:44:58
1294
原创 VastBase——全局性能调优
数据库的处理能力与底层系统（磁盘I/O、CPU速度、存储器带宽等）有密切的关系，所以当设置数据库吞吐量目标时，需要提前了解硬件的性能。竞争是指两组或多组负载组件尝试使用冲突的方式使用系统的情况。查询结果中包含了当前被阻塞的查询语句，该查询语句所请求的锁资源可能被其他会话持有，正在等待持有会话释放锁资源。数据库系统运行时，在某些业务场景下查询语句会被阻塞，导致语句运行时间过长，可以强制结束有问题的会话。“rMB/s”为每秒读取的MB数，“wMB/s”为每秒写入的MB数，“%util”为硬盘使用率。
2024-08-27 17:28:36
1676
原创 Vastbase——单机安装部署
如安装时未配置license，后续需要可通过vb_licensetool进行配置，也可将license文件路径写入postgresql.conf配置文件，以确定license文件的位置（license文件路径为绝对路径，且需要指定到文件名级别，可自定义路径，但需要确保vastbase用户对license文件目录有读权限）。创建目录（/soft/vb），解压安装包，以root用户赋予数据库安装用户vastbase操作的权限。，如果没有设置则执行步骤5，否则跳过。，在文件末尾添加如下内容，保存退出。
2024-08-24 23:06:58
2655
原创 Yum源配置问题
yum history info+序列号：查看某次操作的详细信息。yum list：显示所有可用包。yum whatprovides：精确查询。yum history：查找yum历史操作。yum info：显示所有可以包的详情。yum search：模糊查询。yum install：安装。yum update 升级。yum remove:卸载。
2024-07-28 17:52:36
545
原创 Shell编程
Shell语言是指UNIX操作系统的命令语言，同时又是该命令语言的解释程序的简称。Shell本身是一个用C语言编程的程序，它是用户使用Unix/Linux的桥梁，用户的大部分工作都是Shell完成的。Shell既是一种命令语言，又是一种程序设计语言，作为命令语言，它交互式的解释和执行用户输入的命令。作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。它虽然不是Unix、Linux系统内核的一部分，但它调用了系统核心的大部分功能来执行程序。
2024-07-23 22:11:57
1115
原创 Linux实用命令练习
更新国内yum源，网易（163）yum源是国内最好的yum源之一 ，无论是速度还是软件版本，都非常的不错。locate指令预设的数据库位于/var/lib/mlocate目录里，文档名为mlocate.db。export 的效力仅限于该次登陆操作。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。locate与find的区别: find 是去硬盘找，locate 只在/var/lib/slocate资料库中找。
2024-06-27 21:01:21
3496
原创 Oracle--数据字典
数据字典是Oracle存储数据库内部信息的地方，描述了数据库内部的运行和管理情况dba_：包含数据库实例的所有对象信息v$_：当前实例的动态视图，包含系统管理和系统优化等使用的视图user_：记录用户的对象信息gv_：分布式环境下所有实例的动态视图，包含系统管理和系统优化使用的视图all_：记录用户的对象信息及被授权访问的对象信息。
2024-06-17 15:46:36
440
1
原创 Oracle--服务器结构详解
它确保有足够数量的空闲缓冲区(即当服务器进程需要读取数据文件中的块时可以覆盖的缓冲区) 在数据库缓冲区高速缓存中可用。在这个进程中，SMON 读取重做日志文件并将重做日志中记录的更改应用到数据块中。LGWR 向重做日志文件中连续写入直到提交记录含提交记录的所有重做日志缓冲区条目。用来存放Oracle系统最近访问过的数据块，经常或者最近被访问的数据块会被放置到高速数据缓冲区的前端，不经常被访问的会被放置到后端。负责在每当缓冲区高速缓存中的更改永久地记录在数据库中时，更新控制文件和数据文件中的数据库状态信息。
2024-06-17 15:36:00
1247
原创 Oracle--存储结构
是数据库的最大逻辑划分区域，一个表空间由一个或多个数据文件组成，一个数据文件只属于一个表空间，表空间的大小是它所对应的数据文件大小的总和。它包括：系统表空间、辅助表空间、撤销表空间、用户表空间。是Oracle逻辑存储结构中的最小的逻辑单位，一个数据库块对应一个或者多个物理块，大小由参数DB_BLOCK_SIZE决定，数据块的结构包括块头和存储区两个部分。是由连续的数据块结合而成的，是Oracle存储分配的最小单位。是数据库中最小的文件，也是最重要的文件。存储表排序操作期间建立的临时表的数据。
2024-06-16 22:29:59
782
原创 【2024亲测无坑】在Centos.7虚拟机上安装Oracle 19C
通过查看监听状态，实在不行去修改监听配置文件4.注意oracle配置文件的各项配置正确很多失败是由于配置文件导致的，修改后记得source。
2024-06-15 16:11:28
3332
原创 【2024亲测无坑】Oracle--19C在Centos7上的静默安装（rpm版）
然后 yum localinstall oracle-database-preinstall-19c-1.0-1.el7.x86_64.rpm。配置好后source一下 ：source /home/oracle/.bash_profile。如果不是OEL平台，首先要下载对应平台的RPM，我用的是RedHat 7.4，下载链接地址，命令：/etc/init.d/oracledb_ORCLCDB-19c configure。第一次执行未必可以成功，我的提示少了依赖库。19c的RPM包下载链接，
2024-06-14 15:40:35
1741
原创 Hadoop
Hadoop分布式文件系统（Hadoop Distributed File System），2003年10月Google发表了GFS（Google File System）论文，HDFS是GFS的开源实现，HDFS是Hadoop的核心子项目（一个三个核心：HDFS、YARN、MapReduce），在开源大数据体系中，地位无可替代。移动计算而非移动数据。
2024-06-09 20:39:12
689
1
原创 MySQL--优化思路与数据库监控
数据库设计和表创建时就要考虑性能mysql数据库本身高度灵活，造成性能不足，严重依赖开发人员能力。也就是说开发人员能力高，则mysql性能高。这也是很多关系型数据库的通病，所以公司的dba通常工资巨高。设计表时要注意：表字段避免null值出现，null值很难查询优化且占用额外的索引空间，推荐默认数字0代替null。尽量使用INT而非BIGINT，如果非负则加上UNSIGNED（这样数值容量会扩大一倍），当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。
2024-06-06 20:18:39
1084
原创 MySQL--MHA高可用及读写分离
全年无故障时间全年故障时间具体时间99.9%0.1%525.6 minkeeplive+双主 （切换需要人为干预）99.99%0.01%52.56 minMHA （半自动化）99.999%0.001%5.256 minPXC、MGR、MGC （自动化）99.9999%0.0001%0.5256 min自动化、云化、平台化1.监控通过masterha_master_monitor，每隔ping_interval秒监测一次master心跳。如果监控不到心跳，一共给4次机会。
2024-05-31 15:55:19
1095
原创 MySQL--主从复制
1）从库执行change master to语句，把IP、PORT、USER、PASSWORD、BINLOG起点记录到master.info中。从库执行start slave，——>会开启IO、SQL线程2）从库IO线程开始工作，读取了master.info后连接主库3）主库连接层收到请求，验证通过后，生成dump线程和从库IO线程交互
2024-05-28 17:01:05
1519
原创 MySQL--备份恢复
基于sql语句（create database，create table，insert into）的备份针对InnoDB表可以实现非锁定备份，原理是通过MVCC中的快照技术进行备份针对非InnoDB表启用了锁表备份，FTWRL（global read lock，全局锁表禁止写入）无需安装，是mysql自带的工具，数据恢复方式和binlog很像连接参数：-u -p -s -h -P。
2024-05-26 20:48:53
1120
原创 MySQL--日志管理
记录执行较慢的语句，SQL优化方面的工具日志。记录MySQL从启动开始的状态、警告、错误。慢日志需要手工开启，默认是不开启的。1）创建错误日志目录、touch出log文件，授权。
2024-05-24 19:35:33
347
1
原创 MySQL--二进制日志
DDL、DCL：一条语句就是一个事件DML：一个事务型操作由多个event构成5.6以后加入了GTID功能，用来唯一标识事件和事务，GTID具有幂等性GLOBAL TRANSTATION ID 全局事务唯一编号，是从1开始有序生成的表现方式：server_uuid:TID （server_uuid是在第一次初始化，启动数据库时，自动生成的，存于/data/auto.cnf中，一旦被删除或修改，下次重启数据库会重置）DDL、DCL操作：一个事件记录一个GTIDDML：一个完整事务记录一个GTID。
2024-05-24 16:15:15
1238
原创 MySQL--锁
next_key锁是记录锁和间隙锁的组合，它指的是加在某条记录以及这条记录前面间隙上的锁，也可以理解为一种特殊的间隙锁，通过临键锁可以解决幻读的问题，每个数据行的非唯一索引列上都会存在一把临键锁，当某个事务持有该行数据的临键锁时，会锁住一段左开右闭区间的数据。称为I锁，当有事务给表的数据行加了共享锁或排它锁，同时会给表设置一个标识，代表已经有行锁了，其他事务想要对表加锁时，就不用逐行判断有没有行锁可能跟表锁冲突了，直接读这个标记就知道自己该不该加表锁。X锁，在事务需改动一条记录时，需先获取该记录的X锁。
2024-05-23 15:58:06
1207
1
原创 MySQL--事务
DB_TRX_ID（6字节的事务号）和DB+ROLL+PTR（7字节的回滚指针），从undo的segment的slot中找到此次事务的undo日志，进行回滚。每次开启一个全新的事务窗口（begin），都会生成当前最新的事务快照，此次事务会在此次快照中进行操作，直到事务commit或rollback。6）如果此次事务的日志，随着其他的日志提交，则redo buffer中的日志刷写道redo log中。3）生成当前事务DB_TRX_ID（6字节的事务号）和DB+ROLL+PTR（7字节的回滚指针）
2024-05-22 18:40:34
1052
1
原创 MySQL--InnoDB体系结构
table.frm存储数据字典信息（列定义）table.ibd表空间数据文件，存数据行和索引，有段-区-页的概念ibdata15.7版本-->系统表空间文件，存储data dictionary：存所有表的数据字典，结构，属性，状态，参数...double write：自动故障恢复应用到的数据change buffer：存储辅助索引的变更undo：存储日志的回滚信息日志ibtmp：临时表，存储SQL存储过程中的中间数据（groupby、having、用户数据5.6版本-->
2024-05-22 14:47:17
894
原创 MySQL--存储引擎
存储引擎相当于Linux的文件系统，以插件的模式存在，是作用在表的一种属性聚簇索引、事务、MVCC多版本并发控制、行级锁、外键、AHI、主从复制特性、支持热备、ACSR自动故障恢复、change buffer。
2024-05-21 23:42:40
422
1
原创 MySQL--联合索引应用细节&应用规范
3）索引本身失效，统计信息不真实（过旧），对于表内容变化比较频繁的情况下，有可能会出现索引失效，一般是删除重建，如果有一条select语句平时查询很快，突然有一天很慢，应该是索引失效，统计信息不真实、在mysql中，索引下推允许在存储引擎层过滤索引中的记录，而不是在server层进行，如果查询包含多个条件并且索引不是很精确时，索引下推可以在存储引擎层进行更多的过滤工作，从而减少不必要的IO.辅助索引条件查询时，先扫描辅助索引，获得ID值，放在read_rnd_buffer中，由MRR进行排序后，回表查询。
2024-05-20 18:16:43
1314
1
原创 MySQL--执行计划
执行计划是sql在执行时，优化器优化后，选择的cost最低的方案通过desc、explain可以查看sql的执行计划。
2024-05-20 16:50:58
1133
1
原创 MySQL--索引
聚簇索引 Clustered index （每个数据页16K，64个连续的数据页组成1个区，每个区1M）辅助索引 Secondry （普通单列索引、普通联合索引、唯一索引、前缀索引）
2024-05-19 14:02:26
1338
原创 MySQL的升级原理与实际操作
2.关闭原数据库业务，挂维护页 innodb_fast_shutdown=0，备份数据（冷备）注意：先做冷备，方便失败的时候回退（data目录cp到专门的地方）升级前去官网看指导，变更意味着风险，做好充足的演练和回退方案。5.6升级5.7可以回退，5.7升级5.8不能回退。4.升级：只是升级系统表，升级时间和数据量是无关的。指在一台服务器上，原版本升级到新版本，风险较大。3.使用新版本软件挂旧版本数据启动（ ）使用逻辑备份方式，风险小，成本高。骗过漏洞检查，直接修改版本号说明。6.验证各项功能是否正常。
2024-05-18 15:04:57
821
原创 MySQL多实例与数据库升级
5.6版本：/usr/local/mysql3356/scripts/mysql_install_db --defaults-file=/data/3356/my.cnf。5.7版本：/usr/local/mysql3357/mysqld_safe --defaults-file=/data/3357/my.cnf &5.7版本：mysqld --defaults-file=/data/3357/my.cnf --initialize-insecure。验证：ps -ef | grep mysql。
2024-05-18 00:49:06
466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人