- 博客(64)
- 收藏
- 关注
RSS订阅原创 SHELL编程简介
其中list需要是一个可迭代对象，如：列表、命令、字符串、文件名列表等。一般的，循环中需要出现循环变量，但不绝对。首先执行expr，判断其退出状态，若为0则执行循环体内的commands直至expr表达式结果非0；声明所使用的shell，后面为所使用shell的绝对路径。：退出脚本，其中n用于代表出错代码，从0-255；一般约定0代表正常退出；：用于执行表达式，并通过$?：shell输出语句，可不接参数使用。：获取目标输入，将输入赋值给变量。：循环跳出语句，用于跳出第n重循环。：循环语句，具体写法如下。
2025-05-23 17:26:39
393
原创 Scp命令使用
其中1，2指定了用户名，执行后需要再输入密码，第一个只指定了目录，第二个指定了复制文件要变更成的文件名，3，4未指定用户名，需要输入用户名和密码。Ipv4：以点分十进制表示，共32bits，组合数量有限（可以通过NAT方法解决）scp [可选参数] file_source file_target。ipv6：以冒号分割16进制，共128bits。【解析】：ssh1和ssh2不兼容。1：强制scp使用ssh1协议。2：强制scp使用ssh2协议。同样是输入密码和用户名。
2025-05-23 17:22:25
837
原创 PostgreSQL中的权限管理简介
在 PostgreSQL 中，权限管理是非常重要的，它允许管理员控制用户对数据库对象的访问权限。其中，权限管理是通过角色和权限来实现的。角色可以是用户、组或者其他角色，而权限则控制了角色对数据库对象的访问权限。在 PostgreSQL 中，用户和角色是两个重要的概念。用户是实际的数据库用户，而角色是一组用户的集合。角色可以被赋予权限，然后用户可以被分配到这些角色中。这样可以简化权限管理，提高安全性。在 PostgreSQL 中，可以通过 CREATE ROLE 命令来创建角色。
2025-05-23 17:19:53
479
原创 PostgreSQL中的全页写
在PGSQL数据库中，默认的页面大小为8KB，但是磁盘buffer的大小为4KB，扇区大小为512B。如果操作系统发生了系统级别的故障，此时正好操作系统刷入了一个8KB页面的前半部分4KB，那么后半部分将缺失或失去了一致性。为了解决上面的问题，MySQL采用的是双写机制，即保留备份页面，遇到页撕裂的情况时用备份页面覆盖写。但在PGSQL中，选择将整个数据页保存在WAL日志中。具体来说，页面会在其中记录最近一次操作的LSN，数据库的控制文件中也会记录数据库最近一次checkpoint时对应的LSN。
2025-05-16 18:07:04
336
原创 Linux常见命令
实例：git clone "ssh://abc@git.com:1118/xxxx" && scp -p -P 1118 abc@git..com:hooks/commit-msg "xxxx/.git/hooks/"Date可用来显示或设定系统的日期与时间，显示时可以设定欲显示的格式，格式设定为一个+号后接数个标记（date + ‘%Y-%m-%d’）ps：上述只针对用户级别的定时任务，如需修改系统级别的任务可修改/etc/crontab文件来增添系统级别的任务。星号依次表示：分钟、小时、日、月、周几；
2025-05-16 18:04:34
1013
原创 Git命令总结
git commit –amend 在不增加新的commit提交情况下，将新修改的代码追加到前一次commit中。git reset –hard HEAD将本地的head指针指向上一个版本，重置暂存区的内容。git reset --hard：工作区、暂存区、本地仓库所有新增都丢失，彻底回退到某个版本。git fetch 将远程主机的最新内容拉到本地，用户检查了以后决定是否合并到本机分支中。在切换分支时，如果在当前分支有文件修改，会将修改的文件信息带到新分支上。git branch 分支名称：新建新分支。
2025-05-15 18:00:07
342
原创 Window下Jmeter多机压测方法
Jmeter多机压测的原理，是通过单个jmeter客户端，控制多个远程的jmeter服务器，使他们同步的对服务器进行压力测试。保存测试采样数据到本地机器通过单台机器管理多个jmeter执行引擎测试计划统一执行，无需复制到每一台jmeter服务器每一台jmeter远程服务器都执行相同的测试计划，jmeter不会在执行期间做负载均衡，每一台服务器都会完整地运行测试计划。
2025-05-15 17:53:34
496
原创 PostgreSQL冻结过程
在惰性模式下，冻结处理仅使用目标表对应的VM扫描包含死元组的页面。迫切模式相则反，它会扫描所有的页面，无论其是否包含死元组，它还会更新与冻结处理相关的系统视图，并在可能的情况下删除不必要的clog。为方便起见，将这两种模式分别称为惰性模式（lazy mode）和迫切模式（eager mode）。迫切模式弥补了惰性模式的缺陷。它会扫描所有页面，检查表中的所有元组，更新相关的系统视图，并在可能时删除非必需的clog文件与页面。因为惰性模式可能会跳过页面，它可能无法冻结所有需要冻结的元组。
2025-05-09 17:34:11
256
原创 PostgreSQL可见性映射VM
根据VM中的信息，冻结此表时会跳过第0页。在更新完1号页面后，相关的VM信息会被更新，因为该页中所有的元组都已经被冻结了。每个表都拥有各自的可见性映射，用于保存表文件中每个页面的可见性。页面的可见性确定了每个页面是否包含死元组。清理过程可以跳过没有死元组的页面。清理过程为指定的表，或数据库中的所有表执行以下任务。新VM包含着每个页面中所有元组是否都已被冻结的信息。在迫切模式下进行冻结处理时，可以跳过仅包含冻结元组的页面。清理过程的代价高昂，为了减小清理的开销，在PostgreSQL 8.4版中引入了VM。
2025-05-09 17:32:18
240
原创 PostgreSQL事务与并发清理
而循环块又能分为三个部分，每一个部分都有各自的任务。当处理完成后，PostgreSQL会更新与清理过程相关的几个统计数据，以及相关的系统视图；更新与冻结事务标识相关的系统视图（pg_database与pg_class）。更新已处理表的空闲空间映射（FSM）和可见性映射（VM）。移除每一页中的死元组，并对每一页内的活元组进行碎片整理。清理过程为指定的表，或数据库中的所有表执行以下任务。如有必要，冻结旧元组的事务标识（txid）。执行冻结处理，并删除指向死元组的索引元组。移除指向死元组的索引元组。
2025-04-30 14:53:25
234
原创 PostgreSQL可串行化快照隔离和冻结处理
被事务创建后，服务器运行了很长时间，但元组一直未被修改，执行到足够远的某一点，该事务从过去的事务变成了未来的事务，可串行化快照隔离SSI已经嵌入到快照隔离SI中，以实现真正的可串行化隔离等级。xid_vacuum_freeze_min_age更老，则该元组的。使用两种数据结构：SIREDA锁和读写冲突来描述SSI机制。PostgreSQL的并发控制机制需要以下维护过程。从读写冲突中检测出串行化异常，则中止事务。的表文件，如果元组的t_xmin。_xmin重写为冻结事务标识。更新FSM,VM以及。
2025-04-30 14:32:41
200
原创 PostgreSQL中的Replication_slot
因为你无法避免备机的WAL日志落后于wal_keep_segments个数的情况。但是实际上，如果主机能够知道备机落盘的进展，那么就可以根据LSN的最小值确定从什么位置开始清理WAL日志。主机在清理WAL日志时，就可以参考物理复制槽中的LSN，这样就可以避免清理掉备机还需要的WAL日志。即将WAL日志备份到另外一处位置，在WAL日志复制时，如果从pg_wal目录下找不到WAL日志，那就尝试从归档的位置进行寻找。保证主机可以拥有备机所需要的所有的WAL日志。主机WAL日志的产生速度时，也可以保证数据的。
2025-04-30 14:28:19
139
原创 PostgreSQL中的SSL（2）
以RW依赖为例，当事务T1读取X对象时会在X上加读锁，而事务T2要修改X对象时需要在X上加写锁，事务T2需要等待事务T1提交（S2PL保证在事务提交时才会放锁）。在S2PL中，由于读锁和写锁相互冲突，写锁和写锁也相互冲突，而每个事务中的各个操作又都是串行化执行的，因此事务的执行顺序和读写的依赖关系能够对应起来，不会出现事务之间的读写操作相互依赖的情况。因为在对上面所述的事务使用S2PL时会产生死锁，此时死锁检测会终止其中一个事务。因此S2PL中可以自然的避免写偏序异常的问题。并非是真正的序列化模式。
2025-04-30 14:27:23
304
原创 PostgreSQL中的SSL
写偏序异常在这两种并发控制下有不同的表现：1.在S2PL情况下，当操作序列中含有写操作时，会阻塞其他事物的读和写，因此不会有并发的读写操作，这样可以避免写偏序异常。2.当MVCC保留元组的多个版本的操作中，实现了读和写互不阻塞，只有写和写互相冲突。这种性质导致了可能会有并发的读写操作，因此会产生写偏序异常，进而导致事务的不可串行化。在可串行化调度下，这两个事务中的会产生两个冲突：R1（x）和W2（x）冲突，W1（y）和R2（y）冲突。在事务调度时，会根据读写操作是否冲突调整并发事务之间读写操作的执行顺序。
2025-04-30 14:26:03
234
原创 达梦DMDSC初研
DMASM是一个分布式文件系统，用来管理块设备的磁盘和文件，DMASMCMD将物理磁盘格式化后，变成可识别、可管理的 ASM磁盘，再通过 ASM磁盘组将一个或者多个 ASM磁盘整合成一个整体提供文件服务。ASM磁盘格式化以后，会逻辑划分为若干簇（Extent），簇是管理 ASM磁盘的基本单位，ASM文件的最小分配单位也是簇。这些逻辑划分的簇根据其用途可以分为 DESC描述簇、INODE簇和 DATA数据簇。描述簇由多个描述项组成。每一个描述项存储一个 INODE 簇或一个数据簇的元数据。
2025-04-24 16:19:49
683
原创 PostgreSQL-日志管理介绍
7、XLOG日志的恢复策略：先找到XLOG日志中最近建立并有效的检查点之后，读出检查点结构中Redo指针所指向的日志记录，根据日志记录类型调用不同的资源管理器，开始Redo操作。每个XLOG文件都有一个ID，一个日志文件逻辑上为4G，实际上被分为一个个16MB的段文件存放，日志段文件名由时间线ID、日志ID、段ID的八位16进制数以此构成。XLOG日志文件的创建：建立一个新的XLOG段文件，使其成为当前的段或一个紧邻当前段的段。XLOG日志的刷新：确保到达给定位置的所有的XLOG数据都被刷写回磁盘。
2025-04-24 16:02:04
527
原创 Linux常用指令-系统管理
修改网络配置文件地址，文件地址：/etc/sysconfig/network-scripts/ifcfg-eth0。IPADDR=192.168.1.100 //设置的IP。NETMASK=255.255.255.0 //子网掩码。BOOTPROTO=static //静态IP。GATEWAY=192.168.1.1 //网关。TYPE=Ethernet //网络类型。DEVICE=ens00 //网卡名。修改文件：vi /etc/hosts。centos7 防火墙操作。
2025-04-24 15:59:54
257
原创 Linux常用指令
说明：sudo命令以系统管理者的身份执行命令，也就是说，经由sudo所执行的指令就好像是root亲自执行。需要输入自己账户密码。查找当前目录中文件属主具有读写权限，并且文件所属组的用户和其他用户具有读权限的文件。查找/var/log目录的中更改时间在七日以前的普通文件，并在删除之前询问他们。uname可以显示一些重要的系统信息，例如内核名称，主机名，版本号之类的信息。以G为输出内存的使用量，-g为GB，-m为MB，-k为KB，-b为字节。查找系统中所有文件长度为0的普通文件，并列出它们的完整路径。
2025-04-24 15:58:43
338
原创 Linux常用指令汇总
文件权限简介：“r”代表可读（4），“w”代表可写（2），“x”代表可执行（1），括号内代表“8421法”2.取消操作：按“ESC”->输入“：”->输入“q！1.保存文件：按“ESC”->输入“：”->输入“wq”，回车 //保存并退出编辑。vim –R /etc/passwd //以只读模式打开文件。将/user/tmp目录下的/tool目录复制到/opt目录下。将/user/tmp目录下的tool目录剪切到/opt目录下。-此时可以对文件内容进行编辑，左下角会显示“--插入--”
2025-04-24 15:40:01
598
原创 VMWARE ESXI安装UOS20SP1虚拟机
第6步，执行完上面步骤后，配置就算完成了，剩下就是启动虚拟机进行安装系统，进行网络配置。第2步，配置网络，单机桌面，选择“在终端打开”,输入ip addr查看网络情况，确认网卡名称ens33，输入ethtool ens33，进行验证，可以看到网速显示有值。安装完成后，重启虚拟机，创建用户，勾选“设置root密码”，登录系统。开启SSH服务，执行vim /etc/ssh/sshd_config，配置下图的三行，进入到如下页面，第1步，单击“创建新虚拟机”，单击“下一步”，第5步，“即将完成”，单击“完成”
2025-03-21 17:35:58
347
原创 使用crontab设置程序自启动
Crontab的主要作用是让用户能够自动化地执行一些重复性的任务，而不需要手动去运行这些任务。Linux系统中的一款定时任务调度器，可以帮助我们在指定。用户可以指定任务的执行时间、执行频率。的命令全部写入crontab计划。的设置来运行相应的脚本、命令。位置分别表示分、时、日、月、周。crontmp.tmp，读取c。，必须确保全都是标准的绝对路径。，该守护进程会定期检查用户的。计划任务编辑文件，在文件里写。行为单位，一行是一个计划，，将crontmp.tmp。在于提高工作效率和便利性。
2025-03-21 17:30:45
425
原创 Linux关机重启二三事
故障是高可用组最常接触的场景，其中包含了进程故障，网络故障、系统故障，硬件故障。掉电关机和重启作为其中最常见的系统故障，具体的细节还是有些许差异的。本文将从操作系统与主板的行为讲解三者之间的联系与区别。
2025-03-21 17:28:40
837
原创 shell编程基础介绍
shell是一种脚本语言，脚本本质是一个文件，里面存放的是特定格式的指令，系统可以使用脚本解析器翻译或解析指令并执行，shell既是应用程序又是一种脚本语言，它能够使得用户跟系统内核直接通信，我们只需要使用任意文本编辑器，按照语法编写相应程序，增加可执行权限，即可在安装shell命令解释器的环境下执行shell命令。Num_operator可以是-eq（数值相等）、-ne（数值不相等）、-gt（大于）、-ge（大于等于）、-le（小于等于）、-lt（小于）=、-z（是否空串）、-n（非空串）
2025-03-21 17:13:15
523
原创 PostgreSQL存储管理体系结构学习笔记2
在操作系统中，当一个进程创建或是打开一个文件时，操作系统会为该文件分配一个唯一文件描述符，并通过该文件描述符来唯一标识和操作该文件。由于每个操作系统都对一个进程能打开的文件数加以限制，因此进程能获得的文件描述符是有限的。对于经常需要打开很多文件的数据库进程来说，很容易就会超过操作系统对于文件描述符数量的限制。PostgreSQL系统中包含了四种堆文件：普通堆，临时堆，序列，TOAST表。磁盘管理器是SMGR的一种具体实现，它对外提供了管理磁盘介质的接口，其主要实现在文件md.c中。
2025-03-13 17:19:31
514
原创 PostgreSQL存储管理体系结构学习笔记
（1）缓冲池管理：缓冲池在PostgreSQL中起缓存的作用。数据库中的事务常常需要频繁地存取数据，为了减少对磁盘的读写，在事务执行时，数据首先将会放入缓冲池中，PostgreSQL设立了进程间共享的缓冲池（共享缓冲池）以及进程私有的缓冲池（本地缓冲池）。内存管理包括共享内存的管理以及进程本地内存的管理。（5）进程间通信机制（IPC）：PostgreSQL是一个多进程的系统，IPC用来在多个后台进程之间进行通信和消息的传递，比如使用消息队列来同步进程产生的无效消息，同时IPC还提供了对共享内存的管理。
2025-03-13 17:18:04
213
原创 Linux中grep、sed和awk常见用法总结
I 等同于 --binary-files=without-match。-a, --text 等同于 --binary-files=text。如果没有 -e, --expression, -f 或 --file 选项，那么第一个非选项参数被视为。-L, --files-without-match 只打印没有匹配上的<文件>的名称。-l, --files-with-matches 只打印有匹配的<文件>的名称。
2025-03-13 17:15:37
895
原创 ETL工具-Kettle介绍
ETL是Extract-Transform-Load的缩写，指的是数据抽取、转换、装载的过程，Kettle是一款开源的ETL工具，由Java编写，可在Windows、Linux、Unix上运行，Kettle由两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Step：组成转换的基本部分，由一个或者多个步骤组成转换，步骤之间都是独立的线程，可以并发执行。一个独立的命令行程序，用于执行由Spoon编辑的转换和作业。
2025-03-13 17:11:36
367
原创 Oracle数据库TPCC测试
每个终端（terminal）运行的固定事务数量，例如：如果该值设置为10，则意味着每个terminal运行10个事务，如果有32个终端，则整体运行320个事务后，测试结束。# 终端和仓库的绑定模式，设置true时可以运行4.x兼容模式，意思为每个终端都有一个固定的仓库。【注】若执行“sho pdbs”时，出现ORCLPDB库的OPEN MODE为“MOUNTED”的情况，还需要执行一步“# 初始化数据的加载进程数量。# 操作系统收集所对应的主机，如果本机数据库进行测试，该参数保持注销即可。
2025-03-13 17:09:30
654
原创 PostgreSQL常用系统表
pg_catalog是postgres的系统表命名空间，用于存储系统函数和系统元数据，包含了所有的内置数据类型、函数、表、系统视图等。* relpersistence：对象的存储类型，'p'表示永久，'t'表示临时，'u'表示unlogged不写wal。综上：pg_database查库，pg_class查表，pg_type查看列类型，pg_attribute查列属性。* typtype：类型的基础类型，b基本类型，c复合类型，d域类型，e枚举类型。pg_attribute记录表对象的每一列属性的定义。
2025-03-06 16:53:12
425
原创 PostgreSQL中的事务隔离
这个案例说明了在读已提交隔离级别中，一个事务只能看到其他事务已经提交的数据修改，如果事务未提交，那么对于查询事务来说，这些修改是不可见的，直到其他事务提交为止。可以发现，在会话1中，无论会话2提不提交，查询的结果都保持不变，即使会话2提交更新操作，查询结果仍然不变。此时会话2.执行更新语句，但不提交，在会话1中查看数据。此时回到会话1:查询id=1，发现数据还是原来的数据，当会话2提交以后，回到会话1，就会发现数据进行了更改。对事务进行提交，再在事务1中查询对应的数据。执行与会话1同样的操作，
2025-03-06 16:44:27
894
原创 Linux网络环境配置及常用命令
Proto：socket使用的协议类型（TCP,UDP,RAW），其中socket代表套接字，应用程序可以通过它发送或接收数据，是ip地址和端口的组合，程序可以用ip+端口号进行唯一标识，那么这个程序的入口就被称作Socket。ens192表示表示第一块网卡，其中ether表示网卡的物理地址，在上图中可以看到，ens192网卡的物理地址是00：0c：29：13：1f：1a。lo表示主机网络的回环地址，一般用来测试一个网络程序，但又不想让局域网或外网的用户能够查看，只能在此台主机上运行和查看所用的网络接口。
2025-03-06 16:38:37
817
原创 文件系统中I/O方式详解
（1）同步IO：同步IO是指程序的某一个进程或者线程，如果某时刻调用了同步IO接口，则IO请求发出后，这个进程或者线程必须等待IO路径上的下位程序返回的信号（不管是成功收到数据的信号还是失败的信号）。同步+阻塞IO是彻底的堵死状态，这种情况下，除非这个程序是多线程程序，否则程序就此挂死，失去响应。而有些应用程序，比如数据库程序，它们有自己的缓存，IO在发出之前已经经过自己的缓存算法优化过了，如果请求IO到达文件系统之后，又被缓存起来进行额外的优化，就是多此一举了，既浪费了时间，又降低了性能。
2025-02-21 17:27:07
841
原创 Linux下文件权限与安全
为了防止未经授权的用户来访问你的文件，可以在文件和目录上设置权限。还可以设定文件 在创建时所具有的缺省权限：这些只是整个系统安全问题中的一小部分。本文只是简单介绍一下文件的权限与安全。
2025-02-21 17:24:49
945
原创 PostgreSQL索引与表空间整理
如果对包含表空间的数据库执行文件系统备份，则必须备份所有表空间。假设我们有一个名为“employees”的表，其中包含以下列：employee_id（员工ID）、first_name（名字）、last_name（姓氏）和salary（薪水）。①默认表空间：pg_default ，是用户表、用户表index、和临时表、临时表index、内部临时表的默认空间。②系统字典表表空间：pg_global，存放系统字典表，如pg_database、pg_authid、pg_tablespace等表以及它们的索引。
2025-02-21 17:13:39
727
原创 QT SQL框架及QSqlDatabase类
这是一个返回名为connectionName的数据库连接，数据库连接必须是以前用addDatabase()添加的，如果“打开”为true (the default)，并且数据库连接尚未打开，则它现在已打开，如果未指定连接名称，则使用默认连接，如果数据库列表中不存在连接名，则返回无效连接重载函数，克隆其他数据库连接，并将其存储为连接名称，原始数据库中的所有设置，例如databaseName()，hostName()等等都是复制过来的，如果其他数据库无效，则不执行任何操作，返回新创建的数据库连接。
2025-02-21 17:11:32
796
原创 PostgreSQL-WAL日志介绍（二）
随着时间的推移，数据库的事务会不断增多，将会带来以下两个问题：占用大量的磁盘空间；故障恢复时需要回放所有WAL日志，导致故障恢复的时间很长，降低了数据库的可用性。因此，检查点（CheckPoint）是一种关键的机制，用于确保数据库的持久性，以及控制WAL日志的连续增长。一方面，在该检查点之前的WAL日志可以被删除，释放磁盘空间；另一方面，当进行故障恢复时，可以从这个检查点对事务日志进行回放，有效降低故障恢复的时间。检查点的目的：确保数据库在发生故障或崩溃时可以进行一致的恢复。它通过以下方式实现：
2025-01-15 17:07:18
1325
原创 PostgreSQL-WAL日志介绍（一）
WAL日志：即预写式日志（Write-Ahead Logging），是保证数据完整性、实现事务日志的一种标准方法。WAL的中心思想是数据文件的修改必须在这些动作被日志记录后才被写入，即先写日志，再写数据。数据库采用WAL日志的方式实现故障恢复，它将SQL对数据的修改抽象成一系列WAL日志记录（Record），多个Record组成一个流式的日志序列。在数据库出现故障时，可以通过逐条重做（REDO）WAL日志记录，恢复尚未落盘的数据，从而保证数据的持久性。
2025-01-15 17:03:27
520
原创 Oracle分析工具-Logminer手动指定归档文件
Logminer是自Oracle8i以后推出的分析工具，它可以读取 Oracle 数据库的归档日志和在线日志，并将其转换为易于分析的格式。logminer分析工具由一组PL/SQL包和一些动态视图组成，Oracle提供了continuous_mine参数来进行日志的持续挖掘，在Oracle19c中取消了这个参数，如果想通过logminer去挖掘日志信息，则需要手动指定归档文件。在启动logminer前，我们需要手动指定归档文件，若不指定直接启动logminer，则会报错。后续追加指定文件需要执行以下命令。
2025-01-14 17:48:12
574
原创 Oracle分析工具-Logminer
Logminer是自Oracle8i以后推出的分析工具，它可以读取 Oracle 数据库的归档日志和在线日志，并将其转换为易于分析的格式。- 创建 LogMiner 会话：使用 DBMS_LOGMNR.START_LOGMNR 过程创建 LogMiner 会话，指定需要分析的日志起始SCN。日志文件中存放着所有进行数据库恢复的数据，记录了针对数据库结构的每一个变化，也就是对数据库操作的所有DML语句。- 查看数据库变更记录：使用V$LOGMNR_CONTENTS视图查看logminer记录的相关变更记录。
2025-01-14 17:43:55
529
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人