liys0811的博客

原创 【GaussDB(DWS)】数据分布式存储-三种类型的表

原创 sql学习 inner join,left join,right join

RIGHT JOIN（或 RIGHT OUTER JOIN）从右表返回所有的记录，即使左表中没有匹配。如果左表中没有匹配，则结果中左表的部分将是 NULL。LEFT JOIN（或 LEFT OUTER JOIN）从左表返回所有的记录，即使右表中没有匹配。如果右表中没有匹配，则结果中右表的部分将是 NULL。JOIN（或 INNER JOIN）只返回两个表中匹配的记录。

原创 达梦数据库如何查询当前连接

当前连接数，按IP分组。

原创 PostgreSQL基本使用

这个目录是在安装时指定的，所以在安装时需要指定一个合适的目录作为数据目录的根目录，而且，每一个 PG 数据库实例都需要有这样的一个目录。数据库：一个 PostgreSQL 数据库服务下可以管理多个数据库，当应用连接到一个数据库时，一般只能访问这个数据库中的数据，而不能访问其他数据库中的内容默认情况下初始实例只有三个数据库： postgres、template0、template1。PostgreSQL 有一些术语与其他数据库中不一样，了解了这些术语的意思，就能更好地看懂PostgreSQL 中的文档。

原创 Linux系统安装PostgreSQL单机数据库

可以看到有各个版本的源码目录 选择13.12的版本，源码包提供另种打包压缩方式 分别为tar.bz2和 tar.gz。这里下载postgresql-13.12.tar.gz。之后出现源码目录 postgresql-13.12，包含的文件如下。默认时所有文件都将安装到/usr/local/pgsql。/usr/local/pgsql目录下的文件夹。通常使用postgres这个用户名。

原创 达梦主机扩容（CPU和内存）规范

监视器启：分别登录监视器 ***.***.40.81/82/83 cd /data/dmdbms/bin 监视器停起：./DmMonitorServiceHIDC start。监视器停：分别登录监视器 ***.***.40.81/82/83 cd /data/dmdbms/bin 监视器停起：./DmMonitorServiceHIDC stop。达梦管理工具 ***.***.53.48,分别连接主备修改参数。达梦主：***.***.0.18 备***.***.0.26。

原创 达梦数据库如何查看索引和表的DDL

1）查看索引DDL，先查看索引的objectID,再查询该objectid的DDL。

原创 达梦数据库集群修改初始化级别的系统参数步骤

查看当前参数：grep -i MAX_SESSIONS /data/dmdata/HIDC/dm.ini。停止顺序：1.监视器(dmmonitor) 2. 备主（dmwatcher）3.主备(dmserver)启动顺序：1.主备（dmserver）2.主备(dmwatcher) 3,监视器(dmmonitor)dmwatcher停起：./DmWatcherServiceTKOMS02 stop/start。dmserver停起： ./DmServiceTKOMS02 stop/start。

原创 MySQL内存使用的监控开关和使用查看

CURRENT_NUMBER_OF_BYTES_USED：当前分配的内存大小，通过SUM_NUMBER_OF_BYTES_ALLOC-SUM_NUMBER_OF_BYTES_FREE计算得到。简单来说，就是可以根据用户、主机、线程、账号、全局的维度对内存进行监控。HIGH_NUMBER_OF_BYTES_USED：CURRENT_NUMBER_OF_BYTES_USED的最大值。LOW_NUMBER_OF_BYTES_USED：CURRENT_NUMBER_OF_BYTES_USED的最小值。

原创 Redis主从同步原理

master执行bgsave后就去处理别的请求了，bgsave执行成功后会在serverCron中触发backgroundSaveDoneHandler，进而调用updateSlavesWaitingBgsave，它做的事情就是依次向所有复制状态为SLAVE_STATE_WAIT_BGSAVE_END的slave传输rdb文件。如果有级联的slave，需要断开连接，让他们重连；在准备阶段，slave发送psync指令后，就等待master的回复，当收到全量同步的回复后，开始执行全量同步流程。

原创 当CDC总是找一个非常老的SCN号而无法启动预定时，如何重置日志点

目标端：获取预定名EBA3GRP的当前的bookmark。源端：转换bookmark到SCN号。源端：重置该预定的日志点SCN号。

原创 redis一主一从搭建

主库：[redis@t3-dtpoc-dtpoc-web06 bin]$ ./redis-cli -p 6379。1.复制一份redis.conf并将6380都改成6379。3.登录从节点6380，并配置主从关系。2.启动从节点6380。

原创 Redis持久化RDB和AOF测试

每个数据段页面的大小为4K，客户端要修改的数据在哪个页面中，就会复制一份这个页面到内存中，这个复制的过程称为"页面分离"，在持久化过程中，随着分离出的页面越来越多，为了解决这些问题，Redis需要同时进行读写请求和持久化操作，这样又会导致另外的问题：持久化的过程中，内存中的数据还在改变，假如Redis正在进行持久化一个大的数据结构，还要负责周期性的把当前内存中的数据写到快照文件中RDB中，数据写到RDB文件是IO操作，IO操作会严重影响Redis的性能，甚至在持久化的过程中，读写请求会阻塞，

原创 Redis参数规范详解

slave-serve-stale-data yes //默认值为yes。logfile "/home/redis/redis/redis_6379/logs/redis_6379.log" //日志文件,默认为空。pidfile "/home/redis/redis/redis_6379/logs/redis_6379.pid" //存储进程号的文件。dir "/home/redis/redis/redis_6379/data" //数据目录。

原创 迪思杰复制软件DSG如何重刷表？如何将某表移动到其他复制队列？

TABLE_31 = (TABSCHEMA in ('TTWAB') and TABNAME in ('YXWAGECOUNTREPORT//删掉该表','LADXWAGEDATA_ESTIMATE')).REAL。先看dt配置的table_exists_full_do是什么值，FULL就是重刷时发现这个表不为空怎么处理，默认是truncate表也有可能是什么都不做none，如果是none就先手动truncate表。然后在其他队列里的配置文件里加上这个表重刷。然后删掉该表复制，然后重新配置复制。

原创 java jedis连接redis数据库实战

原来是redis server端没有设置密码，把jedis.auth("123456");去掉重新编译执行，发现连接成功。3.编译java代码，发现报错。重新下载低版本的jar包jedis-2.9.0.jar 后编译通过。3.执行java文件，发现报错，4.写入数据并读取数据测试成功。2.编写java代码。

原创 redis 6.0.5 linux详细安装步骤和测试

5.设置redis.conf配置文件，设置daemonize yes和protected-mode no。3.将redis-6.0.5.tar.gz上传到/home/redis,并使用redis用户解压。关闭redis server后再启动再启动客户端发现还是能查到read key值。安装redis,PREFIX=/home/redis/redis 设置安装目录。4.使用redis用户编译并安装redis。2.使用root创建redis用户和目录。使用redis用户创建redis目录。

原创 Mysql主从复制之binlog_group_commit_sync_delay

slave并发复制就是MTS（multi thread slave）的初衷就是为了解决主库过于繁忙造成从库延时较大，不是为了解决表没有主键且全表更新或则全表删除引发的主从延时，感觉这个主从复制并发意义不是很大。的事务才能并发复制，组提交（group commit）是mysql处理日志的一种优化方式，主要为了解决写日志时频繁刷磁盘的问题。2binlog_group_commit_sync_no_delay_count 参数，表示累积多少次以后才调用 fsync。简而言之就是，只有同一。

原创 shell脚本之连接mysql并监控数据库实战

bin/bash脚本测试：2。

原创 shell脚本之连接DB2并监控数据库实战

窗口1：db2 +C "update COURSE set c_id=22 where c_id=20"窗口2：db2 "delete from course where c_id=22"制造锁等应用，然后执行监控脚本 sh moniotr.sh。可以看到锁等的信息和应用具体信息都已经捕获。

原创 java jdbc连接mysql实战

2，将mysql-connector-java-5.1.47.jar放在JDK/lib目录下并设置环境变量。1.下载JDK和jar包。3.编写conn程序。

原创 sql开发学习(1)之group by,left join

c.name1,t.id,t.name3FROMname1WHERE id>1LEFT JOINname3WHERE id>1表数据：查询结果：

原创 root用户自动安装mysql 5.7脚本

初始化mysql并设置空密码使用-initialize生成随机密码，使用-initialize-insecure生成空密码。server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复。#阻止过多尝试失败的客户端以防止暴力破解密码的情况,与性能并无太大的关系。#指定大小的内存来缓冲数据和索引,最大可以把该值设置成物理内存的80%#log-bin=mysql-bin #添加这一行就ok。#binlog-format=ROW #选择row模式。

原创 mysql如果存在一行数据，主库和从库主键相同而其他列值不同，源端Update或者delete该行，从库会update和delete这一行吗

update测试：主库：从库：主库：mysql>从库：delete测试：主：从：主：从：

原创 CDC复制软件标准模式和自适应模式的区别测试

IBM InfoSphere Data Replication 已应用一批 1 行，JDBC 驱动程序发回报告已对这批中的条目 0 更新 0 行。SQL 状态为：[null]。SQL 状态为：[null]。SQL 状态为：23505。4.目标端插入id=2的行，源端再更新id=1的行成为id=2，预定会报错。1.目标端删除id=1的行，源端再删除id=1的行，预定会报错。目标端删除id=2的行，源端再更新id=2的行，预定会报错。3.目标端插入id=1的行，源端再插入id=1的行，预定会报错。

原创 达梦数据库如何查看历史sql

SQL> select * from V$sql_history limit 1;LINEID SEQ_NO SQL_ID SESS_ID SESS_SEQ TRX_ID THREAD_ID---------- ----------- ----------- -------------------- ----------- -------------------- --------------------

原创 使用binlog2sql工具闪回恢复被误删除的数据实战

INSERT INTO `mytest`.`user`(`addtime`, `id`, `name`) VALUES ('2016-11-11', 3, '小孙');INSERT INTO `mytest`.`user`(`addtime`, `id`, `name`) VALUES ('2016-11-11', 3, '小孙');INSERT INTO `mytest`.`user`(`addtime`, `id`, `name`) VALUES ('2014-11-11', 2, '小钱');

原创 mysql只copy数据库文件而不copy系统表文件到另一个数据库，新库可以正常使用该库和表吗？

猜测是不可以的，因为系统表存储的是表信息，备库系统表中没有该表信息是无法使用的，测试结果也证明了这一点。而在10.153.88.5；

原创 MySQL迁移到达梦数据库实战(使用达梦的DTS迁移工具)

1.mysql源库授权2.设置数据类型映射设置varchar 按字符存储 ，char也改成varchar char ，（选择强制为字符存储为是，意思是mysql定义的varchar(n)或者char（n）,达梦端映射为varchar(n char)）json 映射为 clob说明：mysql的varchar(1)可存储一个汉字，但是达梦的varchar(1)不能存储一个汉字，varchar(2) 或 varchar(1 char ) 可存储一个汉字。

原创 达梦数据库如何查看和修改系统参数

查看初始化级别的系统参数：（通过视图option查查，初始化后不能修改，修改配置文件dmconfig.ini后只能重新初始化实例)查看初所有的的系统参数：（通过视图dm_ini查看，大部分需要重启实例才生效）sp_set_para_vlues(2,'参数名',参数值)；

原创 Mysql主从复制之slave_exec_mode，slave_skip_errors参数详解和测试

场景1）在主库插入一条数据，然后从库删除这条数据，然后主库再删除这条数据，从库不会报错，Read_Master_Log_Pos看到会执行完这个sql。场景3）在主库插入一条数据，然后从库删除这条数据，然后主库再更新这条数据，从库不会报错，Read_Master_Log_Pos看到会执行完这个sql。场景1）在主库插入一条数据，然后从库删除这条数据，然后主库再删除这条数据，从库不会报错，Read_Master_Log_Pos看到会执行完这个sql。

原创 Mysql主从复制之skip-slave-start，slave-parallel-type，slave-parallel-workers参数详解和测试

我们在/etc/my.cnf写入这个参数skip-slave-start=1，然后重启服务，发现slave进程没有自动启动，停服务期间master端插入的数据也没有复制过来，说明参数生效了，看起来这个参数好像没有什么用，因为我们总是希望备机重启时自动启动slave。测试：当前slave的查不到该参数，且/etc/my.cnf也没有配置该文件，重启服务后，发现slave进程自动启动，且停服务期间master插入的数据也复制过来了，看了这个参数默认是skip-slave-start = 0。

原创 Mysql binlog的三种模式statement,row,mixed详解，以及无主键造成复制延时的测试

6）主库有 id=1 和 id=10 两行数据，从库有 id=1,2,3,10 这四行数据，主库执行 delete from t1 where id

原创 MYSQL 主从搭建详细步骤和测试

发现报错Error executing row event: 'Table '，mytest.t1' doesn't exist'，在执行插入mytest.t1 values(88888888,'test')sql时报错。我们的搭建基础是在主备数据库和数据都一样的情况下，如果主库有数据库mytet,而备份搭建的时候并没有这个数据库，那么主库已有的数据库和数据会自动复制过来吗？#这两个是启用relaylog的自动修复功能，避免由于网络之类的外因造成日志损坏，主从停止，保证数据写入的一致性。

原创 CDC和DSG等复制软件的原理，表存在主键才能复制的原因？而mysql binlog主从复制却不需要？

比如源端一条sql update完全一样的两行数据,那CDC会把两行的改动转换成两个update sql，第一条sql执行完就把两行数据都更新了，那么第二条再去执行就会报错找不到该行。CDC目标端在一个事务里执行两条sql，第一条sql更新了两行，第二条sql再执行的时候发现找不到ID: [88888888] NAME1: [8888-0001] NAME2: [8888-0001]这一行了。

原创 MySQL Binlog/Redolog的区别详解

当需要更新一个数据页时, 如果数据页在内存中就直接更新, 而如果这个数据页还没有在内存中的话, 在不影响数据一致性的前提下, InooDB会将这些更新操作缓存在change buffer中, 这样就不需要从磁盘中读入这个数据页了. 在下次查询需要访问这个数据页的时候, 将数据页读入内存, 然后执行change buffer中与这个页有关的操作. 通过这种方式就能保证这个数据逻辑的正确性.否则, 需要先从磁盘读入内存, 然后再返回.Binlog没有自动crash-safe能力。

原创 DB2存储过程如何编写和执行

会默认为语句的终结符。有时可能会出现使用另外的终结符的情况，例如用SQL PL 编写的的脚本使用其它的符号而不是默认的分号，因为分号在SQL PL 是用于定义数据库对象过程中的语句结束。DB2会不会把文件看出一个存储过程，而是普通的DDL语句来执行，以；db2 "call insert_log_test()"执行的很快，不到1秒就插入成功了，而MYSQL相同的存储过程需要大概26秒左右，没想到会这么慢。作为DB2默认的SQL命令结束符，即你执行的不是一个创建存储过程的语句，而是多条不完整的SQL语句。

原创 DB2和mysql活动日志满了会自动回滚最早未提交的事务吗？

随着插入的数据越多，available to the database (Bytes)值会越来越小，而Log space used by the database (Bytes)越来越大，到最后一个插入就报错SQL0964C The transaction log for the database is full. SQLSTATE=57011了，，其实最早没有提交的事务1并没有被数据库回滚，是可以查到这条数据的。set i=i+1;end while;set i=i+1;set i=i+1;

原创 mysql物理备份步骤

这和DB2的物理备份是一样的，当一个DB2数据库数据库很大时，比如几十T，通过数据库的在线热备是非常耗时的，这个适合可以通过操作系统的快照功能，对db2的实例目录/home/db2inst1,数据库目录DBPATH(一般就是实例目录)，数据目录（表空间文件）进行磁盘快照备份。如果磁盘损坏发生，可以通过磁盘快照来恢复数据。和原库一致，把磁盘快照mount到新环境下，就可以起数据库实例了，能进行正常的读写，和本文的Mysql物理备份原理是一样的。在10.153.119.6解压并覆盖数据文件。

原创 create table 之default值

当插入数据时，如果某一列没有指定值，则会使用该列的默认值。