- 博客(86)
- 收藏
- 关注
RSS订阅原创 undo的作用
总结：闪回最大时间为db_flashback_retention_target，闪回数据存在 undo表空间，保留时间为undo_retention，保留时间到了数据不会覆盖，只有当undo表空间不够，数据才会覆盖;的是undo中的TB1未修改的数据+undo（构建cr）保存的数据，其他访问TB1的用户也是如此，因此在用户A修改TB1的时候，undo保证了其他用户对TB1的。闪回时间到了数据不会覆盖，只有当undo表空间不够，数据才会覆盖(原因为先覆盖free的段，再覆盖expired的段)
2023-12-07 15:59:53
450
原创 dbwr进程触发条件
4.当进程在LRU链表上查找可以用得buffer header时，扫描到一定限度，会触发DBWn。2.发生CKPT检查点进程（包括增量检查点和完全检查点）;3.如果脏数据块的总数超过一定的限度;1.每隔3秒钟启动一次DBWn;
2023-12-07 15:58:35
378
原创 LGWR触发条件
5.DBWn启动时，如果发现有脏数据块对应的重做条目还没写到联机日志文件，则触发LGWR，并等LGWR写完，DBWn才继续。LGWR触发，将log buffer日志刷盘到redo log条件。1.用户提交或回滚时，commit,rollback;3.有大于1M的重做日志缓冲区未被写入磁盘;2.有1/3重做日志缓冲区未被写入磁盘;
2023-12-07 15:56:56
394
原创 buffer cache
查看buffer cache的命中率（数据缓存）根据经验，一个良好性能的系统，这一值一般保持在 95%左右。查看buffer cache的命中率（数据缓存）根据经验，一个良好性能的系统，这一值一般保持在 95%左右。undo:回滚未提交的数据，构造CR块。buffer cache的内存组织结构。修改db_block_buffers。只要未提交，别的会话就看不见修改。只要未提交就可以回滚。
2023-12-07 15:55:46
801
原创 share pool的组成
(管理员执行,设置的大小必须比sga自动分配的shared_pool大,参照v$sga_dynamic_components查询的值。10g后只需要设置sga_target大小，然后系统根据sga_target自动分配给shared_pool，buffer cache等，但还是可以修改，但修改的值必须比sga分配的大，才能生效;,否则设置不成功(会发现show parameter share pool查出来的和v$sga_dynamic_components(sga自动分配的)查的不相等，))
2023-12-07 15:50:45
398
原创 hadoop 报错Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:异常解决办法
错误缘由：start-dfs.sh启动hadoop ha时，namenode两个节点一会都挂了原因：在执行start-dfs.sh的时候，默认启动顺序是namenode>datanode>journalnode>zkfc，若是journalnode和namenode不在一台机器启动的话，很容易由于网络延迟问题致使NN没法链接JN，没法实现选举，最后致使刚刚启动的namenode会忽然挂掉一个主的，留下一个standy的，虽然有NN启动时有重试机制等待JN的启动，可是因为重试次数限制，可能
2022-02-25 20:57:33
1579
原创 mysql备份还原
备份与恢复通过数据文件和my.cnf备份还原1.保存原始库的data文件和my.cnf2.拷贝data文件和my.cnf带初始话好的新库，如果涉及到主备，data/auto.cnf文件不替换3.给mysql目录授权chown mysql:msql -R /app/mysql4.启动数据库逻辑备份恢复全备./mysqldump -uroot -proot1234 --single-transaction --flush-logs --master-data=2 --all-database
2021-09-16 15:52:09
162
原创 mysql主从复制
mysql主从复制主库配置create user ‘copy’@’%’ identified by ‘copy1234’;grant replication slave on . to ‘copy’@’%’;flush privileges;./mysqldump -uroot -proot1234 --single-transaction --master-data=2 --all-databases > /app/mysql/bak/full/backup_full.sqlscp
2021-09-10 14:07:48
90
原创 oracle,mysql树形结构替换
-- 树形结构等同于oracle的select * from tb_tree start with id='3' connect by PRIOR id = pid;-- 从上往下-- drop procedure getChildLst;CREATE procedure getChildLst_s_to_x(rootId INT) BEGIN DECLARE sTemp VARCHAR(1000); DECLARE sTempChd VARCHAR(1000);...
2021-07-24 23:43:41
156
原创 SQL 行转列，列转行
SELECT *FROM studentPIVOT (SUM(score) FOR subject IN (语文, 数学, 英语))或者SELECT name,MAX(CASEWHEN subject=‘语文’THEN scoreELSE 0END) AS “语文”,MAX(CASEWHEN subject=‘数学’THEN scoreELSE 0END) AS “数学”,MAX(CASEWHEN subject=‘英语’THEN scoreELSE 0EN.
2021-07-01 10:27:53
95
原创 InnoDB存储引擎锁的相关优化
InnoDB存储引擎实现了行级锁，行锁的实现带来性能的损耗比表锁更高，但在整体并发处理能力方面要远远高于MyISAM的表锁的，当系统的并发量较高时，InnoDB的整体性能和MyISAM相比有明显的优势；1.尽可能让所有数据检索都能通过索引来完成，避免无索引行锁升级为表所；update tb set name='11' where id='1',当id走索引了，则为行锁，并发高，否则升级为表锁2.合理设计索引，尽量缩小锁的范围3.尽可能减少索引条件，及索引范围，避免间隙锁，例如id<10,在i
2021-06-30 22:26:09
97
原创 数据库索引结构
二叉树 缺点：当数据是增量递增时，数的层级随着递增，层级和高，和全表扫描差不多了二叉平衡树 ：二叉树的升级版，随着层级递增，可以动态平衡分层，但数据量大了，层级同样很高btree树 ：增加第一层节点索引的节点数，比如数据库的最小存储单位页大小为16K,在一列上建索引，该节点存储该列的值，该值假设为10个字节，那么该层可以存1600个节点，第二层为1600*1600，第三层存储为该列值和该行数据的硬盘存储地址，加入1个节点为1k,到第三层就可以存1600*1600*16=40960000个节点
2021-05-26 11:52:30
216
1
原创 导入60G的CSV文件数据到clickhouse报错
一般导入csv到clickhouse报错都是数据格式有问题，解决办法可忽略错误修改config.xml，添加下面配置：<input_format_allow_errors_num>100</input_format_allow_errors_num>clickhouse-client --input_format_allow_errors_num=1 --input_format_allow_errors_ratio=0.1 --password default --q.
2021-04-26 09:41:12
1361
原创 linux添加自启动服务
vi /etc/init.d/zk#!/bin/sh# chkconfig: - 80 20# description: auto_start_sevciecase $1 in"start"){ for i in master slave1 slave2 do echo "--------启动ZK--------" ssh $i "source /etc/profile; /home/soft/zoo...
2021-04-13 10:39:00
144
原创 日期时间正则
判断日期select REGEXP_LIKE('2021-1-1 9:00:00','[1-9]\d{3}-(0{0,1}[1-9]|1[0-2])-(0{0,1}[1-9]|[1-2][0-9]|3[0-1])')判断时间select REGEXP_LIKE('2021-1-1 9:00:00','20|21|22|23|[0-1]\d:[0-5]\d:[0-5]\d')
2021-04-08 16:20:12
187
原创 python解析xml文件
#!/usr/bin/python# -*- coding: UTF-8 -*-from xml.dom.minidom import parseimport xml.dom.minidom# 使用minidom解析器打开 XML 文档DOMTree = xml.dom.minidom.parse("D:\\t_jtb_yzwfcxczyssxdsrmd_20200616.xml")rows= DOMTree.documentElement# 在集合中获取所有电影row = r...
2021-03-24 14:29:07
82
原创 监控锁表
declarev_sql varchar(500);v_sql2 varchar(500);v_date1 varchar(500);v_date2 varchar(500);beginloopv_date2:='2021-02-07 9:00:00';v_sql:='INSERT INTO TEST.TT SELECT B.NAME,SF_GET_SESSION_SQL(C.SESS_ID) FULL_SQL,A.* FROM V$LOCK A,SYSOBJECTS B,V$SESSIO
2021-02-06 10:36:36
216
1
原创 批量处理数据
declare i int; r_rowid varchar;begin i = 0; for j in (select rowid from XYXX_JC.QTTT_Tmp_419176 ) loop INSERT INTO XYXX_JC.QTTT_TWO SELECT * FROM "XYXX_JC"."QTTT_Tmp_419176" WHERE rowid=j.rowid; i = i + 1; ...
2021-01-28 13:41:21
233
原创 创建dblink
修改两个服务器dm.ini的 MAL_PORT=1配置两个服务器的dmmal.ini两个服务器内容一样[MAL_INST1]##数据库实例名，与dm.ini的INSTANCE_NAME配置项保持一致，MAL系统中数据库实例名要保持唯一MAL_INST_NAME = DMSERVER##MAL IP地址，使用MAL_HOST + MAL_PORT创建MAL链路MAL_HOST = 172.21.18.18##MAL监听端口MAL_PORT...
2021-01-25 14:47:00
173
原创 PYTHON--正则
import remystr='4.2.1.1姓名标 识 符：DE1205001中文名称：姓名英文名称：Name短名：Name数据类型：String数据格式：a..36值 域：计量单位：说 明：4.2.1.2性别代码标 识 符：DE1205002中文名称：性别代码英文名称：Gender Code短名：GenderCode数据类型：' pattern=re.compile('.*?中文名称：(.*?)英文名称.*?短名：(.*?)数据类型.*?')result=pattern.fin...
2021-01-25 14:42:21
82
原创 定期删除备份集
--每周一全量备份call SP_CREATE_JOB('每周一全量备份',1,0,'',0,0,'',0,'');call SP_JOB_CONFIG_START('每周一全量备份');call SP_ADD_JOB_STEP('每周一全量备份', 'FULL_BAK', 5, '01000E:\dm\dmdbms\data_new\DAMENG_NEW\bak', 1, 2, 0, 0, NULL, 0);call SP_ADD_JOB_SCHEDULE('每周一全量备份', '每周一10
2021-01-25 14:41:06
154
1
原创 基于时间点恢复数据库
1.备份数据库backup database full backupset 'bak';2.制造数据,生成归档日志,创建一张表,写入数据3.模拟故障,删除该表4.记录时间 select sysdate;5.使用备份和归档将数据恢复到指定时间1>停数据库服务2>进入rman3>还原数据库到备份状态restore database /dm8/data/DAMENG/dm.ini from backupset 'bak';4>使用归档日志恢复到指定时间recover.
2021-01-25 14:38:46
169
原创 dm参数优化
declarev_mem_mb int;v_cpus int;mem_per int:=100;MEMORY_POOL int;BUFFER INT;MAX_BUFFER INT;RECYCLE int;CACHE_POOL_SIZE int;BUFFER_POOLS int;RECYCLE_POOLS int;SORT_BUF_SIZE int;SORT_BUF_GLOBAL_SIZE INT;DICT_BUF_SIZE INT;SESS_POOL_SIZE INT;HJ_.
2021-01-21 10:19:41
463
原创 误操作删除了重要数据时，可以使用闪回查询来找回原来的数据，但当表被删除或者数据库没有开启闪回功能时
1.备份数据库 backup database full backupset 'DMTESTFULL_ONLINE0723';2.制造数据，生成归档日志3.模拟故障，删除表,并记录下删除表时的系统时间。4.使用备份和归档日志将数据库恢复到指定时间点5.使用步骤1的备份文件将数据库还原到备份时状态： RMAN> restore database '/dm8/data/DMTEST/dm.ini' from backupset 'DMTESTFULL_ONLINE0723';6.使用归档..
2021-01-20 17:17:40
344
原创 dm-笔记
查看已经执行超过2秒的SQLselect * from (select sess_id,sql_text,datediff(ss,last_recv_time,sysdate) Y_EXETIME,SF_GET_SESSION_SQL(SESS_ID) FULL_SQL,CLNT_IPfrom v$sessions where state='active') WHERE Y_EXETIME>2;查看被阻塞的SQLSELECT B.NAME,SF_GET_SESSION_SQL(C.SESS_I
2021-01-20 15:37:16
144
原创 统一社会信用代码校验
import java.util.HashMap;import java.util.Map;import java.util.regex.Matcher;import java.util.regex.Pattern; public static boolean isUnicode(String businessCode) { if (isBlank(businessCode) || businessCode.length() != 18) { retu...
2021-01-04 14:11:38
613
原创 使用dmetl快速装载报错
使用dmetl快速装载时报错[dm7 fast loader send rows failed]com.dameng.etl.api.DataAccessException: com.dameng.etl.api.DataAccessException: dm7 fast loader send rows failed查看目的表是否有位图索引，删掉位图索引就好了
2020-12-26 10:43:02
239
原创 时间转换
to_char(apprdate/(10006060*24)+to_date(‘1970-01-01’,‘YYYY-MM-DD’),‘YYYY-MM-DD’)
2020-12-16 15:22:24
123
原创 dm7闪回
SELECT * FROM V$DM_INI WHERE PARA_NAME LIKE '%ENABLE_FLASHBACK%' -- ENABLE_FLASHBACK=1select * from "SYSDBA"."T" when TIMESTAMP '2020-12-01 15:09:57.343000'
2020-12-01 15:14:56
140
原创 批量删除备份集
批量删除备份集增加要删除的备份集目录sf_bakset_backup_dir_add(‘DISK’,‘E:\dm\bak’);删除十天前的备份集sp_db_bakset_remove_batch(‘DISK’,NOW()-10);
2020-09-02 11:02:46
179
原创 限制用户登录失败次数，登录IP，登录时间
限制用户登录失败次数，登录IP，登录时间例如:修改用户登录10次锁定，限制IP为172.21.18.登录，登录时间为周一早上到周五晚上6点alter user testuser limit failed_login_attemps 10 allow_ip "172.21.18." allow_datetime “MON” “8:00:00” to “FRI” “18:00:00”;...
2020-09-02 10:56:40
1103
原创 PSEG_RECV可快速启动DM数据库
PSEG_RECV可快速启动DM数据库系统故障重启时，对活动事务和已提交事务的处理方式。0表示跳过回滚活动事务和PURGE已经提交事务的步骤。在回滚表空间出现异常，损坏，系统无法正常启动时，可将改值设为0，让系统启动。但也存在一定风险，未提交事务无法回滚和部分存贮空间无法回收，默认值是1。...
2020-08-31 11:11:44
289
原创 达梦8通过多个left join on 查询往表里查数据报超出全局hash join 空间，适当增加hj_buf_global_size的错误
达梦8通过多个left join on 查询往表里查数据报超出全局hash join 空间，适当增加hj_buf_global_size的错误解决方法:数据库里执行sp_set_para_value(1，‘hj_buf_global_size’，1000)
2020-08-27 16:11:44
2598
原创 DMHS双向同步安装配置步骤
DMHS双向同步安装配置步骤环境：数据库都要配置归档都要打开附加日志（否侧启动cpt报错）两台服务器分别为捕获器服务器，执行器服务器配置--数据库要配置 ~/.bash_profile中 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/dmdbms/bin的环境变量方法一：通过web形式启动web服务 ./startWebServer.sh通过http://192.168.100.102:8080/manager/进入web配置界面启动捕获器，.
2020-06-22 22:08:08
472
原创 防火墙常用设置
-A INPUT -m state --state NEW -m tcp -p tcp --dport 5236 -j ACCEPT 开放端口-I INPUT -p tcp --dport 2049 -j DROP 禁端口-I INPUT -p tcp --dport 30001:30004 -j DROP 禁端口范围-I INPUT -s 59.208.247.50 -p tcp --dport 111 -j ACCEPT 开放ip，端口-I INPUT -s 59.208.247.50
2020-06-22 16:18:32
180
原创 记录一次dm7连续两天挂掉的故障
dm7数据库连续两天挂掉查看数据库日志无明显错误查看操作系统日志发现如下问题：第一句日志意思为没有属于任何一个包,并且ProcessUnpackaged被设置成了no.通过查阅资料得知深层次原因为无法创建ccpp文件导致的,可以修改/etc/abrt/abrt-action-save-package-data.conf文件中的ProcessUnpackaged参数为yes刷新配置文件使其生效，数据一段时间运行正常，没有出现服务挂掉。...
2020-06-16 16:04:19
408
原创 DM7归档日志挖掘
1.创建系统包SP_CREATE_SYSTEM_PACKAGES(1);2.查看数据库是否开启了归档和追加日志(必须加)select para_name,para_value from v$dm_ini where para_name in ('ARCH_INI','RLOG_APPEND_LOGIC');3.查看数据库当前有那些归档日志SELECT NAME ,FIRST_TIME , NEXT_TIME , FIRST_CHANGE# , NEXT_CHANGE# FROM V$ARCHIVE
2020-06-15 15:27:15
204
原创 dm7数据库重演
在数据库系统上捕获所有负载保存到二进制捕获文件，然后通过DM提供的数据库重演工具将捕获文件中的请求发送给捕获前由原始数据库备份恢复而来的重演测试系统上，从而帮助重现当时的场景SP_START_CAPTURE('D:\dmdbm\data\DAMENG5\bh' ,-1);--开启捕获，前面参数表示捕获文件保存的绝对路径，后面表示捕获时间，-1表示手动停止create table SYSDBA.BH(ID INT);INSERT INTO SYSDBA.BH VALUES(1); --操作表CAL
2020-06-12 14:51:21
164
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人