一次优化log_buffer_space的经历

最新推荐文章于 2022-05-11 12:01:25 发布
最新推荐文章于 2022-05-11 12:01:25 发布
阅读量160 收藏
点赞数
当向一张表中插入大量数据时，EM中发现有log_buffer_space等待事件。该等待事件是由于重做量超出日志缓冲区而产生的。

下面介绍实验环境：

1. 日志缓冲区默认大小6M。
2. 表的行宽：NUMBER(9)*1+NUMBER(1)*76=85
3. 计划一次插入1百万行。

lgwr什么时候开始空工作的,它要有触发他的动作
  A. 重做日志缓冲区的已使用的空间达到三分之一时
  B. 当dbwn进程向磁盘写入已修改的缓冲区的时候
  C. 每隔3秒钟
  D. 用户提交事务处理时的一条提交记录(经常commit会及时刷新重做日志缓冲区空间)

如果我们每50,000行提交一次，那么50,000*85>6M的1/3，因此根据上面的A，将触发LGWR把log_buffer写入redo log，这就是LOG BUFFER SPACE产生的原因！

知道了这点，我们调整为每20,000行提交一次，这样提交前将不会超过日志缓冲区的1/3。

比较一下，单次提交量和时间的区别：

25,000 00:04:37.62
50,000 00:04:50.34
10,000 00:04:40.33
20,000 00:04:35.52

结论，20,000最佳！

注意到：不是越小越好，比如10,000就比20,000花更多时间，批量提交应尽可能越多越好，但不能超过LOG BUFFER的1/3警戒线。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/22621861/viewspace-1274302/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/22621861/viewspace-1274302/

cssg91583
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1_log_buffer上的优化思路
wolihaito的博客
02-20 368
LGWR 进程将log buffer 中的日志条目写往在线日志的条件有如下3个： 1.事务提交时 2.log buffer 中日志条目超过1M时 3.每隔3秒是 虽然触发lgwr 进程写日志的条件很多，但在日志生成量很大的系统中（比如每秒生成10M以上），建议设置比较大的 logbuffer （如 50m）,从而防止log buffer 空间不足。 oracle 写日志特性： 1.由于lgwr 进...
log buffer及日志管理深入分析及性能调整（一）
DBA实施者
01-05 9451
1. log buffer的概念 1.1 log buffer概述 数据库在运行过程中，不可避免的要遇到各种能够导致数据块库损坏的情况。比如突然断电、oracle或者操作系统的程序bug导致数据库内部逻辑结构损坏、磁盘介质损坏等，都有可能造成数据库崩溃，从而导致数据丢失的现象发生。 为了避免，或者说为了修复这些状况所导致的数据丢失现象，oracle引入了日志缓冲区和日志文件的概念。所谓日志，
log buffer —— log buffer space
事后诸葛亮的程序人生（微信：zq9017197）
11-03 5934
欲向重做缓冲区上写入重做记录的进程，为了确保拥有重做缓冲区内必要的空间，需要获得redo allocation锁存器。已获得redo allocation锁存器的状态下，在想要得到重做缓冲区时，若没有适当的剩余空间，则需要等到直到获得空间为止。这时，根据情况等待两种事件。如果当前正在使用的重做日志文件已满，因此无法获得剩余空间，LGWR就会执行日志文件切换，服务器进程则等待log file swi
等待事件 log buffer space（日志缓冲空间）
小楼一夜听春雨，深巷明朝卖杏花
07-02 5913
 log Buffer Space-日志缓冲空间 当数据库产生日志的速度比 LGWR 的写出速度快，或者是当日志切换（ log switch）太慢时，就会发生这种等待。这个等待出现时，通常表明 redo log buffer 过小， 为解决这个问题，可以考虑增大日志文件的大小，或者增加日志缓冲区的大小。 另外一个可能的原因是磁盘 I/O 存在瓶颈，可以考虑使用写入速度更快的磁盘。在允许的条件下...
延迟有关的常见等待事件
喝醉酒的小白
05-11 865
log file sync（日志文件同步）：等待事件和提交或回滚事务终止相关。 log buffer space（日志缓冲区空间）：等待事件和日志缓存区有关。当会话由于空间不足而无法将重做条目复制到日志缓冲区中时。 free buffer waits（空闲缓冲区等待）：等待事件与LRU列表和DBWR进程有关。如果无法在LRU列表上找到空闲缓冲区或者所有的缓冲区被挂起。 wait complete waits（写入完成等待）：等待事件与当前DBWR进程写出的块有关。 log file switch compl
MySQL性能优化InnoDB buffer pool flush策略
最新发布
09-16
另外为了避免查询数据页时扫描 LRU，还为每个 buffer pool instance 维护了一个 page hash，通过 space id 和 page no 可以直接找到对应的 page。 一般情况下，当我们需要读入一个 Page 时，首先根据 space id 和 ...
微软内部资料-SQL性能优化3
11-27
[BULK-OP-LOG] – Bulk Operation Lock for Log Table Lock Sub-Resources: Full Table Lock (default) [UPD-STATS] – Update statistics Lock [COMPILE] – Compile Lock Index Lock sub-Resources: Full Index ...
微软内部资料-SQL性能优化5
11-27
Contents Overview 1 Lesson 1: Index Concepts 3 Lesson 2: Concepts – Statistics 29 Lesson 3: Concepts – Query Optimization 37 Lesson 4: Information Collection and Analysis 61 Lesson 5: Formulating ...
30种oracle常见的等待事件说明.zip_oracle
09-20
在Oracle数据库管理中，性能优化是一项至关重要的任务。等待事件是理解数据库性能瓶颈的关键，它们提供了关于系统资源使用情况和数据库操作延迟的深入洞察。"30种Oracle常见的等待事件说明.zip_oracle"这个压缩包...
等待事件 log buffer space
喝醉酒的小白
07-05 2175
select inst_id,username,event,count(*) from gv$session where wait_class<>'Idle' group by inst_id,username,event order by 4; alter system set commit_logging='BATCH'； 等待事件 log buffer space
与log相关的等待事件及解决方法
冰刀(skate)
10-11 1649
author:skatetime:2009/10/11 一. log buffer的优化 日志块的都是按照顺序往里写，不存在更新日志块的以前的内容，同时每个日志块大小都很小，是操作系统数据块的大小（一般为512k），所以几乎不会有多个进程抢同一个日志块的情况。其争用主要是进程由于找不到可用的日志块而必须等待的情况。而我们知道LGWR负责释放脏的日志块从而提供可用日志块，LGWR
Oracle常见等待事件
陈泽钦的博客
12-06 1919
Oracle常见等待事件buffer busy waitsfree buffer waitslibrary cache locklibrary cache pindb file scattered readdirect path readdirect path writelog buffer spacelog file sequential readlog file switch（archiving need）log file switch（checkpoint incomplete）log file sy
log buffer space等待事件
weixin_33681778的博客
08-27 272
最近，我们有台服务器在delete操作期间发现一直在等待log buffer space，其他节点就没与这个问题。经查，向重做缓冲区上写入重做记录的进程，为了确保拥有重做缓冲区内必要的空间，需要获得redo allocation锁存器。已获得redo allocation锁存器的状态下，在想要得到重做缓冲区时，若没有适当的剩余空间，则需要等到直到获得空间为止。这时，根据情况等待两种事件。如果当前正...
log buffer space wait event等待事件
03-30 188
原因：　　1,logfile switch;这时lgwr要把log buffer写入到新的日志文件，而用户进程必须等待这个　　　切换日志事件发生，方可把产生的redo entry写入到log buffer 2,lo...
No buffer space available 一次神奇的维护经历
热门推荐
一起记录GIS学习
08-31 3万+
前段时间在项目维护当中遇见一个问题，方便以后再次遇见类似的问题，可以参考解决问题的思路，记录如下： 问题概述： 维护项目当中，客户这边发来消息，称自己的网站登录不上去了，提示用户名密码错误，我就登录到服务器上查看系统日志和报错情况，如图： 这个异常来源部署的一个jar包，用于读取数据存入mongodb，再看了Tomcat也报错了，错误是：java.net.SocketException。...
非空闲的等待事件-log buffer space
cl86514的博客
04-12 146
log buffer space(Configuration类)当会话由于日志缓冲区空间不足而无法将重做日志条目复制到日志缓冲区时，会话将在log buffer space事件上等待。LGWR负责写出重做条目，腾出日志缓冲区空间...
oracle redo log优化,实例优化——redo_log_buffer
weixin_32567865的博客
04-14 509
用户修改一条数据时，redo的一系列的行为1，用户发出一条SQL语句，Oracle为该事务分配了唯一的事务号2，服务器进程负责将需要的数据、索引和undo数据读入内存，并将要更新的行加锁3，服务器进程获得重做拷贝闩锁(闩锁实现对redo_buffer的串行使用)，该闩锁是服务器进程访问redo_log_buffer的第一步。此时如果，没有其他的闩锁使用，则别的服务器进程无法使用redo_log_b...
Redo Log Buffer初步调优
tom555cat
06-11 1922
The Redo Log Buffer LGWR只有1个进程，不像DBWn可以有多个。LGWR速度受限于ARCn和DBWn。 when LGWR writes? A user process commits a transactionEvery three secondswhen the redo log buffer is one-third fullwhen a DBWn p
这段代码为什么在arm上会crash #include <iostream> #include <deque> #include <memory> #include <stdio.h> using namespace std; class Buffer { public: Buffer(int size) { m_buffer = (char*)malloc(size); printf("malloc %d size space\n", size); } ~Buffer() { if (m_buffer) { free(m_buffer); } std::cout<<"buffer xigou"<<std::endl; } Buffer(Buffer&& buffer) { std::cout<<"yidong gouzao"<<std::endl; this->m_buffer = buffer.m_buffer; buffer.m_buffer = nullptr; } private: char* m_buffer; }; class Log { public: Log() { } ~Log() {std::cout<<"xigou"<<std::endl;}; void init() { m_deque.push_back(std::unique_ptr<Buffer>(new Buffer(128))); m_deque.push_back(std::unique_ptr<Buffer>(new Buffer(256))); m_deque.push_back(std::unique_ptr<Buffer>(new Buffer(512))); } void test() { init(); std::cout<<"test ------"<<std::endl; std::unique_ptr<Buffer> tp = nullptr; tp = std::move(m_deque.front()); int i = 1; for (auto it = m_deque.begin() ; it != m_deque.end(); it++) { if (*it == nullptr) { std::cout<<"nullptr "<<i<<std::endl;; } i++; } m_deque.pop_front(); std::cout<<"end -------"<<std::endl; } private: std::deque<std::unique_ptr<Buffer>> m_deque; }; int main() { std::cout << "Hello World!\n"; Log my_log; cout<<"start Log test"<<endl; my_log.test(); cout<<"end Log test"<<endl; }
06-13
这段代码在arm上会crash的原因是因为在移动构造函数`Buffer(Buffer&& buffer)`中，没有对移动后`buffer`的指针进行空指针处理，导致在使用`buffer`的指针时出现了未定义的行为。在x86等其他平台上，可能由于内存管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值