Checkpoint是不是只写提交的Transcation页

很多人都以为Checkpoint只是将已经完成Transcation的脏页写入磁盘,其实不是这样的:

One commonmisconception about checkpoints is that they only write out pages with changesfrom committed transactions. This is not true—a checkpoint always writes outall dirty pages, regardless of whether the transaction that changed a page hascommitted or not.(来自:http://technet.microsoft.com/en-us/magazine/2009.02.logging.aspx

这里开启Traceflag 3503做个测试:

CREATEDATABASE CheckpointTest;
GO
USE CheckpointTest;
GO
CREATE TABLE t1 (c1 INT IDENTITY, c2 CHAR (8000) DEFAULT 'a');
go
CREATE CLUSTERED INDEX t1c1 on t1 (c1);
GO
SET NOCOUNT ON;
GO
CHECKPOINT;
GO
DBCC TRACEON (3505, -1);
GO


BEGIN TRAN;
INSERT INTO t1 DEFAULT VALUES;
GO
CHECKPOINT;

Errorlog中看到的结果:

2012-07-2610:14:29.180 spid57 Ckpt dbid 7 started (8)
2012-07-26 10:14:29.180 spid57 About to log Checkpoint begin.
2012-07-26 10:14:29.190 spid57 Ckpt dbid 7 phase 1 ended (8)
2012-07-26 10:14:29.190 spid57 FlushCache: cleaned up 6 bufs with 6 writes in 3ms (avoided 0 new dirty bufs)
2012-07-26 10:14:29.190 spid57 average throughput: 15.63 MB/sec, I/Osaturation: 5, context switches 6
2012-07-26 10:14:29.190 spid57 last target outstanding: 2, avgWriteLatency 0
2012-07-26 10:14:29.190 spid57 About to log Checkpoint end.
2012-07-26 10:14:29.190 spid57 Ckpt dbid 7 complete

可以看到虽然TRAN没有Commit但是脏页已经被写到磁盘了。

Trace flag3505请参考:http://support.microsoft.com/kb/815436

在Flink中,可以使用Checkpoint机制来实现容错。当一个任务失败时,Flink可以从最近的Checkpoint恢复状态并重新开始处理数据。而在Flink中,偏移量的提交Checkpoint机制是紧密相关的。偏移量是指在Kafka或其他消息队列中,消费者消费到的消息位置,而Checkpoint则是指将任务状态持久化到持久化存储中。 在Flink中,可以通过配置`enable.auto.commit`属性来开启偏移量自动提交。但是,这种方式可能会导致数据丢失或重复消费的情况发生。因此,建议使用手动提交偏移量的方式。 在Flink中,使用`FlinkKafkaConsumer`消费Kafka数据时,可以使用`FlinkKafkaConsumer#assignTimestampsAndWatermarks()`方法来指定Watermark生成器。在这个方法中,可以通过调用`FlinkKafkaConsumer#getCurrentOffset()`方法来获取当前偏移量,并将它保存到状态中。当Checkpoint触发时,可以将偏移量提交Checkpoint中。这样,在任务失败时,Flink就可以从最近的Checkpoint恢复状态并重新开始处理数据了。 具体来说,在Flink中将偏移量提交Checkpoint的步骤如下: 1. 在`FlinkKafkaConsumer#assignTimestampsAndWatermarks()`方法中获取当前偏移量,并将其保存到状态中。 2. 当Checkpoint触发时,在Checkpoint回调函数中将偏移量提交Checkpoint中。 3. 在任务重新启动时,从Checkpoint中获取偏移量,并将消费者定位到该位置继续消费数据。 需要注意的是,在将偏移量提交Checkpoint中时,要确保线程安全。建议使用`OperatorState`或`KeyedState`来保存偏移量,并在Checkpoint回调函数中更新状态。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值