问题描述:
Kettle 版本:Kettle-2.5.0
Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production
同事用Kettle去完成数据上传的时侯,发现执行的比较慢。于是点开Kettle的update,检查更新设置是否正确。检查update设置,发现没有错误。
准备点击cancel退出,却不小心点了SQL按钮。于是一个潜在的悲剧即将出现。
这时出现了一些删除表列的SQL,类似于Alter table table_name drop (col_name);
这时如果点close,也没有问题。可惜她却点击了Execute按钮。
于是悲剧发生。生产环境中的这个表的一部分列被drop掉。
这个问题仅在使用文件作为输入的时候出现,使用SQL作为输入的时候不会出现类似情况。
恢复过程:
还好这个表不是关键的业务表,对生产的影响并不是很大。且这个表的数据都是通过kettle进行update与inset的。
虽然我们有Dataguard,有Rman的备份。
但Datagurad 主库与备库之间数据同步的间隔只差半个小时,发现这个问题的时候已经是在一个小时以后了。
用Ramn的话只能在其他机器上恢复,还要重新搭环境,也比较耗时。
由于是删除列是DDL操作,所以FLASHBACK也不能用了。
还好我们有逻辑备份,把这个表的数据恢复到了今天早上备份的时刻。
而这个表的数据从今天早上备份后到出问题的时候,数据并没有变化。所以从逻辑备份恢复后就没什么问题了。
从得知表的列被删除,到使用逻辑备份恢复表的数据,前后只用了10分钟左右。
看来在某些情况下,逻辑备份还是必要的。
解决方案与教训:
为了避免这个错误可以给使用kettle做数据更新用户指定的权限。
如给使用kettle连接数据库的用户只使用某些表的 select ,insert,update权限。
select 'grant select, insert, update on '||table_name||' to upload_data;' FROM user_tables where table_name LIKE 'kettle%';
通过这个教训更加深刻的让我体会到了数据库中权限的重要性,只给需要的用户需要的权限,切不可粗心大意。