关于oracle大表迁移

 

相关信息如下:ITPUB个人空间Q?l k U ux0m G
数据库版本:9.2.0.4
O/Q ^'k r0导出数据库:db1
` O3cw"`P0U"C0导入数据库:db2ITPUB个人空间7/.p9J8pW,fb'W+o
ITPUB个人空间4KiW8cA Z7v

hlndg%_"qh0NL7u3a0逻辑导出语句如下:ITPUB个人空间2XWC SPd
exp user1/password@db1 file=TABLE1.dmp log=TABLE1.log tables=table1 buffer=10485760 constraints=n compress=n statistics=none
`JCP!s}B1O6Z/#{0ITPUB个人空间#jP"f-n!M
imdexes=n triggers=n grants=n
2A3Kn p)Jj oG�Jy0
*r&mGmm:z0Z,M{0逻辑导入语句如下:
KR"y ASR+N9p0imp user1/password@db1 file=TABLE1.dmp log=TABLE1.log ignore=y full=y constraints=n grants=n buffer=10485760 commit=yITPUB个人空间K(W sK'P'Lh

;o�K0LT*?&D9N)Bm01.回滚段确认:30G,imp导入时加了参数commit=y,控制回滚段无限的加大ITPUB个人空间2d;u cr4`-FDc P*~4l l
2.临时表空间大小确认:62GITPUB个人空间#aWP(A%eMH
3.内存大小确认:127G
~`_b&z$zA@04.CPU颗数:32颗ITPUB个人空间YWNU*NY0iE,D0Jv0L
5.有足够的归档空间ITPUB个人空间 ]yDg2^Z;}
6.用户表空间足够大
,oO)Y0GJ5`07.TABLE1段大小为:1.1010E+10 (11G)
A5H!kZz|k08.TABLE1有98258468(1亿)条数据ITPUB个人空间L"w4m9a jJ
9.导出后的TABLE1.dmp文件大小为8.1G
M,^(ZOm4W8Rp:^q0ITPUB个人空间.y2p$H;st f'o/xE5_r
我的问题:ITPUB个人空间!^B6XO3v.f
1.大概跟踪了一下进度,复制的效率开始时是在100万条记录/小时,按照这个速度需要4.1天的时间才能完全导入,不能够接受的时间长度,有
4sV8wk2ttn,D0ITPUB个人空间+Xrq)|"V}S s
没有提高性能的方法呢?
t#I+VrH8JU02.我是在归档模式下进行的导入,不过设置成非归档是否会快一些?
'S9vh6N#k5w"H03.对应的索引没有禁止,这个表上有四个索引,其中一个为主键索引,如果禁掉索引以及约束会不会提高速度?ITPUB个人空间4]0h j7?)g6`"O l
4.在imp导入过程中,索引表空间会不会增大,这个没有监控出来?ITPUB个人空间} e"C0HH
5.imp的原理是什么?是转换成sql的insert语句进行插入么?按照我的设置,是否是每插入10M的数据就会进行提交一次?ITPUB个人空间*u4G$w0v9T4`?#n
6.9.2.0.4版本的imp可以增加并行度么?(如果能请给出方法,目前没有找到相应的参数)ITPUB个人空间rT"e^;dkC6@1`
ITPUB个人空间 [`eSW @
我发现,就是现在,好像数据导入到第3735438条时,停止了,不知道为什么,难道在大小上有什么限制,或者有什么类似死锁的事情发生?
w3IY&H2_#XvV)qPe0
|^6AUq6wPf4c0彻底被这个任务击沉了!有朋友有过迁移大表的经验么?请指导,非常感谢。
q1[l eO!S7A.| C0ITPUB个人空间3q1fv{{)_"U

C!s ]9w7} jV0
zG!`R:ZwiFc:^2W0
i!K7R*_(w/D0======================================================ITPUB个人空间,TE!qX$NT
======================================================ITPUB个人空间S,t.S%FX
问题已经解决,感谢大家的帮助。在去掉索引和约束后,速度惊人!超快的完成了任务,不过在重新创建索引和加约束时很是用时。
fg,Xal&o4L9A2XY[0结果证明:经验很重要!
yIR4j'dkp%^0
rrdpU0经验总结
&Ii�W7LIZ(C0ITPUB个人空间GZl�v G7`z6X
技术经验总结:ITPUB个人空间g�u{:Y ~ ~7u
1.根本问题是:没有将目标端的索引和约束全部去掉,估计是在不停的插入过程中一直在扫描索引,具体的原理还得深入研究;
|W6e.HO02.在回滚段够大的情况下,可以不用加commit=y参数,频繁的提交会影响效率;ITPUB个人空间&hs0q#J6H
3.在表比较小的情况下可以考虑使用DBLINK迁移;ITPUB个人空间:g+k z2p]@4w9n
4.在迁移的过程中时刻注意各种空间是否够用(包括redolog,archivelog,undo segment,temp tablespace);
1_AA'L?qT05.查找是否有其他的因素干扰任务的进展,我的任务中就是因为after类的trigger给我添乱不少;
2Kqx;d6MT06.多google,多查询,只有遇到问题,思考问题,解决问题才能迅速的提高。ITPUB个人空间cz5z8J!uR!]h7u

J3v!]FiW9I0工作经验总结:
Uf!U,pL|4gx j02.还是应该对手中的任务好好研究一下,定一个,考虑周全后在定使用什么方式;
1Q#s0Vq#r yM;r0{ L5@03.多向老DBA取经,不管问题多么简单,大家都有这么一个过程;ITPUB个人空间2FCo%N/PK
4.遇到问题不可盲目的慌张,慢启动才能快完成!ITPUB个人空间8Cs$Y5z1~j"SUL
5.认真做好工作完成后的总结工作。

 

 

 

======================================================
7F7y$U;pg�_!`(}x0======================================================

基本上是简单的INSERT,其实只要网络环境和机器配置好的话,这个不成问题
mhBa4Y*L u"W0insert /*+ append*/ into select /*+ parallel(t,4)*/ * from t@dblink;

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Oracle大表数据迁移是将一个包含大量数据Oracle从一个地方移动到另一个地方的过程。这个过程可能是在同一个数据库中的不同空间之间迁移,也可能是从一个Oracle数据迁移到另一个Oracle数据库。 在进行Oracle大表数据迁移之前,我们需要进行一些准备工作。首先,我们需要评估源的大小和结构,以及目标的可用空间。如果目标空间不足,我们需要调整目标空间的大小。 然后,我们需要使用Oracle提供的数据导出和导入工具(如exp和imp)来导出源数据,并将其导入到目标中。这个过程可能需要一些时间,因为大表包含大量数据。为了加快数据导入的速度,我们可以考虑使用并行处理和压缩等技术。 在进行数据迁移之前,我们还应该备份源和目标,以便在出现意外情况时可以还原数据。此外,我们还需要确保目标的结构与源一致,包括的列、约束和索引等。 完成数据导入之后,我们还需要验证数据的完整性。可以通过对源和目标进行比较,并检查数据的条数和内容是否一致来完成验证。 在整个迁移过程中,我们还应该关注迁移过程的性能和资源消耗。可以通过合理设置并行度和导入选项来提高性能,并使用数据库监控工具来监控资源的使用情况。 此外,我们还需要注意迁移过程中可能出现的问题,比如数据冲突、导入错误等。在出现问题时,我们需要及时进行故障排除,并采取相应的措施解决问题。 总结起来,Oracle大表数据迁移涉及到评估、准备、导出、导入、验证和故障排除等一系列步骤。正确地执行这些步骤可以确保数据的完整性和迁移过程的高效性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值