持续1个多月的迁移失败了,谁的锅

        笔者最近经历了一次持续1个多月的数据库迁移,数据量高达80多T,跨架构,跨版本,跨城市的数据库迁移,但是最终,这次迁移失败了,谁的锅呢

        失败的原因很简单,在传输的过程中,网络异常导致传输中断了,而由于这是一次边导边传的操作,传输中断了,导出也随之中断,而如果重新导出,还很有可能再次出现网络异常导致传输中断,可以这样说,这个数据库迁移失败了,只能重新想办法迁移。

        在整个迁移过程中,开发商(开发和维护业务系统的厂家)属于需求方,也是牵头主导本次迁移的负责方,根据客户要求,该数据库是业务方10多年来累计下来的数据资产,必须全部迁移过去,在开发商清理了一些临时数据后,数据库最终还有89T的数据。

        迁移方式选择,由于源服务器是AIX系统,目标端服务器是Linux系统,而且是从10G迁移导11G,另外需要迁移80多T的数据,因此选择了XTTS传输表空间方式迁移。之前我们也多次使用XTTS迁移数据库,算是比较有经验的,提出了一些要求和风险点。

        主要风险点就一个:本次迁移不是同一个机房内网迁移,而是从g市迁移导j市,通过跨地市的共享网络迁移,无法保障速度,而且在传输过程中,很可能出现网络抖动等原因导致传输失败。

        现在果然遇到这个风险了,要追责了,板子打在谁身上呢。。。

        网络组说,这个不关我们事,网络抖动是没法控制的,因为用的是共享网络,很有可能其他业务会爆发,把带宽抢占完了。

        数据库组说,我们在迁移之前就提出了会可能遇到这个风险,如果要避免这个风险,那必须加快传输速度,现在30M/S的速度,要持续一个多月导出,出问题的几率太大了。

        业务组说,这个共享带宽是1000M/S的,我们在其他机器上面测试都可以达到100多M/s,怎么就数据库服务器这么慢呢。

        主机组说,我们没做任何限制策略,防火墙也是关闭的,有限制也是网络组那边做了限制。

        接着网络组又说,没有对任何IP进行带宽限制,其他主机没问题,偏偏就这台服务器不行,肯定是服务器的问题。

        总之,公说公有理,婆说婆有理,互相推诿。

        没办法,客户只能拍板,重新再来,先导出到本地,再通过另外一个速度较快的中转机器,FTP到目标库。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多个目标域的迁移学习是指在一个迁移学习任务中,存在多个目标域需要进行知识迁移的情况。迁移学习算法可以帮助我们在这种情况下有效地利用源域的知识来改善目标域的学习性能。 一种常用的多个目标域迁移学习算法是多核学习(Multi-Kernel Learning)。该算法通过使用多个核函数来对不同的目标域进行建模,从而更好地适应不同的数据分布。具体来说,它通过将每个目标域与源域进行比较,选择最适合的核函数来进行特征映射,以提高目标域的分类性能。 另一种常见的多个目标域迁移学习算法是领域自适应(Domain Adaptation)。该算法通过对源域和目标域之间的分布差异进行建模,来实现知识迁移。其中,最常用的方法是最大均值差异(Maximum Mean Discrepancy,MMD)和领域对抗神经网络(Domain Adversarial Neural Network,DANN)。MMD方法通过最小化源域和目标域之间的分布差异来实现迁移学习;DANN方法则通过引入一个领域分类器和一个特征提取器,通过对抗训练的方式来减小源域和目标域之间的分布差异。 还有一种常见的多个目标域迁移学习算法是多任务学习(Multi-Task Learning)。该算法通过同时学习多个相关任务来实现知识迁移。具体来说,它通过共享模型的参数来学习不同任务之间的共享知识,从而提高目标域的学习性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值