数据迁移经验总结

最新推荐文章于 2024-04-03 17:22:49 发布
最新推荐文章于 2024-04-03 17:22:49 发布
阅读量518 收藏 1
点赞数
分类专栏： 数据库 文章标签： 数据库 sql server 存储 游戏 测试 工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dfyong/article/details/6229727
版权
本文详细介绍了在公司数据库升级迁移过程中所经历的步骤、经验教训和注意事项，包括前期准备、即时操作、并行操作等阶段。在迁移过程中遇到了如登录日志不全、表字段大小设置错误等问题，通过SQL SERVER工具提高效率，并在后期创建索引以优化数据库性能。迁移完成后，进行了全面的测试和验证，确保数据正确性和系统稳定性。
摘要由CSDN通过智能技术生成

概述

公司经过多年的发展，数据库数据存储已经达到了使用年限，需要更改新的数据存储。随着年限的增加，数据也日益膨胀，用户、推广、客服等系统在庞大的数据中查询速度日益减慢，许多新的业务也因需要避免在海量数据中做查询而不得不另谋方法。为了达到未来一段时间内数据的安全、快捷，并适应以后的业务发展，对光宇社区数据库进行一次大规模的迁移升级。

[编辑] 操作步骤及经验

[编辑] 前期工作

  1. 创建新数据库AccountDB；AccountDB-Log&#x
最低0.47元/天 解锁文章
xiaoyong322
关注
专栏目录
mysql数据迁移与同步常用解决方案总结
congge
05-10 6170
mysql数据迁移与同步常用解决方案总结
数据迁移测试总结
悠然的笔记本
02-15 2898
数据迁移测试总结
大数据迁移总结
TROUBLE I AM IN
11-18 3181
大数据迁移总结 情况是这样的，有几张表存储爬虫爬过来的数据，用text的数据类型的一个字段存储，这种表每张有2万多条数据，这样的数据库有20-30个，其中的数据还有很多是重复的，现在需要把这些数据迁移到一个库中，简单来说就是一句话： XXXXXXXX……. 如果只是要插入数据我也认了，但是现在问题是我还要对其中的一些数据进行处理，就是我还要遍历每条数据。也就是说我一定要用脚本去实现它。 业务逻...
【项目经验】数据迁移总结
weixin_30918633的博客
09-06 1343
在产品迭代初期或者系统重构时期，业务模型的调整带来数据结构的变化，数据迁移不可避免。做好数据迁移需要考虑周全，且准备充分，做好预案，否则如果出现数据不一致问题，纠错成本高，同时核心业务数据的错误，会引起客户/业务方的投诉，团队也会承受巨大的压力。 本文结合最近一个实际项目的数据数据迁移过程，讲述了踩过的坑，加上自己的一些思考得出的一些方法论，最后给出了数据迁移个脚本的一个实例 目标 确保新客...
数据迁移总结
mediocre117的博客
10-17 2843
1.复杂数据迁移时,涉及到单数据源读,单数据源写,并且在写数据源中读的情况,那么在迁移程序必须设置多数据源对数据读写处理.尤其在数据结构比较混乱的时候!   最关键的是在数据迁移错误时,进行程序补救措施,这可以节省很多时间!   2.数据迁移过程中,出现数据问题时,不要直接在程序中删除,比如list中remove后就不做任何处理,   错误数据要做标识,或单独存放在记录错误数据的表中,然后根
关于数据迁移的一些经验总结
weixin_30561425的博客
07-10 145
前言 因为前段时间做项目管理，涉及到数据迁移的的内容，经过深入的研究实践，总结了一些浅见的经验，分享给热爱编程的朋友！ 什么是数据迁移？ 数据迁移是将A数据库的数据合并到B数据库，以保证新旧数据的统一性，完整性。 为什么要数据迁移 假设有这么一个场景，某公司开发了一个系统，已经投入使用，但后来因为业务升级，要对其扩展新的模块，从程序的角度我们可以理解为系统版本的升级...
数据迁移工作总结
weixin_34235105的博客
05-28 889
2019独角兽企业重金招聘Python工程师标准>>> ...
数据迁移测试经验总结
shen2046123的博客
12-12 2978
一、背景 数据迁移测试，往往涉及到功能又涉及到底层数据，在新旧版本之间都需要做兼容，需要关注的内容比较多，涉及的面比较广，可能带来的问题也比较隐蔽，本文以一个相对复杂的数据迁移测试场景为例，简单总结了一些数据迁移测试过程当中的核心关注点及测试方法。 二、测试分析 在进行测试之前，需要对核心的测试点做重点的梳理，其中主要包括本次迁移涉及到的后端接口、对应的数据库表以及数据迁移的接口 2.1涉及到的后...
HDFS千万级别文件数/PB规模量级的数据迁移实战总结
热门推荐
走在前往架构师的路上
09-13 1万+
文章目录前言HDFS元数据快速膨胀带来的性能瓶颈问题超大规模数据迁移所面临的挑战和困难DistCp的全面优化提升 前言 前面时间笔者曾写过一篇关于利用HDFS fastcopy功能来加速DistCp数据拷贝效率的文章(Distcp结合HDFS Fastcopy的性能改造提升)，以及提到了现有DistCp在数据切分时候的一些问题(聊聊Hadoop DistCp的数据切分处理方式)，会导致长尾任务的出现等等。其实在后续的测试过程中，我们还发现并解决了许多大大小小的坑，使得我们整体数据拷贝的耗时达到一个相对短的
数据迁移总结笔记
tian583391571的专栏
03-31 264
背景:周一网站评审结束的时候，我提出了一个小问题，前台的地域问题没解决好，是因为获得的数据库的数据有问题，然后领导让我带着他看了源数据库，地域有的没有，有的也有些不规范，点播了一些关于数据统一和有效性的建议，我二话没说，想着重新进行一次数据库的设计和数据迁移。经过将近三天的辛苦奋战，终于重构了一次数据库还有成功的去掉了数据库中的一些无效的数据，重复的数据，还有修正了地域字段，写了大量的sql语句，...
数据迁移的心得 -SinoDB星瑞格数据库
Sinoregal的博客
01-26 521
1.1数据迁移背景 Informix是IBM公司出品的关系数据库管理系统（RDBMS）家族。作为一个集成解决方案，它被定位为作为IBM在线事务处理（OLTP）旗舰级数据服务系统 数据迁移工具，Informix数据库迁移到oracle，mysql，goldendb等数据库，每个数据库sql规则不一样，涉及到的功能和底层数据，在字符集等方面都要做兼容，涉及的面比较广，作为Repl的测试人员，简单总结一下repl的功能和测试方法 1.2Repl测试工具 Repl工具工作机...
总结迁移工作
.
05-31 186
近来一直在做数据迁移相关的工作，本以为数据迁移会是个简单的工作但做下去之后就立刻打消了这个想法，这是一项非常庞杂的工作并且工作内容也非常的不轻松。 迁移前期需要考虑的几个问题 迁移源与目标的对应关系。 划分阶段是非常明智的选择。 如何对迁移后的数据进行验证。 需要哪些类型的工具来支持迁移的过程。 迁移后的验证场景数据初始化。 迁移工具 迁移工具这块我们使用了Kettle完成需要进行复杂逻...
数据迁移心得
08-02 526
  前几天出差，去客户现场帮忙迁移数据，经过几天的奋战，终于将迁移数据自动化起来，并且可以日跑批操作，这里小编就跟大家分享下，这其中踩过的坑（也可能是实战经验不丰富导致）。  首先，荣小编我抱怨一下，不是自己熟悉的开发环境真的有些难过，给一台电脑，咱不说没有IDE，就连java都没有安装，连接数据库的工具也没有，唯一值得庆幸的是有xshell，但是完全不符合个人快捷键的喜好，没办法，想要开发高效，...
做数据迁移差点累死的程序员有话要说----数据迁移经验分享
稀有气体的技术博客
04-30 6363
“结束了吗？” “不用再每天工作到凌晨两点了吗？” “不用再一遍遍核对数据了吗？” “不用再研究难读的mapping rule了吗？” “是在做梦，还是已经醒了？” 睁开眼，此时是下午两点。昨夜结束了为期一年的数据迁移工作。历经多次上线上，数亿条数据从老系统进入新系统，开启了新生。 回首数据迁移的整个过程，可以说是无比痛苦。当然，随之也获取了宝贵经验。 据说每个程序员都会至少参与一次数据迁移工作。如果想在轮到你的那一次痛苦少一点，我们不妨继续看下去。 为什么数据迁移项目难做 如果你没有做过数据迁移项目，很容
数据迁移总结(特殊场景，通过自编逻辑，进行数据迁移)
weixin_43898271的博客
11-01 417
主要分为： 介绍出现场景（为什么市场有一些数迁工具不采用） 介绍迁移的方案（为了应对这种独特的方式采取什么方案） 中间遇到的问题（开发执行，到上线过程中遇到的问题和解决方案） 出现的场景 1.介绍：本次数据迁移与一般从单个系统升级换数据库完全不一样，本次数据迁移用于从五个系统中抽取出新出现一个系统所需要的数据。由于这五个系统中会存在系统与系统之间的联系与业务逻辑，系统与系统间数据存在覆盖（就会...
周工作总结-数据迁移
weixin_33806300的博客
03-16 232
1、背景由于历史原因，原有系统采用Mongodb，系统运行快2年了，说实话MongoDB比关系库开发效率高很多，而且性能 也高不少。但是由于近期项目需要调整部署方式，MongoDB无法在现有网络环境下使用，所以就需要改造原有dao 层，支持Oracle/MySQL数据库。最早的项目未采用jpa，所以改造工作量挺大。复制代码2、具体工作上周完成一个业务模块的代码迁移，本周完成历史数据迁移代码编写、测...
记一次数据迁移总结
xie357629453的博客
12-01 1124
一.引言   最近做了一次数据迁移，因为不是分库或者分表，而是系统业务处理逻辑和结构的改变，需要将旧数据迁移并转换为新逻辑内的数据格式，还需要保证数据的一致性，并且服务器不能停机，即数据迁移，同步的过程是在工作时间段内完成。   此次数据迁移涉及到的业务系统，以下简称为旧业务和新业务。 二.迁移流程   首先，迁移的过程是在生产时间内进行，所以迁移的过程不能够影响到用户的业务使用，同时也不...
一些数据迁移工作心得
最新发布
qq_37148232的博客
04-03 524
治理策略有清洗、转换、补默认值、流程状态匹配、数据拆分、数据合并、提高范式、消除冲突、策略匹配、加密策略不一致等方面。转换方面，比如数据类型转换，标识转换，y-1,n-0，男-1，女-2，补默认值方面，数据移到新系统后，设置合理的，原数据没有的默认值等。抽样检测一般针对单表数据的数据完整度，参考的是旧系统的数据条数、数据状态、数据内容等。比如只迁移哪几个模块的数据、只迁xxx年以后的数据、只迁状态为xxx,xxx的数据等。在新系统旧数据使用的前期，收集客户反馈的数据问题是一项非常有必要的工作。
数据迁移对比总结
chairuiya的博客
09-30 1226
主要对比内容： 1.关注表总数及关联查询的id 验证 2.最大值、最小值 3.随机对比 4.较长json串，文本对比 5.异常值、正常值对比 6.新增字段默认设置check 7.数据类型转化，数据控制判断 8.关注变更含义或者值的字段。 9.单个主键变更为组合唯主键时，数据后缀增加是否正确，是否按照规则生效。
海量数据迁移技术与实战：淘宝经验分享
在大数据领域，数据迁移是一项至关重要的任务，尤其在像淘宝这样的大型电商平台中，海量数据的迁移不仅需要高效，还需要保证数据完整性，并尽量减少对业务的影响。本实践主要探讨了在面对大规模数据迁移时的场景、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值