datax实现sqlserver导数据到MySQL

最新推荐文章于 2024-06-28 23:04:57 发布
最新推荐文章于 2024-06-28 23:04:57 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： sqlserver mysql 文章标签： 运维 mysql sqlserver
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42935487/article/details/118805678
版权

1、下载安装的tar包，官网下载即可
datax.tar
2、解压
在这里插入图片描述

3、查看配置模板
我的需求是从sqlserver（reader）导入到MySQL（writer）

查看sqlserver该配置的模板
查看MySQL该配置的模板

在这里插入图片描述
4、进行配置
进入到job目录下，新建文件，（可以以自己要导入的表名命名）
在这里插入图片描述
在这里插入图片描述
5、

python /opt/datax/bin/datax.py -r sqlserverreder -w mysqlwriter

6、开始导数据

python /opt/datax/bin/datax.py /opt/datax/job/ep_companyinfo.json

7、可以查看日志

[root@sh_m_03 2021-07-15]# pwd
/opt/datax/log/2021-07-15

在这里插入图片描述

珝珝
关注
专栏目录
DataX-阿里开源离线同步工具在Windows上实现Sqlserver到Mysql全量同步和增量同步
BADAO_LIUMANG_QIZHI的博客
04-23 3540
上面讲过Kettle的使用，下面记录下阿里开源异构数据源同步工具DataX。
高可用数据同步方案-SqlServer迁移Mysql实战
一年e度的夏天的专栏
07-04 5505
高可用数据同步方案-SqlServer迁移Mysql实战简介随着业务量的上升，以前的架构已经不满足业务的发展，数据作为业务中最重要的一环，需要有更好的架构作为支撑。目前我司有sql server转mysql的需求，所以结合当前业务，我挑选了阿里云开源的一个很好用的同步工具DataXDataX介绍 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、
DataX数据迁移入门从SQL Server至MySQL
PowehiCoding的博客
07-31 825
DataX是阿里巴巴开源的离线数据同步工具，实现了包括主流RDBMS数据库、NoSQL、大数据计算系统在内的多种异构数据源之间高效进行数据同步的功能。本文主要讲解使用DataX迁移数据，从SQL Server 迁至 Mysql，文章通俗易懂，适合小白和有经验的猿友。
dataX同步SQLserver到MySQL数据
最新发布
goodlook0123的专栏
06-28 1522
DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
sql server数据导入mysql方案
10-14
mssql数据迁移方案，有kettle,sqlyong,navcat,datax等方式迁移，还可以支持分片式数据库库迁移，让数据迁移更方便，定时任务离线数据迁移
sqlserver导入数据到Mysql(转)
weixin_34290000的博客
10-26 209
2019独角兽企业重金招聘Python工程师标准>>> ...
DataX3.0 sqlServer数据迁移
sinat_37471241的博客
04-08 3545
DataX3.0 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、HBase等各种异构数据源之间高效的数据同步功能。 环境 Linux； JDK 1.8； Python 2.7.5； Apache Maven 3.5.3； 下载DataX工具包(解压后直接使用)：http...
【dataX推送数据之mysql到mysql】
weixin_42552572的博客
03-16 2377
前言 大数据项目上的一个小功能实现，需要将现有天数据表中的数据求和，得到月数据表供页面展示，干脆直接dataX推送数据实现，读取mysql（使用sql聚合查询计算），并写入mysql，可以当做模板进行修改并使用。详细的 .sh可执行文件 以及 .json文件 如下 month.sh脚本执行文件 #使用dataX推送计算后的mysql数据(sql聚合函数)到mysql的---t_area_month_passenger #! /bin/bash source /etc/profile YEAR=`dat
datax实战-hive同步数据到mysql
qq_34936033的博客
02-17 1937
{ "core": { "transport": { "channel": { "speed": { "record": "10000", "byte": 1048576 } } ...
数据库数据迁移 SqlServer复制到mysql
weixin_30905133的博客
08-28 1073
经过一番搜索，有朋友推荐用datax的，后来发现比较麻烦，需要循环每个表去复制；有推荐用Navicat的，但是方式有点行不通，会报文件打不开：无法打开Provider=SQLNCLI10.1;Persist Security Info=False;User ID=sa;Initial Catalog=uecun;Data Source=(local);Initial File Name=""...
使用Datax 完整迁移sqlserver至mysql，附自动化脚本和日志分析
qq_40267975的博客
02-03 1970
本次数据迁移涉及表达到亿级数据，只是时间上不是很友好，如果服务器允许多开线程可以提高些许速度。
datax 从mysql到mysql
weixin_30336061的博客
07-12 300
需求：把a服务器上mysql数据迁移到b服务器上mysql中。 1、下载datax: https://github.com/alibaba/DataX 2.解压tar -zxvf datax.tar.gz 3.编辑作业文件 diag.json { "job": { "content": [ { ...
datax，同步数据，mysql sqlserver 双向
weixin_33895475的博客
11-23 2936
mysql sqlserver 双向同步 在使用sqlserver连接服务器时遇到坑（不细说），所以使用一下的替代方案。 参考：mysql实时同步到mssql的解决方案https://×××w.cnblogs.com/liweis/p/4749961.html DataX 阿里巴巴集团的离线数据同步工具/平台（各种异构数据源之间高效的数据同步）。主页 https://github.com/ali...
Datax助力轻松迁移SQLServer数据至GreatSQL
GreatSQL2021的博客
04-22 833
GreatSQL是适用于金融级应用的国内自主开源数据库，具备高性能、高可靠、高易用性、高安全等多个核心特性，可以作为MySQL或Percona Server的可选替换，用于线上生产环境，且完全免费并兼容MySQL或Percona Server。主要是通过过滤条件过滤掉了全量迁移的数据，进而变相的完成了增量迁移。mcr.microsoft.com/mssql/server:2017-latest：镜像名称:标签。":设置连接密码，密码不能太短太简单，否则不满足sqlserver密码规范，容器会停止运行。
用datax同步sqlserver里的数据到elasticsearch
wobupeiai的博客
12-12 4281
1.如果在github下载datax,里面没有elasticsearchwriter这个插件。所以首先git clone https://github.com/alibaba/DataX.git 2.由于下的检出的是源码，有些模块没有开发完，所以直接编译肯定会出错，要打开pom.xml把除了sqlserver和elasticsearch其他的module全部删除，然后执行命令mvn -u cle...
datax 离线同步SqlServer 到Mysql
flye的专栏
06-27 1912
DataX 实战 sqlserver to mysql
使用datax在mysql之间同步数据
hzp
08-03 3407
使用datax在mysql之间同步数据   详细参考 github：https://github.com/alibaba/DataX/wiki/Quick-Start   1. 下载datax wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz   2. 解压、修改目录权限 tar zxv...
2.Datax数据同步之Windows下，mysql和sqlserver之间的自定义sql文数据同步
qq_40765784的博客
03-12 1659
上一篇文章实现了不同的mysql数据库之间的数据同步，在此基础上本篇将实现mysql和sqlserver之间的自定义sql文数据同步JDK(1.8以上，推荐1.8)Python(2或3都可以)Datax插件下载mysql5.7。
记录跨度3年的SqlServer数据同步项目分析-基于datax和触发器
纸上得来终觉浅，绝知此事要躬行
06-27 898
在手上目前有个Sqlserver数据同步的项目终于接近尾声了，投入过程两个人，历时跨度3年（2022-2024）。最开始决策采用阿里Datax实现数据同步+触发器编程的方式来实现。由于库表结构有严格的主外键，所以ER关系网络相当复杂，需要将这些任务进行分组处理。期间几易方案，执行方案中途都会发现问题。任务拆分几乎为零，想起什么写什么，导致项目几近放弃。 该项目大致经历了四个阶段。所以最终的结论是：数据同步一定要做好数据规范再行动，尽可能地发挥团队力量集思广益。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值