shell脚本实现大量数据入MySQL

大量的插入sql,入库而且不中断的正确方式

引言

如题,有个5千万的MySQL插入语句,怎么在不中断的情况下,插入数据到MySQL?
1,如图数据
在这里插入图片描述

切割数据

1,先把数据上传到数据库所在的服务器
在这里插入图片描述
2,首先来切割sql
1)新建个文件夹,防止混乱,防止数据丢失查询数据条数

wc -l data.sql

2)接下来切割

 split -l 200000 -d --verbose data.sql spl

如下图
在这里插入图片描述
1是切割,2是每个文件得大小,3是要切得sql

执行脚本

3,编写脚本
1)让每个sql文件都可执行,执行添加脚本。
在这里插入图片描述
2)生成总的执行脚本
在这里插入图片描述

不间断插入脚本

4 1)登录MySQL,-u账号 -p密码,-f 跳过异常在这里插入图片描述
2)利用守护进程执行

nohup ./impw.sh >> impw.log 2>&1 & 

然后数据就顺利入库
不断精进,加油

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值