解决大文件导入数据库速度慢、卡死的思路

最新推荐文章于 2024-06-07 15:07:39 发布
最新推荐文章于 2024-06-07 15:07:39 发布
阅读量2.1k 收藏
点赞数
分类专栏： php 文章标签： big data 数据库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smile14174/article/details/120759814
版权

上传

上传可以使用webuploader分片上传，在服务端进行合并文件

如何解决导入慢的问题

  • 如果没有逻辑就只是导入，则可以使用数据库提供的命令行工具进行导入，导入csv文件，如：pgsql 的-c copy with csv header
  • 如果逻辑比较复杂可以先使用语言（如php）将要写入的内容处理后，再生成sql命令（或者者csv文件）进行导入，经测试速度比使用语言连接数据库进行读写要快的多，且占用内存较低（但是CPU会飙高）
程序员大柱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL练习记录：导入大体积CSV文件
weixin_46496223的博客
03-25 2680
MySQL练习记录：导入大体积CSV文件前情提要心路历程使用workbench导入使用LOAD DATA命令导入操作步骤一些问题结果总结 前情提要 本人在阿里天池官方数据集中下载了一个叫"User Behavior"的数据集，打算做点数据分析的练习，文件是逗号分隔符文件，文件类型.csv，单个文件体积达到3.4G。下载页链接：User Behavior 首先下载后发现这种体积的文件EXCEL是打不...
PHP读取CSV大文件导入数据库的实例
10-19
下面小编就为大家带来一篇PHP读取CSV大文件导入数据库的实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
如何实现百万级数据从Excel导入到数据库
m0_68723562的博客
04-25 1161
我们要知道 导入功能数据量一旦大起来的话, 批量插入数据库, 就会出现很多问题,1. 比如说 excel文件会很大, 如果一次加载到内存中, 如果jvm设置的内存不足以支撑, 就会导致内存溢出2.百万级数据读取时, 我们进行业务操作, 导入到数据库这一操作, 插入的会导致很慢, 同时也需要考虑性能问题。
达梦逻辑导入导出及常见报错
weixin_46080292的博客
06-07 1169
唯一的区别在于， dimp 导入的文件必须存放在客户端，dimpdp 导入的文件必须存放在服务器端。远程：./dexp USERID=SYSDBA/SYSDBA@192.168.0.1:5236 FILE=db_full.dmp DIRECTORY=/mnt/dexp/data LOG=db_full.log FULL=Y。USERID 用户名/口令 格式:{<username>[/<password>] | /}[@<connect_identifier>][<option>] [<os_auth>]
windows mysql 导入数据过慢处理
weixin_42075005的博客
08-24 957
1.找到mysql安装目录bin,用cmd打开，如果cmd能直接执行mysql命名最好。 2.导入数据命令 #windows执行导入，-p后面的密码直接写，不能有引号和空格 <前后也不能有空格，windows很不友好 mysql -u root -p123456 international_zibo<C:\Users\htzz\Desktop\zibo\lh_international.sql #linux执行导入，参数后面都挨着，有时不挨着会报错，很奇怪，也可能是我写法有问.
达梦管理工具打开sql文件卡死，还有什么方法能导入sql文件内容？
Penrosee的博客
01-24 808
达梦管理工具打开sql文件卡死，还有什么方法能导入sql文件内容？
记一次大文件导入优化
山间明月江上清风的专栏
01-09 514
最近线上文件导入极慢，每秒才导入两行。来个25W的文件就要导半天 后来发现时间消耗在每条记录的校验sql上了。每条记录要发两条sql校验耗时400毫秒，25w条数据就要27小时！ 这种情况在测试环境没有发生过，测试环境查询sql只要8毫秒，估计生产数据库是远程的，网络传输有延时。 考虑到文件日后还有增大的可能性。 遂改成： 1，将导入文件不发sql校验正确性，直接落库在一张临时表里 2...
php excel导入慢,PHPExcel很慢 – 改进方法？
weixin_35370061的博客
03-10 1205
我遇到了这个问题。 因为这个问题得到了很多意见，所以我想扔两分钱。设置单元格值而不是分别设置每个单元格的值，请使用fromArray()方法。 从维基采取和修改。$arrayData = array( array(NULL, 2010, 2011, 2012), array('Q1', 12, 15, 21), array('Q2', 56, 73, 86), array('Q3', 52, 61...
如何解决phpmyadmin导入数据库文件最大限制2048KB
10-23
例如，如果你希望导入更大的数据库文件，可以将`upload_max_filesize`和`post_max_size`设置为20M（20 * 1024 * 1024字节），并将`memory_limit`设置为512M。注意，这些值不应超过服务器的可用内存，否则可能导致...
修改php.ini实现Mysql导入数据库文件最大限制的修改方法
10-30
里介绍修改php.ini实现Mysql导入数据库文件最大限制的修改方法,简单说明了wampserver服务器上针对php.ini配置文件上传限制参数、内存限制参数以及post传输参数等修改方法,需要的朋友可以参考一下
国产达梦数据库二进制文件的安装教程及dm安装字节与字符默认存储问题导致数据迁移dump文件包无法导入的问题（dm8）
bk_陈龙伟
12-23 1155
国产达梦数据库二进制文件的安装教程
php excel导入慢,php解决Phpexcel导出效率慢的问题
weixin_33656931的博客
03-10 1160
数据4.8w加function exportToExcel($filename, $tileArray=[], $dataArray=[]){ini_set('memory_limit','512M');ini_set('max_execution_time',0);ob_end_clean();ob_start();header("Content-Type: text/csv");header(...
最简单最快速csv超大文件入库并统计Top5
m0_37519970的博客
12-30 1924
1亿行超大数据csv文件（一般大于5GB），导入mysql，并统计总额Top5，总耗时5min。python最快字节流读取+python多线程+python连接池分表操作+mysql load data infile
php大文件数据导入
stplos的博客
06-30 196
数组处理方式array_chunk
PL/SQL Developer导出大量数据到excel的快速方法，解决数据量大导出慢的问题
热门推荐
ljinxin的博客
08-02 4万+
当需要从sql查询l中导出大量数据到excel时，用copy to excel 会执行得很慢，使用Export Query Results...功能则会快速很多。 1.直接执行查询，显示完所有数据耗时22分37秒，此时也需占用>100m内存空间。随后选择copy to excel，也需等待较长时间. 2.选择SQL Window右侧的Export Query Results...按钮，
解决一个web的项目定时任务入库“卡住”问题
Try My Best 尽力而为
05-04 476
事情的起因是因为我要在一个定时任务的某处将数据入库，一个是批量入库，之后再是非批量的普通方式入库，伪代码如下：   for(int i=0; i&lt;n; i++) { //批量入库 pools.execute(new BatchSaveThread(list));//list为map集合 //普通入库 pools.execute(new SaveThread(map...
Oracle百万级数据导入（sqlldr）
RELAXXXXXX的博客
01-04 8172
前言：刚过完元旦，2019年的第一个任务，是在生产环境将一份配置数据从数据库A迁移到数据B（200多万条记录），数据库B为多个生产系统公用数据库，已效力多年，并且长期处于放养状态，如今早已年弱体衰，反应迟钝。将数据拿到手上后，先弄了1万条记录试下了水，发现不管是通过直接执行INSERT语句还是通过文本导入器，要把这200多万条记录都是我无法承受的痛。无奈之下，只能在网上另寻他法，这才发现原来有此等...
达梦数据库导入导出dmp文件的常见方式
zhiwenganyong的博客
12-11 3万+
达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统，简称DM。达梦数据库管理系统的最新版本是8.0版本，简称DM8。DM8是达梦公司在总结DM系列产品研发与应用经验的基础上，坚持开放创新、简洁实用的理念，推出的新一代自研数据库。
解决MySQL导入数据量大速度慢问题
Ahuuua的博客
08-17 6812
解决MySQL导入数据量大速度慢问题
.sql文件导入数据库
最新发布
06-20
SQL文件是用来存储和管理关系型数据库中的数据和结构的文本文件。将SQL文件导入数据库是一个常见的操作，通常用于备份数据、迁移数据或更新现有数据库。以下是导入SQL文件到数据库的一般步骤： 1. **打开数据库管理工具**：使用相应的数据库管理软件（如MySQL Workbench、phpMyAdmin、SQL Server Management Studio等）。 2. **连接到数据库**：登录到你的数据库服务器，并选择你想导入数据的数据库。 3. **打开文件浏览器**：在管理工具中找到“文件”或“导入/导出”选项，通常在菜单栏的某个地方。 4. **加载SQL文件**：找到你的SQL文件，通常文件格式为`.sql`，然后点击“导入”或“执行脚本”。 5. **选择操作类型**：在导入界面，确认你要执行的是“数据”导入还是“结构”导入。如果是结构导入，只更新表结构；如果是数据导入，会根据表结构填充数据。 6. **执行导入**：点击“开始”或“运行”按钮，工具会解析SQL文件并执行命令。如果一切正常，数据库将按照SQL文件的内容进行更新。 7. **检查结果**：导入完成后，应该检查新数据是否正确加载，是否有错误日志或者提示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值