实战:导入31万多条数据耗时6分多,有待改进

最新推荐文章于 2024-07-19 16:24:47 发布
最新推荐文章于 2024-07-19 16:24:47 发布
阅读量258 收藏
点赞数 1
分类专栏： python flask 文章标签： flask python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gui818/article/details/135939650
版权
python 同时被 2 个专栏收录
15 篇文章 2 订阅
订阅专栏
flask
12 篇文章 0 订阅
订阅专栏
文章描述了一次使用自建工具处理大量Excel数据的经历，16个2万条数据的文件耗时9.8秒打开，解析并插入数据库耗时375秒，每秒仅1000条，强调了性能优化的必要性。
摘要由CSDN通过智能技术生成

前言:自己开发的工具,实测导入多个Excel表格数据(每个Excel文件有2万条数据,共16个excel文件,31万多条记录,文件总大小176MB)

1)实测一:只是打开这16个文件获取记录总数,看耗时

总结:需要9.8秒才能打开这176MB的excel文件

2)将excel内容进行分析,并按字段类型生成sql语句,插入到数据,看看耗时

经过缓慢的进度执行,漫长的等待后,终于有了结果,成功导入31.7万多条数据,用时375秒

总结:初步估算下来1秒插入1000条数据左右,这实在太慢了,后期要花大力气进行改进

阿桂天山
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
qq_36130719的博客
04-15 1469
检测的图像，首先设置输入网络大小，然后将滑动窗口按照一定步长对图像进行滑动，微小的卷积神经网络，其使用卷积核在卷积神经网络中对输入图像信息进行卷积处理，传统行人检测技术进行分析，然后介绍基于深度学习行人检测算法，为后续行人检测。出，能够很好的描述行人的边缘，因此广泛应用于行人检测。的静态图像，往往采用梯度直方图方法获取行人图像的局部特征信息，然后计算所有。个单元格的特征将以不同的结果出现在最后的向量中，所有的小单元特征信息将构成。目的成果，使得行人检测检测技术成为基于深度学习目标检测领域的研究热点。
目标检测YOLO实战应用案例100讲-基于激光雷达的智能汽车多目标检测与跟踪方法研究
qq_36130719的博客
07-17 789
随着智能驾驶技术的不断发展，传统的三维点云目标检测算法其精度已经无法满足智 能汽车对环境感知日益增长的需求。在这样的情况下AI潮流所引领的深度学习三维目标 检测算法成为了智能驾驶感知算法中必不可少的一环。此小节将会分析对比当今深度学习 三维点云检测算法的特点，来确定基线算法，并对其进行介绍。3.1.1 三维点云检测算法特点对比。
Java实现Excel百万级数据的导入(约30s完成)
m0_60769905的博客
04-07 1773
StreamReader 是 java.io 包中的一个类，用于读取字符流的高级类。它继承自 Reader 类，可以以字符为单位读取文件中的数据。
记录一次从15w条数据的excel导入到数据库优化过程
GeGe&YoYo的博客
02-27 586
需要注意的是：使用多线程因为是异步的，所以任务还没执行完成接口就会返回了，而任务会在后台执行直接任务结束。我这里用的是EasyPoi，它对Poi做了一些封装处理，比Poi要快一点，这里我就直接使用EasyPoi来进行导入了。结论：可以发现改为批量保存后，插入15w条数据，大概平均在6s左右，平均单个接口耗时12.7S。这时我们也可以使用多线程，当15w的数据量任务过来以后，我分为10个线程来同时执行，也就是每一个线程只要执行3次就可以了。读取excel为1s，保存数据为2s，平均耗时3秒左右。
记录一次从15w条数据的excel导入到数据库优化过程（22秒到3秒）
你若为我繁华，我愿成你烟花
02-25 6208
记录一次15w数据的excel导入到数据库优化过程（22秒到3秒）
excell导入十万数据慢该如何解决
zy08403的专栏
09-26 890
项目中遇到导入6w条数据，之前用的poi，感觉很慢，这时查询了下阿里巴巴提供了开源的easyExcell很好用。64M内存20秒读取75M(46W行25列)的Excel（3.0.2+版本。持久层，自己实现批量插入，也可以使用多线程插入。效率很高，使用这种方式性能提高很多。
目标检测YOLO实战应用案例100讲-基于深度学习的交通场景多尺度目标检测算法研究与应用
qq_36130719的博客
05-26 1181
目前，交通目标检测算法主要分为传统目标检测算法和基于深度学习的目标检测算法。传统的目标检测算法无法有效处理由于不同光照、遮挡等引起的目标非线性外观变化，在区域生成阶段产生大量冗余候选框且正负样本失衡[12]，无法自动学习和生成特征，整体缺乏全局优化策略，难以有效提高分类水平。深度学习技术的迅猛发展在目标检测领域中逐渐展现出无可替代的优越性[13], [14]，同时极大地推动了目标检测在智能交通系统的进一步发展和应用，在交通目标检测、交通状态预测、交通流统计以及道路交通状。
计算机视觉深度学习入门笔记-从理论到实战案例
qq_60818566的博客
08-25 655
深度学习是一种机器学习的分支，致力于模拟人脑神经网络的工作原理。通过构建具有多层次结构的神经网络模型，深度学习可以从大量数据中学习和提取特征，以解决各种复杂的任务。在过去的几年中，AI在各个领域都有突飞猛进的发展。就如同追求物理学中大统一，对于各式的AI模型，人们希望建立一个统一的通用人工智能（AGI）。在自然语言模型中，ChatGPT或许已经具有在部分领域AGI的雏形，尽管其仍然存在很多问题，对于某些交互存在胡言乱语的情况。但不可否认的是，我们或许能够在有生之年见证真正的AGI的诞生。
计算机毕业设计项目推荐，36930人才招聘管理系统的设计与实现（开题答辩+程序定制+全套文案 ）上万套实战教程手把手教学JAVA、PHP，node.js，C++、python、大屏数据可视化
weixin_bysj703的博客
06-27 555
本文人才招聘管理的功能要求出发,建立了人才招聘管理系统,系统中的主要分为管理员、求职用户、企业用户、三个部分，主要实现功能有：后台首页、个人管理、网站管理、内容管理、人员管理、职位信息、投递信息、面试通知等功能部分，经过认真细致的研究,精心准备和规划,最后测试成功,系统可以正常使用。分析功能调整与人才招聘管理系统实现的实际需求相结合,使用B/S结构、java开发语言、以及Mysql数据库等技术。在设计过程中，充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护、操作方便以及页面简洁等特点。
YOLOV5 实战项目：王者荣耀目标检测数据集（12类别）
03-29
基于YOLOV5 对王者荣耀目标检测数据集（12类别）的目标检测实战项目，包含代码、数据集、训练好的权重参数，经测试，代码可以直接使用 【数据集介绍】王者荣耀图像数据，12类别：英雄、防御塔、小兵等等12类别 训练...
数据分析实战：利用python对心脏病数据集进行分析.docx
11-14
本文通过 Python 对心脏病数据集进行实战分析，首先导入必要的 library 并设置好超参数，接着读取和描述数据集，获取了 303 行 14 列的数据。每列的标题包括 age、sex、cp 等，通过官方的解释翻译后得出了每个标题的...
重庆市31万条烟田地块shp数据
03-25
标题中的“重庆市31万条烟田地块shp数据”表明这是一个地理信息系统（GIS）相关的数据集，包含的是关于重庆市31万多块烟田的详细地理位置信息。SHP文件是ESRI公司开发的一种矢量图形文件格式，常用于存储地理空间...
YOLOV5 改进实战项目【更换骨干网络为vgg16】：王者荣耀目标检测数据集（12类别）
03-29
YOLOV5 改进实战项目【更换骨干网络为vgg16】对王者荣耀12分类数据的目标检测实战项目，包含代码、数据集、训练好的权重参数，经测试，代码可以直接使用 【yolov5】项目总大小：563MB 本项目更换了yolov5骨干网络为...
数据可视化实战：使用D3设计交互式图表 pdf版[9MB]1
08-03
第1章写在前面11.1 数据为什么要可视化 11.2 为什么要写代码 21.3 为什么要交互 21.4 为什么要在 Web 上 31.5 这是一本什么书 31.
Flask包算法服务
liguandong
07-15 119
有三个提供的接口，分别是数据拉去的接口，算法处理完，进行图片上传，上传之后告诉调用方，数据已处理完成。常规包算法服务，就是比较简单，直接起一个fastapi就可以了。
Flask启动5000端口后关不掉了？
svygh123的专栏
07-15 353
使用python app.py启动flask应用后，又启动了另一个flask测试应用，也能启动成功，也没有报设么端口冲突，关闭黑窗口后，访问还是有守护进程在运行，于是就想着用windows明令去杀掉进程。而且在任务管理器中是不存在这两个进程id的：4992、5728。查看5000对应的进程，是可以看到有的。使用命令：netstat -ano。运行taskkill杀进程命令。
Azure MySQL资源优化策略
最新发布
联蔚盘云的博客
07-19 281
综上所述，Azure MySQL资源的优化策略涉及选择合适的服务器类型、优化服务器配置、使用预留实例、监控与性能调优、自动缩放、优化网络配置、使用连接池、分区与分片、备份与恢复以及利用Azure Advisor等多个方面。灵活服务器提供了更好的成本优化控制和可突发计算层，适用于不需要连续完整计算能力的工作负荷。针对Azure MySQL资源的优化策略，可以从多个方面入手，以提升数据库的性能、稳定性和成本效益。通过购买Azure MySQL的预留实例，可以获得显著的价格折扣，同时不影响资源的运行状态。
GraphRAG+ollama+LM Studio+chainlit
m0_57057282的博客
07-19 166
这里我们进一步尝试将embedding模型也换为本地的，同时熟悉一下流程和学一些新的东西1.环境还是用之前的，这里我们先下载LLM然后你会在下载nomic模型的时候崩溃，因为无法搜索，无法下载解决办法如下按照上面的教程依旧无法下载模型，但是可以搜索了，没什么用直接hugging face下载，然后导入llm models文件夹注意有格式要求将模型放在这个文件夹里才能被识别，然后加在模型然后修改配置。
海浦蒙特HD31系列：多泵供水变频器详解与技术规格
海浦蒙特HD31系列多泵供水专用变频器是一款针对生活小区和市政工程设计的专业变频器，它由HD30系列通用变频器与HD30-WIO组件共同构成。这款变频器专为多泵供水和污水处理系统优化，支持工频泵、变频泵、休眠泵和排污...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿桂天山

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值