【Django】Model query转换成Dataframe时，如何减少50%的内存消耗

最新推荐文章于 2023-06-02 14:12:42 发布
原创 最新推荐文章于 2023-06-02 14:12:42 发布 · 2.2k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#django #pandas #model #query

在Django框架中，通过Model查询获取数据库数据并转换为DataFrame时，默认方法可能导致大量内存消耗。通过选择必要的column并使用values_list()代替values()，可以显著降低内存使用。values_list()将数据以无column名的元组形式返回，适用于大规模数据集，能有效减少50%的内存峰值。在转换DataFrame时需手动指定column信息。

通常我们在Django framework里去取DB数据做处理时，会用values()这个function，然后直接转换成dataframe。假设需要取整个table的数据，简单粗暴的写法如下：

    querySet = models.xxx.objects.all().using("db_name").values()
    df = pd.DataFrame(list(querySet))

这是一种最方便的写法，但却是最耗memory的。那么我们如何改进这一操作？

首先我们可以做的是去掉不需要的column，只选择有用的column。如果目标table有很多column，而你只需要其中一两个的话，这一缩减可以节省很多的资源消耗。

    querySet = models.xxx.objects.all(
最低0.47元/天 解锁文章
shywang001
关注
Python Django 农业系统智能化应用
Python编程之道的博客
04-25 1170
农业智能化是现代农业发展的重要方向，它通过信息技术手段提高农业生产效率、降低资源消耗并提升农产品质量。本文旨在展示如何利用Python Django框架构建一个完整的农业智能化系统，涵盖从数据采集到智能决策的全流程解决方案。本文将按照农业智能化系统的开发流程组织内容，从系统架构设计到具体实现，最后讨论实际应用和未来发展方向。每个技术环节都将提供详细的代码示例和实现说明。精准农业(Precision Agriculture)：基于空间变异定位，按需实施农业投入的现代化农业管理系统物联网(IoT)
量化价值投资总踩雷？加入社交媒体风险预警因子后，我的回撤降低了35%
最新发布
AI天才研究院
07-29 4391
摘要： 量化价值投资常因依赖滞后财务数据而频繁"踩雷"，导致超额回撤。本文提出通过社交媒体风险预警因子提前识别企业风险信号，构建融合自然语言处理与机器学习的动态风控体系。实证显示，整合Twitter、Reddit等平台的投诉、质疑、爆料等五类风险信号后，策略最大回撤降低35%，夏普比率提升28%。该方案突破了传统财务指标的时空局限，实现了从被动止损到主动预警的范式转换，为量化投资提供了全新的风险边界管理工具。
django读取数据到dataframe
呆萌的代Ma
11-04 1012
使用方法： import pandas as pd dataframe = pd.DataFrame(Model类名.objects.values()) 示例 比如一个model： class MyModel(models.Model): data1 = models.CharField(max_length=255) data2 = models.CharField(max_length=255) data3 = models.CharField(max_length=255
Python——Django中model的queryset
star_lord123的博客
11-19 870
今天学习的是在model中使用一些关于queryset的属性。 以一段代码为例： class Person(models.Model): p_name = models.CharField(max_length=18, unique=True) p_age = models.IntegerField(default=18, db_column='age') # False表示男，True表示女 p_sex = models.BooleanField(default=Fa..
Debug: django model querysets-> pandas.Dataframe
邱凯翔 Edward 的个人博客
12-01 3110
问题描述在使用Django 的ORM model时，有时需要将数据导出并转变成pandas DataFrame。正常的流程应该是：import pandas as pd from model import testeModeldata = testModel.objects.values() # .values()返回的是［object1,object2］ df = pd.DataFrame(dat
Django初识（5.Model与QuerySet，数据库操作）
weixin_51803729的博客
02-03 1777
Django初识（5.Model与QuerySet，数据库操作）
pandas_djmodel:从Pandas DataFrame生成Django模型定义
05-17
什么？ pandas_djmodel从提供的Pandas DataFrame生成Django模型定义。 当您需要将数据框架（是第三方csv，xls等）中的数据保存到数据库中时，它非常方便。 这通常是一个棘手且无聊的任务。 您需要弄清楚应该使用哪些数据库字段以及应在其上设置哪些参数。 例如， CharField需要一个max_length参数，因此您需要检查数据集的最大长度，并作为一个精明的人，向其中添加一些额外的字符。 这正是这个小包装的作用。 支持的dtypes： ints：检查PositiveSmallIntegerField与BigIntegerField的最小可能范围； 检查是否为空 浮点数：检查是否为空 对象：检查最大长度，检查空值 布尔 日期和日期时间：检查是否为空 任何其他dtype都表示为CharField 用法 In [1]: import pandas as p
本地网站实例（猪周期数据展示）：python+MySQL+Django+BootStrap+JavaScript+echart
成长的韭皇
12-13 616
django开发web本地网站
【坐标转换和空间查询】：掌握Django.contrib.gis核心功能的5大策略
[【坐标转换和空间查询】：掌握Django.contrib.gis核心功能的5大策略](https://static.djangoproject.com/img/logos/django-logo-negative.1d528e2cb5fb.png) # 1. Django.contrib.gis概述 Django.contrib.gis 是 ...
DJango框架对Models操作
j_h_xie的博客
03-31 489
利用DJango框架中Models层的方法对数据库进行操作根据条件对数据库中的数据做一系列筛选 filter（） 这个函数会返回一个包含“满足（）中的条件”的查询集。要注意的是（）中的判断要用“=”判断，即fliter（a = “something”），不能用 “！=”判断。 具体用法代码DateBase.objects.filter(id = 1)则返回了一个id字段为1 的查询集 exclu
【Django】Django ORM Model的基本查询操作API
大河之犬的博客
10-11 991
其中第一个元素是实例对象，第二个元素是布尔值，标识返回的实例对象是否是新创建的。由于Topic需要一个User对象，所以，先获取username是admin（超级用户）的User对象，再去创建Topic对象。它的管理器代表的是一个单一的对象，而不是对象集合，且名称变成了小写的Model名。在查询Topic的时候可能会考虑User的情况，这是很普遍的场景，也被称作跨关联查询。这样的方法返回的结果是QuerySet，所以，在它们的后面可以继续调用。关系类型也可以实现类似的反向查询，但是对于。
Django项目QuerySet转换为pandas数据类型的对象
skyskyhaha的博客
02-15 2060
直接举例如下： from django_pandas.io import read_frame years = CurrentYear.objects.all() years_pd = read_frame(qs=years) 注意，转换的对象必须是QuerySet类型。不能是单个数据对象，get()函数获得的对象不能用来转换。还有两个需要注意的地方 1)DateField类型转换为pandas数据类型 如果获取的表格QuerySet对象中有字段类型是DateField类型，则转换为pandas的data
Python 在大数据处理下的优化（三）DataFrame的生成效率提高4倍！！
qq_35869630的博客
05-23 4911
今天看标题就知道我们又来谈的是优化，针对pandas的数据结构DataFrame做的优化。 当然这种优化更多的是提供给大家一种思路，而不是所有的DataFrame都可以这么转化。 废话不多说，我们直接来看今天的主要优化内容。 一、DataFrame数据结构 做过数据处理这块的应该都知道并且非常熟悉的pandas下最常用的二维表结构，DataFrame。 DataFrame自带的各种处理数据的函数给我们复杂的需求带来了很多的便捷，并且在数据量较少的情况下，处理速度都非常快，因此在很多地方都会用到相关的一些函数
django框架中的QuerySet详解及相关操作
梓栋DREM
05-12 7542
Django 模型中学习了一些基本的创建与查询。 从数据库中查询出来的结果一般是一个集合，这个集合叫做 QuerySet。 <QuerySet [<Goods: Goods object (8)>, <Goods: Goods object (9)>, <Goods: Goods object (10)>]> [ 对于上面QuerySet结构的...
Django中的QuerySet
weixin_41924879的博客
10-19 1871
Django中的QuerySet 在Django的Model中，QuerySet是一个很重要的概念。对数据库的所有查询以及更新交互都是通过QuerySet来完成的。Django从数据库中查询出来的结果一般是一个集合，这个集合叫做 QuerySet。 QuerySet定义： class QuerySet(model=None, query=None, using=None)[source] QuerySet类具有两个公有属性用于内省： ordered：如果QuerySet是排好序的则为True，否则为Fa
【pandas】pandas的一些使用总结
苦苦思索的吃瓜群众博客
06-02 1586
pandas实用技巧
Django：模型_QuerySet对象
不怕猫的耗子z
05-09 1885
QuerySet API 我们通常做查询操作的时候都是通过"模型名字.objects"的方式进行操作的。其实"模型名字.objects"是一个"django.db.models.manager.Manager"对象，而Manager这个类是一个"空壳"的类，它本身是没有任何的属性和方法的。它的方法全部都是通过Python以动态添加的方式，从QuerySet类中拷贝过来的(至于是如何拷贝的后面简单的介绍下，知道就好) 注：本章的所有例子，大都基于这个模型类 例1： ⑴打印"模型名字.ob..
Django学习小记[3] —— Query
热门推荐
成长的足迹
10-07 1万+
今天学习的是Django的Model Query，前一篇已经学习过Model了，讲述的主要是Django中是如何处理关系型数据的模型的，一对一，多对一，多对多等，这篇则主要是描述的查询，能够将数据存进去，还得取出来，Django给每一个Model自动提供了丰富的查询接口，而且能够进行关联查询，基本上，能够满足绝大多数的查询需求。 在Django的文档中，有一句话说的非常好： A m
Django查询语句
一颗大白菜的博客
12-06 902
Django学习第三天 Model 假设有一个model类，代码如下： class ArticleEnglish(models.Model): title = models.CharField(max_length=255, blank=True, null=True) keywords = models.TextField(null=True) description =...
导入数据到django
11-13
- SQL 数据库：直接从 SQL 查询导出数据，也可以通过 Python 的 ORM 如 `django.db.models.query.QuerySet` 来获取数据。 2. **数据模型映射**： - 确定数据结构与 Django 模型的对应关系。检查字段类型、名称等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值