Django的高并发多线程时与Mysql的小问题

于 2021-02-25 18:11:06 发布
阅读量517 收藏
点赞数
分类专栏： 后端 Python 文章标签： django mysql web python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzy98/article/details/114034666
版权
在Django项目中遇到使用SQLite3时的线程锁死问题，选择切换到MySQL。但在迁移过程中发现Django 2.1.1不兼容MySQL 5.5，需升级至5.7或8.0。为解决高并发连接MySQL的问题，调整了MySQL的连接数配置，并处理了经常出现的链接失败情况，通过关闭无效连接或发送心跳包保持连接活跃。
摘要由CSDN通过智能技术生成

title: Django与Mysql的小问题
copyright: true
top: 0
date: 2019-08-27 19:22:09
tags:
categories: WEB 后端框架
permalink:
password:
keywords:
description: 在编写子域名监控遇到的一点问题解决方案

人确实是自私的动物，但为了极少数的人，人是能牺牲自己的。这种莫名其妙的感情就是爱，是人存在的证据。

Linux下sqlite单线程

在Linux下sqlite3使用orm操作数据经常会出现线程锁死无法写入，即使给了sqlite3权限还是会这样，如果想在Linux下使用sqlite，需要加入线程锁，所以决定改用MySQL。

无法迁移MySQL

初始化链接的时候会报错

Specified key was too long; max key length is 767 bytes

django 2.1.1 不兼容 MySQL5.5，使用MySQL5.7或者MySQL8.0即可，phpstudy自带MySQL8.0

高并发连接MySQL配置

高并发情况下，可以适

最低0.47元/天 解锁文章
浪子燕青啦啦啦
关注
专栏目录
python django并发访问挂掉,解决django高并发时数据库连接量过大的问题（实现连接池的方法）...
weixin_36431489的博客
03-25 1630
Django默认每访问一次数据库都会创建一个新的数据库连接，执行完数据库操作后再关闭连接。这在高并发的场景下会导致连接数不断增多，最终出现“too many connections”错误。如果我们使用gunicorn的gevent模式运行项目，那么不能在项目中使用threading(多线程)模块进行数据库操作。因为gevent会给threading模块动态打补丁，这会导致数据库连接无法复用，出现“...
Django多并发处理
11-05
Django多并发处理详细不愁，安装uwsgi+nginx！很实用哦
django 多进程 mysql_Python django使用多进程连接mysql错误的解决方法
weixin_36480721的博客
01-26 195
问题mysql 查询出现错误error: (2014, "commands out of sync; you can't run this command now")1查询mysql文档中的解释if you get commands out of sync; you can't run this command now in your client code, you are calling cl...
nginx + uWSGI 为 django 提供高并发
张聪的博客
03-14 633
nginx + uWSGI 为 django 提供高并发 django 的并发能力真的是令人担忧，这里就使用 nginx + uwsgi 提供高并发 nginx 的并发能力超高，单台并发能力过万（这个也不是绝对），在纯静态的 web 服务中更是突出其优越的地方，由于其底层使用 epoll 异步IO模型进行处理，使其深受欢迎 做过运维的应该都知道，php 需要使用 nginx + fastcg...
python django高并发_django celery的分布式异步之路(二) 高并发
weixin_39663970的博客
11-28 385
性能和稳定性是web服务的核心评价指标。下面我们来说，怎么样部署服务，实现web服务的高并发和高可用。我们将通过一些工具和部署，提升web服务的性能。这篇文章我们先讲高并发部署方式：nginx+gunicorn+wsgi1、django和python的缺陷分析django作为一个python实现的web服务器，它的性能其实是没有多大保证的。这是因为python的线程是不能共享机器资源的（因为万恶的...
Django mysql 多线程_如何合理限制django 的数据库连接数？
weixin_32431435的博客
02-01 1090
后文以django 连接mysql 为例，进行说明。背景django 的默认机制中，在查询时，会建立数据库连接，查询结束后，会断开数据库连接 —— 没有连接池的概念。官方文档中描述，可以通过设置 CONN_MAX_AGE 让执行数据库查询后，不立即断开连接 —— 一定时间内保持连接，当新的查询任务在连接未断开时，可以复用此连接。这样的好处有：避免频繁的建立连接，断开连接，消耗数据库的资源避免大并发...
Django mysql 多线程_Django配置长连接减少MySQL连接数
weixin_42499159的博客
01-19 435
这是2014年是写的一篇文章，今天翻开来看依然有效，只是代码会有些不同。这篇老文章，但是代码根据Django 2.0的版本进行了更新。有同学问要怎么来阅读Django源代码，这篇文章就是个一个例子，从问题入手，步入到源码深处。不怎么优雅的分割 ----------------------上周对我们用Django+Django-rest-framework提供的一套接口进行了压力测试。压测的过程中，...
django 多进程 mysql_Django 多进程操作 Mysql 时 2013: Lost connection to MySQL server during query 的问题...
weixin_36194075的博客
02-06 649
最近在优化Django数据库操作的性能问题，由于Python的GIL限制引入了多进程，优化过程中碰到了非常奇怪的数据库连接丢失问题，导致程序终止运行errcode is 2013, errmsg is 'Lost connection to MySQL server during query'排查了很长时间，最后明确导致这个错误的原因跟进程的fork机制有关：fork子进程完全复制父进程的空间原程...
解决django高并发时数据库连接量过大的问题（实现连接池的方法）
热门推荐
旷古的寂寞的博客
08-16 1万+
Django默认每访问一次数据库都会创建一个新的数据库连接，执行完数据库操作后再关闭连接。这在高并发的场景下会导致连接数不断增多，最终出现“too many connections”错误。 如果我们使用gunicorn的gevent模式运行项目，那么不能在项目中使用threading（多线程）模块进行数据库操作。因为gevent会给threading模块动态打补丁，这会导致数据库连接无法复用，出...
Django之数据库并发处理
kaichenkai
08-25 9078
1.数据库并发处理问题 在多个用户同时发起对同一个数据提交修改操作时（先查询，再修改），会出现资源竞争的问题，导致最终修改的数据结果出现异常。 比如限量商品在热销时，当多个用户同时请求购买商品时，最终修改的数据就会出现异常 下面我们来写点代码还原一下现象： 1.新建项目Optimistic locking，创建应用app01，编辑models创建一张表并执行数据库迁移，如下： fro...
Django mysql 多线程_Django 项目部署上线后，数据库连接数太多，抛出too many connections错误...
weixin_39950552的博客
01-26 750
在数据库中，有一个参数 CONN_MAX_AGE ， 它用来配置 Django 跟数据库的持久化连接。这一项的默认值是0。 Django 中数据库连接的逻辑是，每一个请求结束都会关闭当前的数据库连接。这意味着每来一个新的请求， Django 都会创建一个新的数据库连接。当配置此项的值时，需要根据参考数据库的 wait_timeout 配置，建议不要大于 wait_timeout 。此外此项还有 ...
django mysql并发解决方案_如何保证 Django 项目的数据一致性
weixin_35653679的博客
01-27 489
0x00 前言本文是《提升你的 Python 项目代码健壮性和性能》系列的第三篇文章。第三篇，即本文，我们来谈谈 Django 项目并发可能带来的问题以及如何保持 Django项目的数据一致性。本文目录如下：0x00 前言 : section▼ 0x01 背景知识 : section并发会带来数据不一致 : section▼ 0x02 Django 项目如何解决项目 : section悲观的方式 ...
Django mysql 多线程_多线程Django程序耗尽数据库连接的问题
weixin_33784667的博客
01-26 316
Django的ORM是非常好用的，哪怕不是做Web项目也值得一用，所以网上也可以找到不少使用 Django 开发非Web项目的资料，因为除了ORM之个，命令行、配置文件等组件也非常好用。最近用这种方式开发了一个非Web项目，而且是多线程的。有N个工作线程从DB中获取jobs，并把结果写回DB。简单来说就是这样。项目运行一段时间后，发现 数据库 连接耗尽了，幸好内存大，然后一直往上调，最后连接数都上...
【Django】Uwsgi+Nginx+Django2.0+Python3.7实现高并发，多线程，高性能
chy_sky的博客
11-16 5526
文章目录一、系统以及环境二、安装相关环境三、创建并修改Django项目四、修改服务端的nginx工具五、创建uwsgi的相关文件六、运行项目七、相关命令八、uwsgi.ini方式的配置文件 一、系统以及环境 服务器系统：Ubuntu 16.04 项目环境：python 3.7 框架：Django2.0 服务器环境：Uwsgi、Nginx 性能监测工具：Uwsgitop 使用背景：因为Django自...
django 异常问题总结
weixin_30408739的博客
06-29 101
1.问题1 在继承的类中： 403错误： views 添加：from django.core.context_processors import csrf def TestUEditor(request): if request.method == 'POST': form = TestUEditorForm(request.POST) ...
django高并发部署
bai的博客
02-26 7552
django高并发部署
多线程Django程序耗尽数据库连接的问题
赖勇浩的编程私伙局
10-07 6806
Django的ORM是非常好用的，哪怕不是做Web项目也值得一用，所以网上也可以找到不少使用 Django 开发非Web项目的资料，因为除了ORM之个，命令行、配置文件等组件也非常好用。 最近用这种方式开发了一个非Web项目，而且是多线程的。一个线程从DB中获取jobs，然后有N个工作线程，并把结果写回DB。简单来说就是这样。 项目运行一段时间后，发现数据库连接耗尽了，幸好内存大，然后一直往上调，...
django项目配置 wsgi和nginx解决高并发请求
lvbu89757的博客
08-19 1019
django配置 wsgi和nginx 官方文档 https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html 下载uwsgi pip install uwsgi 创建测试文件 def application(env, start_response): start_response('2...
django的并发能力能支持多大流量
最新发布
08-03
### 回答1： Django是一个高性能的Web框架，其并发能力取决于多种因素，如服务器配置、应用程序设计、数据库性能等。在理想情况下，Django可以支持高并发和高流量。但是如果配置不当或者程序有问题，并发能力就会受到影响。 ### 回答2： Django是一种用于开发Web应用程序的Python框架，它使用了一些并发处理技术来提高其性能和扩展性。但是，Django本身并不是一个专门用于高并发处理的框架，因此它的并发能力受到多种因素的影响。 首先，Django的并发能力取决于所使用的服务器软件（例如Apache、Nginx等）和数据库系统（例如MySQL、PostgreSQL等）。这些组件的性能和并发处理能力将直接影响Django应用程序的整体性能。 其次，Django的并发能力还与应用程序的设计和实现有关。良好的代码结构和优化的数据访问模式可以提高应用程序的并发处理能力。例如，使用缓存技术来减轻数据库负载，使用异步任务队列来处理复杂的计算任务等。 此外，调整Django的配置参数也可以提高其并发能力。例如，增加并发请求处理线程的数量、设置适当的数据库连接池大小等。 总的来说，实际上很难给出具体的数字来说明Django的并发能力可以支持多大的流量。这是因为每个应用程序的情况都不同，关键取决于所使用组件的性能、应用程序的设计和实现以及配置参数的调整。对于大型和高并发的Web应用程序来说，通常需要进行仔细的性能测试和优化，以提高其并发处理能力。 ### 回答3： Django是一个高性能的Web开发框架，其并发能力取决于多个因素，包括服务器硬件配置、数据库性能、网络带宽等。 首先，Django的基本并发能力是由其底层的WSGI服务器决定的。如果使用默认的WSGI服务器（比如Python内置的wsgiref或Django自带的runserver），其并发能力相对较低，适合用于开发和调试阶段。但如果使用像Gunicorn、uWSGI或Nginx等高性能的WSGI服务器，可以极大地提升Django的并发处理能力。 其次，数据库的性能也对Django的并发能力有较大影响。如果数据库支持并发操作，并具备足够的处理能力，可以提供更高的并发请求处理能力。另外，通过对数据库进行调优、缓存策略的使用以及数据库读写的优化等手段，也能够进一步提升Django的并发性能。 最后，网络带宽也是影响Django并发能力的因素之一。如果服务器的网络带宽有限，无论Django本身的并发处理能力有多强，也无法承受过大的流量。 总体而言，Django具备一定的并发处理能力，并且可以根据实际情况进行优化以提升其处理大流量的能力。但具体能够支持多大流量还是要根据服务器硬件配置、数据库性能以及网络带宽等因素进行综合评估，无法给出具体的数字。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浪子燕青啦啦啦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值