- 博客(10)
- 收藏
- 关注
RSS订阅
1转载 asyncio异步任务和同步任务的性能比较
1. 前言在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 IO 密集型任务非...
2020-08-05 10:53:37
665
转载 scrapy运行爬虫的几种方式
1.开启多个命令行，分别执行scrapy cralw xxxx2.编写一个脚本，写入以下代码，执行工程下的所有爬虫：# -*- coding: utf-8 -*-# @Time : 25/12/2016 5:35 PM# @Author : ddvv# @Site :# @File : run.py# @Software: PyCharmfrom scrapy.utils.project import get_project_settingsfrom scrapy.c
2020-07-01 15:32:39
1111
原创 记一次百万级数据SQL语句优化
起因：公司的订单数据日益增多，使得订单表做统计查询速度异常缓慢。查询耗时平均为4s。优化方向：1.查看mysql慢查询日志：mysqldumpslow -t 10 /www/mysql/mysql-slow.log #显示出慢查询日志中最慢的10条sql由于当初写统计查询时，没有考虑那么多。只想把结果早点显示出来，便出现了这种情况：SELECT s.id,s.shop_mer_id,s...
2019-05-28 18:03:28
1930
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人