单线程、多线程和协程的爬虫性能对比

最新推荐文章于 2023-07-23 20:15:00 发布
最新推荐文章于 2023-07-23 20:15:00 发布
阅读量7.1w 收藏 37
点赞数 61
分类专栏： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/as604049322/article/details/112920448
版权
python 同时被 2 个专栏收录
147 篇文章 152 订阅
订阅专栏
爬虫
18 篇文章 37 订阅
订阅专栏
本文介绍了如何使用Python爬取豆瓣深圳近期上映电影的影讯信息，通过XPath解析数据。分别使用单线程、多线程和协程异步爬虫进行爬取，并对比了它们的性能。结果显示，协程爬虫速度最快，多线程次之，单线程耗时最长。最后，还展示了如何使用XPath和pandas解析表格数据并提取URL。
摘要由CSDN通过智能技术生成

作者：小小明

非常擅长解决各类复杂数据处理的逻辑，各类结构化与非结构化数据互转，字符串解析匹配等等。

至今已经帮助很多数据从业者解决工作中的实际问题，如果你在数据处理上遇到什么困难，欢迎与我交流。

豆瓣深圳影讯爬虫

文章目录


大家好，我是小小明。今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。

具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/

除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下：

image-20210121103805675

爬取测试

下面我演示使用xpath解析数据。

入口页数据读取：

import requests
from lxml import etree
import pandas as pd
import re

main_url = "https://movie.douban.com/cinema/later/shenzhen/"
headers = {
    "Accept-Encoding": "Gzip",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
r = requests.get(main_url, headers=headers)
r

结果：

<Response [200]>

检查一下所需数据的xpath：

image-20210121104803551

可以看到每个电影信息都位于id为showing-soon下面的div里面，再分别分析内部的电影名称、url和想看人数所处的位置，于是可以写出如下代码：

html = etree.HTML(r.text)
all_movies = html.xpath("//div[@id='showing-soon']/div")
result = []
for e in all_movies:
    #  imgurl, = e.xpath(".//img/@src")
    name, = e.xpath(".//div[@class='intro']/h3/a/text()")
    url, = e.xpath(".//div[@class='intro']/h3/a/@href")
    # date, movie_type, pos = e.xpath(".//div[@class='intro']/ul/li[@class='dt']/text()")
    like_num, = e.xpath(
        ".//div[@class='intro']/ul/li[@class='dt last']/span/text()")
    result.append((name, int(like_num[:like_num.find("人")]), url))
main_df = pd.DataFrame(result, columns=["影名", "想看人数", "url"])
main_df

结果：

image-20210121105519060

然后再选择一个详情页的url进行测试，我选择了熊出没·狂野大陆这部电影，因为文本数据相对最复杂，也最具备代表性：

url = main_df.at[17, "url"]
url

结果：

'https://movie.douban.com/subject/34825886/'

分析详情页结构：

image-20210121110310926

文本信息都在这个位置中，下面我们直接提取这个div下面的所有文本节点：

r = requests.get(url, headers=headers)
html = etree.HTML(r.text)
movie_infos = html.xpath("//div[@id='info']//text()")
print(movie_infos)

结果：

['\n        ', '导演', ': ', '丁亮', '\n        ', '编剧', ': ', '徐芸', ' / ', '崔铁志', ' / ', '张宇', '\n        ', '主演', ': ', '张伟', ' / ', '张秉君', ' / ', '谭笑', '\n        ', '类型:', ' ', '喜剧', ' / ', '科幻', ' / ', '动画', '\n        \n        ', '制片国家/地区:', ' 中国大陆', '\n        ', '语言:', ' 汉语普通话', '\n        ', '上映日期:', ' ', '2021-02-12(中国大陆)', ' / ', '2020-08-01(上海电影节)', '\n        ', '片长:', ' ', '100分钟', '\n        ', '又名:', ' 熊出没大电影7 / 熊出没科幻大电影 / Boonie Bears: The Wild Life', '\n        ', 'IMDb链接:', ' ', 'tt11654032', '\n\n']

为了阅读方便，拼接一下：

movie_info_txt = "".join(movie_infos)
print(movie_info_txt)

结果：

        导演: 丁亮
        编剧: 徐芸 / 崔铁志 / 张宇
        主演: 张伟 / 张秉君 / 谭笑
        类型: 喜剧 / 科幻 / 动画
        
        制片国家/地区: 中国大陆
        语言: 汉语普通话
        上映日期: 2021-02-12(中国大陆) / 2020-08-01(上海电影节)
        片长: 100分钟
        又名: 熊出没大电影7 / 熊出没科幻大电影 / Boonie Bears: The Wild Life
        IMDb链接: tt11654032

接下来就简单了：

row = {}
for line in re.split("[\n ]*\n[\n ]*", movie_info_txt):
    line = line.strip()
    arr = line.split(": ", maxsplit=1)
    if len(arr) != 2:
        continue
    k, v = arr
    row[k] = v
row

结果：

{'导演': '丁亮',
 '编剧': '徐芸 / 崔铁志 / 张宇',
 '主演': '张伟 / 张秉君 / 谭笑',
 '类型': '喜剧 / 科幻 / 动画',
 '制片国家/地区': '中国大陆',
 '语言': '汉语普通话',
 '上映日期': '2021-02-12(中国大陆) / 2020-08-01(上海电影节)',
 '片长': '100分钟',
 '又名': '熊出没大电影7 / 熊出没科幻大电影 / Boonie Bears: The Wild Life',
 'IMDb链接': 'tt11654032'}

可以看到成功的切割出了每一项。

下面根据上面的测试基础，我们完善整体的爬虫代码：

单线程爬虫

import requests
from lxml import etree
import pandas as pd
import re

main_url = "https://movie.douban.com/cinema/later/shenzhen/"
headers = {
    "Accept-Encoding": "Gzip",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
r = requests.get(main_url, headers=headers)
html = etree.HTML(r.text)
all_movies = html.xpath("//div[@id='showing-soon']/div")
result = []
for e in all_movies:
    imgurl, = e.xpath(".//img/@src")
    name, = e.xpath(".//div[@class='intro']/h3/a/text()")
    url, = e.xpath(".//div[@class='intro']/h3/a/@href")
    print(url)
#     date, movie_type, pos = e.xpath(".//div[@class='intro']/ul/li[@class='dt']/text()")
    like_num, = e.xpath(
        ".//div[@class='intro']/ul/li[@class='dt last']/span/text()")
    r = requests.get(url, headers=headers)
    html = etree.HTML(r.text)
    row = {}
    row["电影名称"] = name
    for line in re.split("[\n ]*\n[\n ]*", "".join(html.xpath("//div[@id='info']//text()")).strip()):
        line = line.strip()
        arr = line.split(": ", maxsplit=1)
        if len(arr) != 2:
            continue
        k, v = arr
        row[k] = v
    row["想看人数"] = int(like_num[:like_num.find("人")])
#     row["url"] = url
#     row["图片地址"] = imgurl
#     print(row)
    result.append(row)
df = pd.DataFrame(result)
df.sort_values("想看人数", ascending=False, inplace=True)
df.to_csv("shenzhen_movie.csv", index=False)

结果：

https://movie.douban.com/subject/26752564/
https://movie.douban.com/subject/35172699/
https://movie.douban.com/subject/34992142/
https://movie.douban.com/subject/30349667/
https://movie.douban.com/subject/30283209/
https://movie.douban.com/subject/33457717/
https://movie.douban.com/subject/30487738/
https://movie.douban.com/subject/35068230/
https://movie.douban.com/subject/27039358/
https://movie.douban.com/subject/30205667/
https://movie.douban.com/subject/30476403/
https://movie.douban.com/subject/30154423/
https://movie.douban.com/subject/27619748/
https://movie.douban.com/subject/26826330/
https://movie.douban.com/subject/26935283/
https://movie.douban.com/subject/34841067/
https://movie.douban.com/subject/34880302/
https://movie.douban.com/subject/34825886/
https://movie.douban.com/subject/34779692/
https://movie.douban.com/subject/35154209/

爬到的文件：

image-20210121111544168

整体耗时：

image-20210121111627428

42.5秒。

多线程爬虫

单线程的爬取耗时还是挺长的，下面看看使用多线程的爬取效率：

import requests
from lxml import etree
import pandas as pd
import re
from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED


def fetch_content(url):
    print(url)
    headers = {
        "Accept-Encoding": "Gzip",  # 使用gzip压缩传输数据让访问更快
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
    }
    r = requests.get(url, headers=headers)
    return r.text


url = "https://movie.douban.com/cinema/later/shenzhen/"
init_page = fetch_content(url)
html = etree.HTML(init_page)
all_movies = html.xpath("//div[@id='showing-soon']/div")
result = []
for e in all_movies:
#     imgurl, = e.xpath(".//img/@src")
    name, = e.xpath(".//div[@class='intro']/h3/a/text()")
    url, = e.xpath(".//div[@class='intro']/h3/a/@href")
#     date, movie_type, pos = e.xpath(".//div[@class='intro']/ul/li[@class='dt']/text()")
    like_num, = e.xpath(
        ".//div[@class='intro']/ul/li[@class='dt last']/span/text()")
    result.append((name, int(like_num[:like_num.find("人")]), url))
main_df = pd.DataFrame(result, columns=["影名", "想看人数", "url"])

max_workers = main_df.shape[0]
with ThreadPoolExecutor(max_workers=max_workers) as executor:
    future_tasks = [executor.submit(fetch_content, url) for url in main_df.url]
    wait(future_tasks, return_when=ALL_COMPLETED)
    pages = [future.result() for future in future_tasks]

result = []
for url, html_text in zip(main_df.url, pages):
    html = etree.HTML(html_text)
    row = {}
    for line in re.split("[\n ]*\n[\n ]*", "".join(html.xpath("//div[@id='info']//text()")).strip()):
        line = line.strip()
        arr = line.split(": ", maxsplit=1)
        if len(arr) != 2:
            continue
        k, v = arr
        row[k] = v
    row["url"] = url
    result.append(row)
detail_df = pd.DataFrame(result)
df = main_df.merge(detail_df, on="url")
df.drop(columns=["url"], inplace=True)
df.sort_values("想看人数", ascending=False, inplace=True)
df.to_csv("shenzhen_movie2.csv", index=False)
df

结果：

image-20210121112243892

耗时8秒。

由于每个子页面都是单独的线程爬取，每个线程几乎都是同时在工作，所以最终耗时仅取决于爬取最慢的子页面。

协程异步爬虫

由于我在jupyter中运行，为了使协程能够直接在jupyter中直接运行，所以我在代码中增加了下面两行代码，在普通编辑器里面可以去掉：

import nest_asyncio
nest_asyncio.apply()

这个问题是因为jupyter所依赖的高版本Tornado存在bug，将Tornado退回到低版本也可以解决这个问题。

下面我使用协程来完成这个需求的爬取：

import aiohttp
from lxml import etree
import pandas as pd
import re
import asyncio
import nest_asyncio
nest_asyncio.apply()


async def fetch_content(url):
    print(url)
    header = {
        "Accept-Encoding": "Gzip",  # 使用gzip压缩传输数据让访问更快
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
    }
    async with aiohttp.ClientSession(
        headers=header, connector=aiohttp.TCPConnector(ssl=False)
    ) as session:
        async with session.get(url) as response:
            return await response.text()


async def main():
    url = "https://movie.douban.com/cinema/later/shenzhen/"
    init_page = await fetch_content(url)
    html = etree.HTML(init_page)
    all_movies = html.xpath("//div[@id='showing-soon']/div")
    result = []
    for e in all_movies:
        #         imgurl, = e.xpath(".//img/@src")
        name, = e.xpath(".//div[@class='intro']/h3/a/text()")
        url, = e.xpath(".//div[@class='intro']/h3/a/@href")
    #     date, movie_type, pos = e.xpath(".//div[@class='intro']/ul/li[@class='dt']/text()")
        like_num, = e.xpath(
            ".//div[@class='intro']/ul/li[@class='dt last']/span/text()")
        result.append((name, int(like_num[:like_num.find("人")]), url))
    main_df = pd.DataFrame(result, columns=["影名", "想看人数", "url"])

    tasks = [fetch_content(url) for url in main_df.url]
    pages = await asyncio.gather(*tasks)

    result = []
    for url, html_text in zip(main_df.url, pages):
        html = etree.HTML(html_text)
        row = {}
        for line in re.split("[\n ]*\n[\n ]*", "".join(html.xpath("//div[@id='info']//text()")).strip()):
            line = line.strip()
            arr = line.split(": ", maxsplit=1)
            if len(arr) != 2:
                continue
            k, v = arr
            row[k] = v
        row["url"] = url
        result.append(row)
    detail_df = pd.DataFrame(result)
    df = main_df.merge(detail_df, on="url")
    df.drop(columns=["url"], inplace=True)
    df.sort_values("想看人数", ascending=False, inplace=True)
    return df

df = asyncio.run(main())
df.to_csv("shenzhen_movie3.csv", index=False)
df

结果：

image-20210121113808516

耗时仅7秒，相对比多线程更快一点。

由于request库不支持协程，所以我使用了支持协程的aiohttp进行页面抓取。当然实际爬取的耗时还取绝于当时的网络，但整体来说，协程爬取会比多线程爬虫稍微快一些。

回顾

今天我向你演示了，单线程爬虫、多线程爬虫和协程爬虫。可以看到一般情况下协程爬虫速度最快，多线程爬虫略慢一点，单线程爬虫则必须上一个页面爬取完成才能继续爬取。

但协程爬虫相对来说并不是那么好编写，数据抓取无法使用request库，只能使用aiohttp。所以在实际编写爬虫时，我们一般都会使用多线程爬虫来提速，但必须注意的是网站都有ip访问频率限制，爬的过快可能会被封ip，所以一般我们在多线程提速的同时使用代理ip来并发的爬取数据。

彩蛋：xpath+pandas解析表格并提取url

我们在深圳影讯的底部能够看到一个> 查看全部即将上映的影片的按钮，点进去能够看到一张完整近期上映电影的列表，发现这个列表是个table标签的数据：

image-20210121143015736

那就简单了，解析table我们可能压根就不需要用xpath，直接用pandas即可，但片名中包含的url地址还需解析，所以我采用xpath+pandas来解析这个网页，看看我的代码吧：

import pandas as pd
import requests
from lxml import etree

headers = {
    "Accept-Encoding": "Gzip",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
r = requests.get("https://movie.douban.com/coming", headers=headers)
html = etree.HTML(r.text)
table_tag = html.xpath("//table")[0]
df, = pd.read_html(etree.tostring(table_tag))
urls = table_tag.xpath(".//td[2]/a/@href")
df["url"] = urls
df

结果：

上映日期片名类型制片国家 / 地区想看url
001月22日小伟剧情中国大陆18340人https://movie.douban.com/subject/26752564/
101月22日武汉日夜纪录片中国大陆16208人https://movie.douban.com/subject/35172699/
201月22日幸运电梯剧情中国大陆11504人https://movie.douban.com/subject/34992142/
301月22日指挥家剧情 / 传记 / 爱情荷兰8629人https://movie.douban.com/subject/30349667/
401月22日与我跳舞喜剧 / 歌舞日本5960人https://movie.douban.com/subject/30283209/
501月22日大红包喜剧 / 爱情中国大陆5221人https://movie.douban.com/subject/33457717/
601月23日魔法鼠乐园喜剧 / 动画 / 家庭中国大陆244人https://movie.douban.com/subject/30487738/
701月29日吉祥如意剧情 / 家庭中国大陆16914人https://movie.douban.com/subject/35068230/
801月29日蜂鸟计划剧情加拿大6780人https://movie.douban.com/subject/27039358/
901月29日温泉屋的小老板娘动画 / 家庭日本3736人https://movie.douban.com/subject/30205667/
1001月29日移情高手喜剧 / 爱情中国大陆308人https://movie.douban.com/subject/30476403/
1101月30日黄河尕谣纪录片 / 音乐中国大陆1742人https://movie.douban.com/subject/30154423/
1202月12日唐人街探案3喜剧 / 悬疑中国大陆279735人https://movie.douban.com/subject/27619748/
1302月12日刺杀小说家动作 / 奇幻 / 冒险中国大陆59601人https://movie.douban.com/subject/26826330/
1402月12日侍神令奇幻中国大陆40954人https://movie.douban.com/subject/26935283/
1502月12日你好，李焕英剧情 / 喜剧中国大陆37921人https://movie.douban.com/subject/34841067/
1602月12日人潮汹涌剧情 / 喜剧 / 犯罪中国大陆29401人https://movie.douban.com/subject/34880302/
1702月12日熊出没·狂野大陆喜剧 / 科幻 / 动画中国大陆9499人https://movie.douban.com/subject/34825886/
1802月12日新神榜：哪吒重生动作 / 动画 / 奇幻中国大陆8408人https://movie.douban.com/subject/34779692/
1902月26日小美人鱼的奇幻冒险动画 / 奇幻 / 冒险中国大陆2580人https://movie.douban.com/subject/35154209/
2003月12日北京爱情图鉴剧情中国大陆1259人https://movie.douban.com/subject/27067713/
2104月01日来都来了喜剧中国大陆1298人https://movie.douban.com/subject/34670706/
2204月02日我的姐姐剧情中国大陆6427人https://movie.douban.com/subject/35158160/
2304月30日古董局中局剧情 / 悬疑 / 冒险中国大陆16121人https://movie.douban.com/subject/26996619/
2405月01日秘密访客剧情 / 悬疑中国大陆42302人https://movie.douban.com/subject/30378158/
2505月01日阳光劫匪剧情 / 喜剧 / 奇幻中国大陆5974人https://movie.douban.com/subject/26933158/
2605月01日西游记之再世妖王喜剧 / 动画 / 奇幻中国大陆3137人https://movie.douban.com/subject/26818326/
2705月20日你的婚礼爱情中国大陆7148人https://movie.douban.com/subject/34973399/
2807月01日革命者剧情 / 历史中国大陆740人https://movie.douban.com/subject/35288767/
2907月01日1921剧情 / 历史中国大陆4人https://movie.douban.com/subject/35125443/
302022年02月01日我心飞扬剧情 / 传记中国大陆756人https://movie.douban.com/subject/32712599/

这样就能到了主页面的完整数据，再简单的处理一下即可。

结语

感谢各位读者，有什么想法和收获欢迎留言评论噢！

小小明-代码实体
关注
专栏目录
Python爬虫实战：单线程、多线程和协程性能对比
叶庭云 成为自己的光
01-25 1919
Python爬虫实战：单线程、多线程和协程性能对比 一、前言 二、爬取测试 三、单线程爬虫 四、多线程爬虫 五、异步协程爬虫 六、总结回顾
Python小爬虫之协程爬虫快速上手
`or 1 or 不正经の泡泡
03-04 2572
文章目录前言协程协程快速上手协程异步运行工作流程任务管理aiohttp异步保存异步回调 前言 爬虫是个好东西，最近要用用这玩意，所以顺便把以前的小东西给发出来，水几篇博客~ 协程 首先明确一点，线程不是多线程，线程本质上还是单线程，但是这个线程的特点是当当前线程进入到IO状态的时候，CPU会自动切换任务从而提高系统的整体运行效率。没错这个协程其实就和操作系统的多道处理机制是一样的。实现的效果有点类似使用多线程，或者线程池，但是协程是更加轻量级的，本质上就是一个单线程在来回切换。 协程快速上手 那么接下来我们
(二)单线程爬虫与多线程爬虫的效率对比
chanweiliang7439的博客
04-19 2722
多线程爬虫与单线程爬虫的效率对比 1.什么是进程？ 当一个程序正在运行时，它就是一个进程，进程包括运行中的程序和程序所使用到的内存和系统资源，而一个进程又包含多个线程。 2.线程是什么？ 线程是程序中的一个执行流，每个线程都有自己专有的寄存器（栈指针、程序计数器等），但一个进程内的多个线程是共享代码区的，也就是同一个函数可以被多个线程所执行。 3.多线程是什么? 多线程一般指的是同一个程序的多个执...
单线程爬虫VS多线程爬虫的效率对比
weixin_33704591的博客
04-30 210
单线程爬虫： import re import requests import time url_EB = 'http://www.amazon.com/gp/search/other/ref=sr_sa_p_4?me=A22XNR713HGDVG&rh=n%3A9063592011%2Ck%3Aprojector&bbn=9063592011&keywor...
Python爬虫：单线程、多线程和协程的爬虫性能对比！
m0_52915161的博客
02-21 2191
大家好，我是漆柒七7！ 首先见面礼 Python学习大礼包 点击领取 然后今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。 具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/ 除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下： 爬取测试 下面我演示使用xpath解析数据。 入口页数据读取： import request
多线程与协程爬虫
qq_45351815的博客
10-31 376
介绍 网络爬虫是一种高IO密集型任务，所以传统的进程或者多进程并不适合网络爬虫。由于CPython中全局解释器锁GIL的存在，无法真正意义上的实现多线程，但这种“不完美的多线程”依然可以大大提高爬虫效率，并且也因为这种缺陷产生了多协程网络爬虫。 ...
Python爬虫纯干货：单线程、多线程和协程的爬虫性能对比
03-03 362
今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。 具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/ 除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下： 爬取测试 下面我演示使用xpath解析数据。 入口页数据读取： importrequests fromlxmlimportetree imp...
【爬虫】使用多线程、多进程、多协程提升爬虫速度
weixin_51656605的博客
02-05 4984
本系列为自己学习爬虫的相关笔记，如有误，欢迎大家指正 要学习提升爬虫速度用到的知识，必须先熟悉并发和并行、同步和异步的概 一、并发和并行，同步和异步 并发和并行 并发（concurrency）和并行（parallelism）是两个相似的概念。并发是指在一个时间段内发生若干事件的情况，并行是指在同一时刻发生若干事件的情况。 使用单核CPU和多核CPU来说就是：在使用单核CPU时，多个工作任务是以并发的方式运行的，因为只有一个CPU，所以各个任务会分别占用CPU的一段时间依次执行。如果在自己分得的时间段没有.
python爬虫:多线程,协程使用
weixin_49572581的博客
03-28 793
文章目录前言一、首先正常请求加解析数据流程？二、多线程使用三、协程使用三、多线程,协程结合使用总结 前言 有时某些网站反爬不是很厉害的时候,这时候就需要提高爬取数据的效率，可以使用多线程，协程等方式，关于这些的知识有很多文章讲述，肯定比我讲的好，下面是我个人理解使用方式，可以说是我写代码的模板吧 一、首先正常请求加解析数据流程？ import requests from bs4 import BeautifulSoup import time from loguru import logger head
python学习之爬虫(五)--高性能爬虫: 单线程爬虫、多线程爬虫、多进程爬虫、多线程池爬虫、协程池爬虫
浅弋、璃鱼的博客
03-15 928
一、单线程爬虫: 1. 爬取糗事百科段子:
Python学习爬虫（9）--实战高阶：爬取豆瓣书名（多线程）
weixin_31315135的博客
04-17 380
作者：IT小样
python协程与多线程比较_python 协程认识，与多线程对比。-Go语言中文社区
weixin_29488835的博客
01-29 498
python 协程又称微线程，纤程。英文名Coroutine。它是一种异步模型，主要用于异步I/O，它可以在一个线程中实现多个程序并发运行，并自主切换。(没错，就是在一个线程中实现 并发)一、协程的基础认识，与多线程对比。如果直接介绍协程、异步，我想很多人是搞不明白的，但是说起多线程想必大多数人都是有所了解的。比如下面这个很简单的多线程：1) 多线程的并发效果import threadingdef...
02-12 单线程+多任务异步协程
weixin_46400833的博客
02-12 317
一、 理论基础 1、线程是有限的，线程开启过多，CPU吃不消 2、多任务--理论上每个线程下可以开启很多协程，但实际效果一般 500个最佳，速度最快 ‘’’ 二、爬虫推荐单线程+多任务异步协程 1、协程 是一个对象，可以吧协程当做衣蛾特殊的函数，如果一个函数的 定义被async关键字修饰，该特殊的函数被调用后函数内部的程序语 句不会被立即执行，而是会返回一个协程对象，如eg1 2、任务对象（task): 所谓的任务对象就是协程对象的进一步封装 （ 即是一个高级的协程对象） 在任务对象中可以实现显示协程
协程写作方式实现的单进程 单线程 多协程的http（其实是tcp啦）服务器，实测性能和workerman相差不远（当然稳定性没法比）， 基本每行代码都有中文注释~~呲牙呲牙呲牙 没办法用作生产环境
wwwoooshizha的博客
10-13 799
协程写作方式实现的单进程 单线程 多协程的http（其实是tcp啦）服务器，实测性能和workerman相差不远（当然稳定性没法比）， 基本每行代码都有中文注释~~ 没办法用作生产环境，只能用作学习！！！ 没办法用作生产环境，只能用作学习！！！ 没办法用作生产环境，只能用作学习！！！ 没办法用作生产环境，只能用作学习！！！ 垃圾电脑能跑这样的数据，无内存抖动
回顾：进程和线程的区别
lz0426001的专栏
11-04 395
简而言之,一个程序至少有一个进程，一个进程至少有一个线程。 线程的划分尺度小于进程，使得多线程程序的并发性高。 另外，进程在执行过程中拥有独立的内存单元，而多个线程共享内存，从而极大地提高了程序的运行效率。 线程在执行过程中与进程还是有区别的。每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。 从逻辑
【python单线程、多线程、协程】爬虫案例比较
一名在读学生
02-25 912
【python单线程、多线程、协程】爬虫案例比较
单线程并发——协程
weixin_30737433的博客
10-13 263
1. 什么是协程 协程，英文名称为 Coroutine，经常被称为微线程，纤程，是一种多任务并发的操作手段 PYTHON 中的多任务处理，根据资源消耗情况可以选择多进程并发、多线程并发，同时也可 以在节省系统资源的情况下选择协程并发，协程由于是工作在一个线程中的执行单元，所以 系统资源消耗是最少的 定义：协程是运行在单线程中的并发程序！ 由于协程省去了多线程、多进程并发机制下的切换管理和...
【程序、进程、线程、协程的概念和区别，什么是多线程？什么是单线程？】
最新发布
ken2232的博客
07-23 244
什么是多线程？多线程有哪些使用场景？多线程如何实现？
Python并发爬虫：进程、线程与协程优化策略
本文将主要关注单个爬虫如何在Python中通过不同的并发策略实现高效抓取，包括顺序抓取、线程和协程。 首先，我们来看顺序抓取，这是最基本的爬虫抓取方式。在初学者中很常见，它按照URL列表逐个发送请求，例如： `...
评论 32
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小明-代码实体

喜欢，就关注；爱，就打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值