4--多线程、多进程、线程池和进程池、协程--爬虫

已于 2022-02-19 20:43:24 修改
阅读量473 收藏 1
点赞数
分类专栏： 爬虫 文章标签： 爬虫
于 2022-02-19 20:24:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42530422/article/details/123023248
版权

多线程和多进程的格式

多线程
#target=func 不加括号是对函数的调用；target=func()加括号是对结果的调用
    t = Thread(target=func)  # 创建一个多线程对象
    t.start()   #多线程为可以开始工作状态
 方式二：
 t = MyThread()  #定义一个对象
 t.start()       #开启线程
 class MyThread(Thread):   #子类继承了Thread
    def run(self):        #这里的方法必须是run()
    
多进程
#target=func 表示是对函数的调用；target=func()表示是对结果的调用
    p = Process(target=func)
    p.start()  # 开启多进程
 传参格式
    p1 = Process(target=func, args=("周杰伦",))  #传递参数必须是元组
    p1.start()  # 开启多进程

一、多线程

1、demo1

#多线程
from threading import Thread

def func():
     for i in range(100):
         print("func", i)

if __name__ == '__main__':
    #target=func 不加括号是对函数的调用；target=func()加括号是对结果的调用
    t = Thread(target=func)  # 创建一个多线程对象
    t.start()   #多线程为可以开始工作状态
    for i in range(100):
        print("main", i)

2、demo2

from threading import Thread

class MyThread(Thread):   #子类继承了Thread
    def run(self):        #这里的方法必须是run()
        for i in range(1000):
            print("子线程", i)

if __name__ == '__main__':
    t = MyThread()  #定义一个对象
    t.start()       #开启线程
    for i in range(1000):
        print("主线程", i)

二、多进程

1、demo1

from multiprocessing import Process

def func():
    for i in range(10000):
        print("子进程", i)

if __name__ == '__main__':
    #target=func 表示是对函数的调用；target=func()表示是对结果的调用
    p = Process(target=func)
    p.start()  # 开启多进程
    for i in range(10000):
        print("主进程", i)

2、demo2

from multiprocessing import Process

def func(name):
    for i in range(10000):
        print(name, i)

if __name__ == '__main__':
    #target=func 表示是对函数的调用；target=func()表示是对结果的调用
    p1 = Process(target=func, args=("周杰伦",))  #传递参数必须是元组
    p1.start()  # 开启多进程
    p2 = Process(target=func, args=("王力宏",))  # 传递参数必须是元组
    p2.start()  # 开启多进程

三、线程池和进程池

1、demo

#导入线程池和进程池
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor

def fn(name):
    for i in range(10):
        print(name, i)
if __name__ == '__main__':
    #创建线程池
    with ThreadPoolExecutor(50) as t:
        for i in range(10):
            t.submit(fn, name=f"线程{i}")   #调度任务
    #等待线程池中的任务全部执行完毕，才继续执行（守护）
    print("完成")

2、xpath+爬取菜价

数据在页面源代码中

爬取地址 https://www.construdip.com/marketanalysis/0/list/1.shtml

在这里插入图片描述
定位到数据的位置

def download_one_page(url):
    resp = requests.get(url)
    # print(resp.text)
    html = etree.HTML(resp.text)
    #下面要是不加[0]就是一个列表，且只有一个元素，索引为0
    table = html.xpath("/html/body/div[2]/div[4]/div[1]/table")[0]
    # print(table)

去除第一行的标签
在这里插入图片描述

 # [1:]每页获取的菜价还有一个 “菜名”  “价格” 之类的东西，[1:]就是用来去除列表第一行元素的
    # trs = table.xpath("./tr")[1:]
    trs = table.xpath("./tr[position()>1]")  #方法二，舍弃第一行的数据
    # print(len(trs))

在这里插入图片描述

#拿到每个tr
    for tr in trs:
        txt = tr.xpath("./td/text()")
        print(txt)
输出结果为
['大白菜', '0.45', '0.48', '0.50', '\\新', '斤', '2021-07-16']
['娃娃菜', '0.50', '0.60', '0.70', '大\\冀新', '斤', '2021-07-16']
['小白菜', '1.40', '1.55', '1.70', '普通', '斤', '2021-07-16']
['芹菜', '1.00', '1.10', '1.20', '\\冀', '斤', '2021-07-16']
....

#对数据做简单的处理：\\  /去掉
        txt = (item.replace("\\","").replace("/", "") for item in txt)
        print(list(txt))
输出结果
['大白菜', '0.45', '0.48', '0.50', '新', '斤', '2021-07-16']
['娃娃菜', '0.50', '0.60', '0.70', '大冀新', '斤', '2021-07-16']
['小白菜', '1.40', '1.55', '1.70', '普通', '斤', '2021-07-16']
。。。。

程序代码

import requests
from lxml import etree
import csv
from concurrent.futures import ThreadPoolExecutor

f = open("线程池_菜价.csv", mode="w", encoding="utf-8")
csvwriter = csv.writer(f)

def download_one_page(url):
    resp = requests.get(url)
    # print(resp.text)
    html = etree.HTML(resp.text)
    #下面要是不加[0]就是一个列表，且只有一个元素，索引为0
    table = html.xpath("/html/body/div[2]/div[4]/div[1]/table")[0]
    # print(table)
    # [1:]每页获取的菜价还有一个 “菜名”  “价格” 之类的东西，[1:]就是用来去除列表第一行元素的
    # trs = table.xpath("./tr")[1:]
    trs = table.xpath("./tr[position()>1]")  #方法二，舍弃第一行的数据
    # print(len(trs))
    #拿到每个tr
    for tr in trs:
        txt = tr.xpath("./td/text()")
        # print(txt)
        #对数据做简单的处理：\\  /去掉
        txt = (item.replace("\\","").replace("/", "") for item in txt)
        # print(list(txt))
        csvwriter.writerow(txt)
    print(url, "提取完毕")

if __name__ == '__main__':
    # download_one_page("https://www.construdip.com/marketanalysis/0/list/1.shtml")

    #单线程的下载方式
    # for i in range(1, 100):
    #     download_one_page(f"https://www.construdip.com/marketanalysis/0/list/{i}.shtml")
    with ThreadPoolExecutor(50) as t:
        for i in range(1, 200):
            #把下载任务提交给线程池
            t.submit(download_one_page, f"https://www.construdip.com/marketanalysis/0/list/{i}.shtml")

四、协程

方法一：
async def func1():
    print("程序1")
    # time.sleep(3) #当程序出现了同步操作的时候，异步就中断了
    await asyncio.sleep(3)  #异步操作的代码;await表示挂起，cpu执行下一个程序
    print("程序1")
f1 = func1()
f2 = func2()
f3 = func3()
#把任务放到列表里面去
tasks = [f1, f2, f3]
#一次性启动多个任务(协程)
asyncio.run(asyncio.wait(tasks))

方法二:
async def main():
    #第一种写法
    # f1 = func1()
    # await f1   #一般await挂起操作放在协程对象前面
    #第二种写法
    tasks = [asyncio.create_task(func1()), asyncio.create_task(func2()), asyncio.create_task(func3())]
    await asyncio.wait(tasks)
if __name__ == '__main__':
    asyncio.run(main())

1、aiohttp模块应用下载图片

import asyncio
import aiohttp

urls = [
    "http://kr.shanghai-jiuxin.com/file/2020/1031/small774218be86d832f359637ab120eba52d.jpg",
    "http://kr.shanghai-jiuxin.com/file/2020/1031/small563337d07af599a9ea64e620729f367e.jpg",
    "http://kr.shanghai-jiuxin.com/file/2020/1031/small26b7e178e987be6d914bf8d1af120890.jpg"
]
async def aiodownload(url):
    name = url.rsplit("/", 1)[1]   #创建文件名为最后一个
    #这里加了with就相当于开文件时的一样，执行完这里之后就不用手动进行释放了
    #aiohttp.ClientSession() <==> 相当于 requests模块
    async with aiohttp.ClientSession() as session:  #async表示异步
        async with session.get(url) as resp:
            # resp.content.read()    #<==>等价于requests模块中的 resp.content
            #请求回来了，写入文件
            with open(name, mode="wb") as f:
                f.write(await resp.content.read())  #读取内容是异步的，需要await挂起
    print(name, "搞定")

async def main():
    tasks = []
    for url in urls:
        tasks.append(asyncio.create_task(aiodownload(url)))
        # tasks.append(aiodownload(url))
    await asyncio.wait(tasks)


if __name__ == '__main__':
    # asyncio.run(main())  #这里的会报错
    asyncio.get_event_loop().run_until_complete(main())

2、用协程爬取一部小说

爬取网站： http://dushu.baidu.com/pc/detail?gid=4306063500

在这里插入图片描述

点击页面的查看更多后出现
在这里插入图片描述

此时，http://dushu.baidu.com/api/pc/getCatalog?data={“book_id”:“4306063500”}

第一章的小说在这里
在这里插入图片描述
在这里插入图片描述

http://dushu.baidu.com/api/pc/getChapterContent?data={%22book_id%22:%224306063500%22,%22cid%22:%224306063500|1569782244%22,%22need_bookinfo%22:1}

其中的%22为符号""号，所以，修改后的地址为

http://dushu.baidu.com/api/pc/getChapterContent?data={“book_id”:“4306063500”,“cid”:“4306063500|1569782244”,“need_bookinfo”:1}

在这里插入图片描述

# url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":f"{b_id}"}'  这样写就会报错，只能用下面的
    url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}'

在这里插入图片描述
代码：

import requests
import asyncio
import aiohttp
import json
import aiofiles

#1、同步操作：访问getCatalog ，拿到所有章节的cid和名称
#2、异步操作：访问 getChapterContent，下载所有的文章内容
#
# "http://dushu.baidu.com/pc/detail?gid=4306063500"
#
# 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}'
async def aiodownload(cid, b_id, title):
    data = {
        "book_id": f"{b_id}",
        "cid": f"{b_id}|{cid}",
        "need_bookinfo": 1
    }
    data = json.dumps(data)   #将data转换为字符串
    url = f"http://dushu.baidu.com/api/pc/getChapterContent?data={data}"

    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp:
            dic = await resp.json()

            async with aiofiles.open("西游记小说/"+title, mode="w", encoding="utf-8") as f:
                await f.write(dic['data']['novel']['content'])


async def getCatalog(url):
    resp = requests.get(url)
    # print(resp.text)
    # print(resp.json())
    dic = resp.json()
    tasks = []
    # 在data里面找到novel，再在novel中找到items；
    for item in dic['data']['novel']['items']:
        title = item['title']  #在items中找到title
        cid = item['cid']
        #准备异步任务
        tasks.append(asyncio.create_task(aiodownload(cid, b_id, title)))
        # print(title, cid)
    await asyncio.wait(tasks)

if __name__ == '__main__':
    b_id = "4306063500"
    # url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":f"{b_id}"}'  这样写就会报错，只能用下面的
    url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}'
    asyncio.run(getCatalog(url))
朝游碧海暮苍梧
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫之线程池和进程池功能与用法详解
12-25
本文实例讲述了python爬虫之线程池和进程池功能与用法。分享给大家供大家参考，具体如下： 一、需求 最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，...
python进程池和线程池
wanggaoxingH的博客
09-30 287
进程池和线程池
用进程池提高操作效率
import_hair的博客
01-26 232
import csv from concurrent.futures import ThreadPoolExecutor import requests f= open("新发地.csv",mode="w",encoding="utf-8",newline="") csvwriter = csv.writer(f) def down_load_allpages(): pass def down_load_onepage(datas): url = "http://www.xinfa.
python3线程池 多线程
qq_27886997的博客
09-27 1254
从Python3.2开始，标准库为我们提供了 concurrent.futures 模块，它提供了 ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池)两个类。 相比 threading 等模块，该模块通过 submit 返回的是一个 future 对象，它是一个未来可期的对象，通过它可以获悉线程的状态主线程(或进程)中可以获取某一个线程(进程)执行的状态或者某一个任务执行的状态及返回值： 主线程可以获取某一个线程（或者任务的）的状态，以及返回值。 当一
爬虫--多线程，线程池，异步协程
qq_63536491的博客
04-05 691
# 1 , 多线程 from threading import Thread def func(): for i in range(1000): print("线程1", i) def func2(): for i in range(1000): print("线程2", i) if __name__ == '__main__': t = Thread(target=func()) t.start() # 开辟一个线程，具体实现.
线程池和进程池
D_Ray_的博客
08-18 132
线程队列 from queue import Queue # queue模块中的队列，只能保存一般数据或者多线程中产生的数据(多用于多线程，自带线程安全属性)，但是不能用来存储多进程中产生的数据。 # 队列数据结构：是容器，先进先出 if __name__ == '__main__': # 1. 队列基本用法 # 1) 创建队列对象: Queue() q = Queue() # 2) 添加数据(进): 队列对象.put(数据) q.put(100) q.p
详解python之多进程和进程池(Processing库)
12-25
但之前只是单纯看一点基础知识还有简单的介绍,无法理解怎么去应用,直到前段时间看了github的一个爬虫项目涉及到多进程,多线程相关内容,一边看一边百度相关知识点,现在把一些相关知识点和一些应用写下来做个记录. ...
Python爬取股票数据存入mysql，获取股票（最新、最高、今开、成交量、成交额、量比、换手率、涨幅）支持多线程+数据库连接池
07-08
运行说明 首先要保证本机已经安装MySQL和Redis. 爬虫部分 采用单线程Python爬虫 + MySQL....1、运行文件databaseInitialization.py初始化数据库和...多线程+数据库连接池爬虫`insertRecordsMultiThreadConnectionPool.
开涛高可用高并发-亿级流量核心技术
03-22
3.11.1 请求解析和业务处理线程池分离 57 3.11.2 业务线程池隔离 58 3.11.3 业务线程池监控/运维/降级 58 3.11.4 如何使用Servlet 3异步化 59 3.11.5 一些Servlet 3异步化压测数据 64 4 限流详解 66 4.1 限流算法 67...
Python入门网络爬虫之精华版
11-04
这里针对华尔街见闻进行并行抓取的实验对比：Python多进程抓取 与 Java单线程和多线程抓取 相关参考：关于Python和Java的多进程多线程计算方法对比 6. 对于Ajax请求的处理 对于“加载更多”情况，使用Ajax来传输很...
多线程中的Join
柯基的博客
09-16 2567
线程中join(强制执行)：当前线程执行完毕之后，才会执行后面程序，其他线程阻塞； 实例： public class ThreadJoin implements Runnable{ @Override public void run() { for (int i = 1; i < 1000; i++) { System.out.println("Join..."+i+"运行中"); } } public stat
并发编程之多进程
weixin_33724059的博客
05-03 50
一. 进程理论 二. 开启进程的两个方法 1. multiprocessing模块介绍 multiprocessing模块是用来开启子进程，并在子进程中执行我们定制的任务（比如函数），功能：支持子进程通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock 2. Process类的介绍 创建进程的类： Process(group=None, tar...
python线程池模块ThreadPoolExecutor使用心得
njulpy的博客
12-19 1万+
python3内置的有Threadingpool和ThreadPoolExecutor模块，两个都可以做线程池，当然ThreadPoolExecutor会更好用一些，而且也有ProcessPoolExecutor进程池模块，使用方法基本一致。 首先导入模块 from concurrent.futures import ThreadPoolExecutor  使用方法很简单，最常用的可能就是...
线程池and进程池实战
Laity
05-10 96
线程池and进程池的学习 # 线程池 一次性开辟一些线程,我们用户给线程池提交任务. from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor #线程池 , 进程池 def fn(name): for i in range(1,1000): print(name,i) if __name__ == '__main__': #创建线程池 with ThreadPoolEx
多进程（一）
qq_26449287的博客
11-10 209
有个人解释的很好，看下去 什么是进程？有什么用？——ok，那我问你，你能一手画圆一手画方吗？——我猜不能。但计算机就不一样了，一边绘制正方体一边绘制球体都是小case（屏幕上自动绘制图形），这是因为计算机启动了另一个"大脑"来处理另一个任务，即两个“大脑”分别同时画两个图形 效率X2！我们之前的写程序都是计算机一个“大脑”在工作！ok，那怎么启动计算机其他的大脑呢？——启动另一个进程就可以了！ ...
多线程、多进程、线程池、进程池
智享与潜沉
04-11 5187
多任务不管是单核CPU还是多核CPU，一旦任务数量超过核数，OS都会把每个任务轮流调度到每个核心上。OS实现多进程和多线程往往是通过时间片的形式执行的，即让每个任务(进程/线程)轮流交替执行，因为时间片切分的很小，以至于我们感觉多个任务在同时执行。如果我们要同时执行多个任务怎么办？主要有两种解决方案： 一种是启动多个进程，每个进程虽然只有一个线程，但多个进程可以一块执行多个任务。 还有一种方法是启动
多任务中 多线程和多进程的区别
热门推荐
会飞的猪的博客
04-26 1万+
多任务中 多线程和多线程的区别
python 线程池用法_python 线程池 ThreadPoolExecutor 的用法
weixin_39997300的博客
12-18 404
1. 线程池的基本用法# coding: utf-8from concurrent.futures import ThreadPoolExecutorimport timedef spider(page):time.sleep(page)print(f"crawl task{page} finished")return pagewith ThreadPoolExecutor(max_workers...
多线程与多进程的区别
weixin_34062469的博客
08-19 1061
（1）多线程多进程的区别 维度 多进程 多线程 总结 数据共享、同步 数据是分开的:共享复杂，需要用IPC;同步简单 多线程共享进程数据：共享简单；同步复杂 各有优势 内存、CPU 占用内存多，切换复杂，CPU利用率低 占用内存少，切换简单，CPU利用率高 ...
多进程多线程协调爬虫实例。
最新发布
07-23
你可以使用多进程和多线程来协调爬虫任务。下面是一个简单的示例，展示了如何使用Python的multiprocessing和threading模块来实现： ```python import requests import multiprocessing import threading def crawl...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值