Python爬虫：获取菜价——线程池的使用

已于 2023-08-17 16:48:27 修改
阅读量775 收藏
点赞数
文章标签： python 爬虫 开发语言
于 2023-08-17 16:30:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73716246/article/details/132325186
版权

目录

一、发起请求+获取响应数据

二、处理数据

三、存储文件

四、上线程池获取所有数据

（一）循环执行

（二）上线程池

（三）对比时间

 五、代码

异步的逻辑：

1.获取单个页面的数据
2.上线程池，多个页面同时获取

一、发起请求+获取响应数据

        尝试对单个页面发起请求，然后使用for循环循环遍历每个页面，使用三个请求头的列表进行UA伪装随机发起请求

（我访问的网站并没有反爬，所以这一步跟随机休眠可以省略）

import requests
import random
def single_page(url):
    user_agent_list = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.200']

    head = {'user-agent': random.sample(user_agent_list, 1)[0]}

    parm={'limit': '20',
            'current': '1',
            'pubDateStartTime': '',
            'pubDateEndTime': '',
            'prodPcatid': '',
            'prodCatid': '',
            'prodName': ''}

    resp=requests.post(url,params=parm,headers=head).json()

        该网站发起 Post 请求返回的是 Json() 形式的数据，在网页查看比较清晰明了，是这样的结构：

二、处理数据

        直接得到了Json数据，就不需要用正则啥的想办法处理源码了，直接当做列表字典来处理，我们想要的数据在响应数据的 'list' 键里面，一页20个数据都以字典形式在 list 里

    for k in range(len(resp['list'])):
        print([resp['list'][k]['prodCat'],
              resp['list'][k]['prodName'],
              resp['list'][k]['lowPrice'],
              resp['list'][k]['highPrice'],
              resp['list'][k]['avgPrice'],
              resp['list'][k]['prodName'],
               resp['list'][k]['place'],
               resp['list'][k]['unitInfo'],
               resp['list'][k]['pubDate']])

        这里刚开始报错： k 是字典数据的位置索引，由于 list 里面存着一个20个字典的列表，通过对应键取值的时候，需要知道是哪个字典里的键

['蔬菜', '大白菜', '0.4', '0.6', '0.5', '大白菜', '冀', '斤', '2023-08-17 00:00:00']
['蔬菜', '娃娃菜', '0.7', '1.0', '0.85', '娃娃菜', '冀', '斤', '2023-08-17 00:00:00']
...
['蔬菜', '绿菜花', '1.4', '2.0', '1.7', '绿菜花', '冀', '斤', '2023-08-17 00:00:00']
['蔬菜', '绿豆芽', '0.95', '1.0', '0.98', '绿豆芽', '', '斤', '2023-08-17 00:00:00']

        补充：页面有如下这种数据，这里的 '袋\箱' 里的 '\' 号可能导致程序出错，所以有时候可能需要替换或删除（用 str.replace）

三、存储文件

        我将获得的数据写入csv文件（以下除了 import 写在定义任务的第一行）

        这里模式必须是 'a' 而不能是 'w'！！！因为 'w' 模式每次写入都会覆盖掉上一次的内容，无法获得全部数据

import csv

    data_table=open (r'C:\Users\yysc\Desktop\data_table.csv',mode='a',newline = '')
    csv_writer=csv.writer(data_table) 

    # 实例化一个writer，将一行行data数据写入data_table

         再在for循环里加上写入文件的操作

    for k in range(len(resp['list'])):
        data=[resp['list'][k]['prodCat'],
              resp['list'][k]['prodName'],
              resp['list'][k]['lowPrice'],
              resp['list'][k]['highPrice'],
              resp['list'][k]['avgPrice'],
              resp['list'][k]['prodName'],
               resp['list'][k]['place'],
               resp['list'][k]['unitInfo'],
               resp['list'][k]['pubDate']]
        csv_writer.writerow(data)
        # 一行行写入，writerows是一次写入多行，这里用writerows表格会变得非常混乱
    print('第'+parm['current']+'页提取完毕')

第1页提取完毕

        运行程序

if __name__ == '__main__':
    single_page(url='http://www.xinfadi.com.cn/getPriceData.html')

        成功获取了第一页的数据，我的目录是存在桌面的

        关于csv文件处理查看：

Python 使用csv库处理CSV文件_python csv库_一杯冰糖的博客-CSDN博客

四、上线程池获取所有数据

（一）循环执行

        每次换页面的时候网页 url 其实并没有改变，只是参数 current 改变了

         因此我将 parm 里面的 current 改为动态的，在每次发起请求时传入页面的参数，就能访问到不同页面了

def single_page(url,page):

    parm={'limit': '20',
            'current': page,    # 该参数决定页面
            'pubDateStartTime': '',
            'pubDateEndTime': '',
            'prodPcatid': '',
            'prodCatid': '',
            'prodName': ''}

        接下来循环执行程序，一共有25667页，则range(1,20668)，页面是从第一页开始的没有第0页，左闭右开，运行时记得关闭文件！！

if __name__ == '__main__':
    for i in range(1,10):
        single_page(url='http://www.xinfadi.com.cn/getPriceData.html',
                    page=str(i))
                    # 传入url及page参数

（二）上线程池

        提交任务给50个线程，submit的时候参数是通过逗号连接的

from concurrent.futures import ThreadPoolExecutor

if __name__ == '__main__':
    with ThreadPoolExecutor(50) as t:
        for i in range(1,100):
        t.submit(single_page,url='http://www.xinfadi.com.cn/getPriceData.html',page=str(i))

（三）对比时间

        使用 time.perf_counter() 可以通过开始、结束的时间计算程序运行的时间，看出效率的提升情况，看看前一百页提取情况

import time

if __name__ == '__main__':
    start_time_1=time.perf_counter()
    for i in range(1,100):
        single_page(url='http://www.xinfadi.com.cn/getPriceData.html',page=str(i))
    end_time_1=time.perf_counter()
    times_1=end_time_1-start_time_1

    print('Mission I All Finshed!!Spent '+str(times_1))

    # 加线程池
    start_time_2=time.perf_counter()
    with ThreadPoolExecutor(50) as t:
        for i in range(1,100):
            t.submit(single_page,url='http://www.xinfadi.com.cn/getPriceData.html',page=str(i))
    end_time_2=time.perf_counter()
    times_2=end_time_2-start_time_2

    print('Mission II All Finshed!!Spent '+str(times_2))
...
第99页提取完毕
Mission I All Finshed!!Spent 25.265385799999997

...
第90页提取完毕
Mission II All Finshed!!Spent 3.0848887000000005

         效率提升高了很多倍

        后续看到家线程池文件里面有些地方是混乱的，原因可能跟CPU本身的调度有关，是不过不是此次探究的侧重点，暂不理会

 五、代码

import requests
import random
import csv
import time
from concurrent.futures import ThreadPoolExecutor
def single_page(url,page):
    data_table = open(r'C:\Users\yysc\Desktop\data_table.csv', mode='a', newline='')
    csv_writer = csv.writer(data_table)  # 实例化一个writer，将一行行data数据写入data_table

    user_agent_list = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
                        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
                        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.200']
    head = {'user-agent': random.sample(user_agent_list, 1)[0],
            'Referrer Policy':'strict - origin - when - cross - origin'
    }
    parm={'limit': '20',
            'current': page,
            'pubDateStartTime': '',
            'pubDateEndTime': '',
            'prodPcatid': '',
            'prodCatid': '',
            'prodName': ''}

    resp=requests.post(url,params=parm,headers=head).json()

    for k in range(len(resp['list'])):
        data=[resp['list'][k]['prodCat'],resp['list'][k]['prodName'],resp['list'][k]['lowPrice'],resp['list'][k]['highPrice'],resp['list'][k]['avgPrice'],resp['list'][k]['prodName'],resp['list'][k]['place'],resp['list'][k]['unitInfo'],resp['list'][k]['pubDate']]
        csv_writer.writerow(data) # 一行行写入，writerows是一次写入多行
        print(data)
    print('第'+parm['current']+'页提取完毕')

    data_table.close()
pass


if __name__ == '__main__':
    start_time_1=time.perf_counter()
    for i in range(1,6):
        single_page(url='http://www.xinfadi.com.cn/getPriceData.html',page=str(i))
    end_time_1=time.perf_counter()
    times_1=end_time_1-start_time_1

    print('Mission I All Finshed!!Spent '+str(times_1))

    start_time_2=time.perf_counter()
    with ThreadPoolExecutor(50) as t:
        for i in range(1,100):
            t.submit(single_page,url='http://www.xinfadi.com.cn/getPriceData.html',page=str(i))
    end_time_2=time.perf_counter()
    times_2=end_time_2-start_time_2

    print('Mission II All Finshed!!Spent '+str(times_2))
带带琪宝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
使用Python编写网络爬虫获取在线菜市场的食材价格和供应商信息
2201_76125393的博客
07-19 202
网络爬虫是一种自动化程序，它可以浏览互联网并收集特定网页上的信息。在本篇博客中，我们将使用Python编写一个网络爬虫，来获取在线菜市场的食材价格和供应商信息。我们将使用Python的一些强大的库来实现这一目标，包括requests和。本篇博客介绍了如何使用Python编写网络爬虫来获取在线菜市场的食材价格和供应商信息。我们使用了requests库来发送HTTP请求并获取网页内容，使用库来解析HTML文档并提取所需的数据。
Python爬取食品商务网，获取各类食品价格以及涨跌趋势，一个三非渣本的Python校招秋招之路
2401_83621004的博客
03-21 663
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
基于网络爬虫的蔬菜价格信息检测分析系统，对蔬菜数据进行爬取、分析和可视化
05-13
使用Python利用网络爬虫工具在VIP蔬菜网站上近期的多种蔬菜价格和市场地区信息进行爬取，爬取到的信息导出csv文件里进行数据处理，然后存储到MySQL数据库中，最后搭建Flask框架，实现在web页面中的可视化展示 可查看说明文档
猪肉变贵了？通过爬虫程序爬取猪肉价格
这是仙草哥哥的博客
07-06 1583
通过爬虫程序，爬取猪肉的价格，足不出户，也能知晓市场变化哦
python之爬虫爬取VIP蔬菜网农产品价格行情（使用requests库 + HTML）
JAVA求生之路——博主406766467
02-06 2619
被爬取网站：http://www.vipveg.com/price/2017/baicai/m10d-1cta926by-1.html 爬取的时候只需要换链接即可，一个网站内通用 您目前所在位置：VIP蔬菜网首页 > 2017年蔬菜批发市场价格行情 > 2017年白菜价格行情 爬取代码： import requests #导入请求库 import datetime from lxml import etree #要请求的url url = "http://www.vipveg.com/pr
python-爬虫-爬取农产品批发价格中的蔬菜价格周数据
weixin_64729620的博客
09-14 1679
中华人民共和国农业农村部。
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫
Python爬虫实战：数据采集、处理与分析
12-18
Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据...
python爬虫案例获取歌曲.zip
03-24
python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲python爬虫案例获取歌曲...
不踩坑的Python爬虫：Python爬虫开发与项目实战，从爬虫入门 Python
03-21
为什么Python爬虫这么受欢迎呢？ 一方面，互联网可以获取的数据越来越多，另一方面，像 Python 这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。
python爬虫实现获取下一页代码
12-20
我们首先来看下实例代码： from time import sleep import faker import requests from lxml import etree fake = faker.Faker() ...def get_next_link(url): content = downloadHtml(url) ... if next_ur
python线程池抓取网页数据
qq_40460136的博客
10-23 361
因为最近朋友实验研究需要手动复制，粘贴www.chemsrc.com网页上的数据很繁琐，大致看了一下一共有4000多页，因此想到了用爬虫来爬取数据。有了这个想法便来考虑试试。
Pyhton爬取中国蔬菜网
kunkun的博客
07-05 428
通过Python代码对中国蔬菜网的蔬菜数据信息进行爬取，将爬取结果在Pycharm终端进行输出以及存储在csv文件中。
21. 实战：多线程+xpath抓取大量菜价信息（四种方法）
Vec_Kun的博客
01-08 324
我们学习了多线程、多进程对于提高效率的方法，我们现在就来尝试批量抓取之前尝试过的某菜价信息网站的大量菜价信息（链接放在评论区）目的用多线程批量抓取菜价信息思路1. 实现抓取单个页面的函数2. 创建线程池，批量执行上述函数3. 写入文件注：我将详细讲述多线程法，之后展示多进程法，并且数据解析方式会用bs4和xpath两种方法。
Python爬虫系列之多多买菜小程序数据爬取
热门推荐
Packager
10-25 1万+
Python爬虫系列之多多买菜小程序数据爬取 小程序爬虫接单、app爬虫接单、网页爬虫接单、接口定制、网站开发、小程序开发> 点击这里联系我们 < 微信请扫描下方二维码 代码仅供学习交流，请勿用于非法用途，如有侵犯请联系删除，代码仅供参考学习 直接上代码 # -*- coding:utf-8 -*- import requests import json import time from general import getAntiContent import random import
【第二章-3】Python爬虫教程（bs4模块、爬取新发地菜价&广州江南果菜批发市场菜价【前者数据不在html中，后者数据嵌入在html中】）
qq_43629945的博客
08-21 1458
bs4模块、爬取新发地菜价&广州江南果菜批发市场菜价【前者数据不在html中，后者数据嵌入在html中】
基于网络爬虫的蔬菜价格预测及可视化研究
qq_30271495的博客
11-10 768
本系统使用 Scrapy-redis 框架分布式集群和异步爬虫库(aiohttp asnico)对多个网站蔬菜数据(pc端 app端)进行爬取和清洗（大概1千万数据，包含7年的数据），保存到 Mysql 数据库。使用先知模型 Prophet 和差分整合移动平均自回归 ARIMA 的时序预测等模型对蔬菜价格进行预测并使用Echarts 对预测的蔬菜价格进行展示。通过 Flask 配合 Vue 全家桶实现前后端分离的蔬菜价格预测与可视化系统。
Python程序设计 循环结构（二）
最新发布
weixin_58063872的博客
03-28 1933
Python程序设计、循环结构、头歌实训平台、练习五、实验五、斐波那契数列、统计一段英文语句中的单词数和句子数、密码判断、通过数列求自然常数e、双倍余额递减法计算固定资产折旧、销售统计、投资年限计算、诗人作品统计、python圆周率计算、银行利息计算、模体motify查找、苹果问题、韩信点兵、电商促销循环计算、分解质因数、银行信息查询、区县信息查询、输入诗人姓名，显示该诗人所写的诗的标题，以及作品数、部分序列在不同基因组中共有，这种序列我们称为Motif。斐波那契曾提出过如下的“苹果问题
python table数据抓取_Python爬虫：数据抓取工具及类库详解
06-09
Python爬虫是一种自动化获取网页内容的方法，是数据挖掘与数据分析的重要工具之一。在Python爬虫中，数据抓取是一个重要的环节。为了实现数据抓取，我们需要使用一些Python类库或工具，例如requests、beautifulsoup...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

带带琪宝

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值