21. 实战：多线程+xpath抓取大量菜价信息（四种方法）

已于 2023-01-18 01:28:36 修改
阅读量324 收藏 6
点赞数 4
分类专栏： Python爬虫入门、进阶与实战 文章标签： 爬虫 python 数据分析
于 2023-01-08 14:29:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59180666/article/details/128600206
版权

目录

前言

目的

思路

代码实现（多线程+xpath）

1. 抓取单个页面

2. 创建线程池

3. 保存到文件

运行效果

完整代码

举一反三

多进程+xpath

多线程+bs4

多进程+bs4

总结

前言

我们学习了多线程、多进程对于提高效率的方法，我们现在就来尝试批量抓取之前尝试过的某菜价信息网站的大量菜价信息（链接放在评论区）

目的

用多线程批量抓取菜价信息

思路

1. 实现抓取单个页面的函数

2. 创建线程池，批量执行上述函数

3. 写入文件

注：我将详细讲述多线程法，之后展示多进程法，并且数据解析方式会用bs4和xpath两种方法。

代码实现（多线程+xpath）

1. 抓取单个页面

还是检查元素复制xpath，具体参考xpath实例参考文档 ，这里就不赘述了

def download_one_page(url):
    # 拿到页面源代码
    resp = requests.get(url, headers=ua)
    html = etree.HTML(resp.text)
    table_body = html.xpath("/html/body/div/div[4]/div/div[2]/div[2]/table/tbody")[0]
    # trs = table_body.xpath("./tr")
    trs = table_body.xpath("./tr")
    # 拿到每个tr
    for tr in trs:
        txt = tr.xpath("./td/text()")
        # print(txt)
        # 把数据存放在文件中
        csvwriter.writerow(txt)
    print(url, "提取完毕!")

2. 创建线程池

线程池等相关知识参照线程池与进程池

if __name__ == '__main__':
    # for i in range(1, 1145):  # 效率及其低下
    #   download_one_page(f"http://“见评论区”/import/list-1_{i}.html")

    # 创建线程池
    with ThreadPoolExecutor(50) as t:
        for i in range(1, 200):
            # 把下载任务提交给线程池
            t.submit(download_one_page, f"http://“见评论区”/import/list-1_{i}.html")
    f.close()
    print("全部下载完毕!")

这里我就只爬200页，想爬更多的话就改数据。

3. 保存到文件

f = open("4_price_data.csv", mode="w", encoding="utf-8", newline="")
csvwriter = csv.writer(f)

运行效果

可以看到提取速度还是特别快的！

完整代码

# 1. 如何提取单个页面的数据
# 2. 上线程池,多个页面同时抓取
import requests
from lxml import etree
import csv
from concurrent.futures import ThreadPoolExecutor

f = open("4_price_data.csv", mode="w", encoding="utf-8", newline="")
csvwriter = csv.writer(f)

ua = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54"
}


def download_one_page(url):
    # 拿到页面源代码
    resp = requests.get(url, headers=ua)
    html = etree.HTML(resp.text)
    table_body = html.xpath("/html/body/div/div[4]/div/div[2]/div[2]/table/tbody")[0]
    # trs = table_body.xpath("./tr")
    trs = table_body.xpath("./tr")
    # 拿到每个tr
    for tr in trs:
        txt = tr.xpath("./td/text()")
        # print(txt)
        # 把数据存放在文件中
        csvwriter.writerow(txt)
    print(url, "提取完毕!")


if __name__ == '__main__':
    # for i in range(1, 1145):  # 效率及其低下
    #   download_one_page(f"http://“见评论区”/import/list-1_1.html")

    # 创建线程池
    with ThreadPoolExecutor(50) as t:
        for i in range(1, 200):
            # 把下载任务提交给线程池
            t.submit(download_one_page, f"http://“见评论区”/import/list-1_{i}.html")
    f.close()
    print("全部下载完毕!")

举一反三

多进程+xpath

# 1. 如何提取单个页面的数据
# 2. 上线程池,多个页面同时抓取
import requests
from lxml import etree
import csv
from concurrent.futures import ProcessPoolExecutor

f = open("4_price_data.csv", mode="w", encoding="utf-8", newline="")
csvwriter = csv.writer(f)

ua = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54"
}


def download_one_page(url):
    # 拿到页面源代码
    resp = requests.get(url, headers=ua)
    html = etree.HTML(resp.text)
    table_body = html.xpath("/html/body/div/div[4]/div/div[2]/div[2]/table/tbody")[0]
    # trs = table_body.xpath("./tr")
    trs = table_body.xpath("./tr")
    # 拿到每个tr
    for tr in trs:
        txt = tr.xpath("./td/text()")
        # print(txt)
        # 把数据存放在文件中
        csvwriter.writerow(txt)
    print(url, "提取完毕!")


if __name__ == '__main__':
    # for i in range(1, 1145):  # 效率及其低下
    #   download_one_page(f"http://“见评论区”/import/list-1_1.html")

    # 创建线程池
    with ProcessPoolExecutor(50) as t:
        for i in range(1, 200):
            # 把下载任务提交给线程池
            t.submit(download_one_page, f"http://“见评论区”/import/list-1_{i}.html")
    f.close()
    print("全部下载完毕!")

多线程+bs4

# 1. 如何提取单个页面的数据
# 2. 上线程池,多个页面同时抓取
import requests
from bs4 import BeautifulSoup
import csv
from concurrent.futures import ThreadPoolExecutor

f = open("4_price_data.csv", mode="w", encoding="utf-8", newline="")
csvwriter = csv.writer(f)

ua = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54"
}


def download_one_page(url):
    # 使用bs4解析数据（两步）
    # 1. 生成bs对象
    resp = requests.get(url)
    page = BeautifulSoup(resp.text, "html.parser")  # 指定html解析器

    # 2. 从bs对象中查找数据
    # find(标签, 属性=值)：找第一个
    # find_all(标签, 属性=值)：找全部

    # table = page.find("table",class_="price-table")     # class是python中的关键字，加_以示区别
    # 另一种写法：
    table = page.find("table", attrs={"class": "price-table"})  # 和上一行是一个意思，此时可以避免class
    # print(table)

    # 不想要列名那一行（表头），只想要底下的数据，即拿到所有数据行
    trs = table.find_all("tr")[1:]  # tr是行的意思
    for tr in trs:  # 每一行
        tds = tr.find_all("td")  # td表示单元格。拿到每行中的所有td
        # print(tds[0])
        # 名字、产地、均价（元/公斤）、规格、日期
        name = tds[0].text  # .text表示拿到被标签标记的内容
        place = tds[1].text
        avg_price = tds[2].text
        spec = tds[3].text
        date = tds[4].text
        # print(name,place,avg_price,spec,date)

        csvwriter.writerow([name, place, avg_price, spec, date])
    print(url, "提取完毕!")


if __name__ == '__main__':
    # for i in range(1, 1145):  # 效率及其低下
    #   download_one_page(f"http://“见评论区”/import/list-1_1.html")

    # 创建线程池
    with ThreadPoolExecutor(50) as t:
        for i in range(1, 200):
            # 把下载任务提交给线程池
            t.submit(download_one_page, f"http://“见评论区”/import/list-1_{i}.html")
    f.close()
    print("全部下载完毕!")

多进程+bs4

# 1. 如何提取单个页面的数据
# 2. 上线程池,多个页面同时抓取
import requests
from bs4 import BeautifulSoup
import csv
from concurrent.futures import ProcessPoolExecutor

f = open("4_price_data.csv", mode="w", encoding="utf-8", newline="")
csvwriter = csv.writer(f)

ua = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54"
}


def download_one_page(url):
    # 使用bs4解析数据（两步）
    # 1. 生成bs对象
    resp = requests.get(url)
    page = BeautifulSoup(resp.text, "html.parser")  # 指定html解析器

    # 2. 从bs对象中查找数据
    # find(标签, 属性=值)：找第一个
    # find_all(标签, 属性=值)：找全部

    # table = page.find("table",class_="price-table")     # class是python中的关键字，加_以示区别
    # 另一种写法：
    table = page.find("table", attrs={"class": "price-table"})  # 和上一行是一个意思，此时可以避免class
    # print(table)

    # 不想要列名那一行（表头），只想要底下的数据，即拿到所有数据行
    trs = table.find_all("tr")[1:]  # tr是行的意思
    for tr in trs:  # 每一行
        tds = tr.find_all("td")  # td表示单元格。拿到每行中的所有td
        # print(tds[0])
        # 名字、产地、均价（元/公斤）、规格、日期
        name = tds[0].text  # .text表示拿到被标签标记的内容
        place = tds[1].text
        avg_price = tds[2].text
        spec = tds[3].text
        date = tds[4].text
        # print(name,place,avg_price,spec,date)

        csvwriter.writerow([name, place, avg_price, spec, date])
    print(url, "提取完毕!")


if __name__ == '__main__':
    # for i in range(1, 1145):  # 效率及其低下
    #   download_one_page(f"http://“见评论区”/import/list-1_1.html")

    # 创建线程池
    with ProcessPoolExecutor(50) as t:
        for i in range(1, 200):
            # 把下载任务提交给线程池
            t.submit(download_one_page, f"http://“见评论区”/import/list-1_{i}.html")
    f.close()
    print("全部下载完毕!")

总结

我们今天通过实战批量获取了某网站大量的菜价信息，实践了bs4、xpath、线程池、进程池的应用。访问的网站见评论区！！！

Vec_Kun
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
基于网络爬虫的蔬菜价格信息检测分析系统，对蔬菜数据进行爬取、分析和可视化
05-13
使用Python利用网络爬虫工具在VIP蔬菜网站上近期的多种蔬菜价格和市场地区信息进行爬取，爬取到的信息导出csv文件里进行数据处理，然后存储到MySQL数据库中，最后搭建Flask框架，实现在web页面中的可视化展示 可查看说明文档
爬取北京新发地蔬菜价格
Stillboring的博客
12-30 921
北京新发地 # -*- coding:utf-8 -*- #@Time : 2021/12/30 11:25 #@Author : dogge #@File :test.py #@software:PyCharm import requests import csv class vegatable_data: def __init__(self): self.url = 'http://www.xinfadi.com.cn/getPriceData.html' .
2.4 爬取新发地菜价
weixin_45622770的博客
07-28 516
页面源代码获取不到我们想要的数据，利用抓包工具刷新，preview寻找想要的json数据，然后通过headers找到url。注意，这里我们要用post请求，翻页观察到headers里data中参数的变化，由此我们进行for循环爬取多页数据。 #爬取多页 import requests import csv url = "http://www.xinfadi.com.cn/getPriceData.html" f = open("菜价100.csv",mode = "w",newline = "", en
3个字母，抓取4943条数据，超实用的XPath爬虫工具教学！
大模型研究中心
10-05 338
XPath 是一门在 XML 文档中查找信息的语言。而XML是一种结构化的编程语言，如果不理解也没关系。你只需要知道，
python之爬虫爬取VIP蔬菜网农产品价格行情（使用requests库 + HTML）
JAVA求生之路——博主406766467
02-06 2618
被爬取网站：http://www.vipveg.com/price/2017/baicai/m10d-1cta926by-1.html 爬取的时候只需要换链接即可，一个网站内通用 您目前所在位置：VIP蔬菜网首页 > 2017年蔬菜批发市场价格行情 > 2017年白菜价格行情 爬取代码： import requests #导入请求库 import datetime from lxml import etree #要请求的url url = "http://www.vipveg.com/pr
python网络爬虫——爬取新发地农产品数据
weixin_66547608的博客
10-30 1269
这段代码是一个爬取新发地蔬菜价格信息的程序，它使用了多线程来加快数据获取和解析的速度。具体的步骤如下： 导入所需的库：json、requests、threading和pandas。 初始化一些变量，包括页数、商品总列表以及存放json数据的列表。 定义了一个函数url_parse()，用于发送请求并解析网页数据。函数使用requests.post()方法发送POST请求，获取商品信息，并将其保存到jsons列表中。 定义了一个函数json_parse()，用于解析json数据并将商品信息保存到商品总列表c
python-爬虫-爬取农产品批发价格中的蔬菜价格周数据
weixin_64729620的博客
09-14 1679
中华人民共和国农业农村部。
《python3网络爬虫开发实战》学习笔记：：selenium——xpath：Unable to locate element
01-08
由于是js加载页面，想确认是否是js的原因，随后进行多次调试时发现“//div”竟然也出现了selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element: //div或者是【】： 这种定位...
项目实战：多线程网络爬虫与Elasticsearch新闻搜索引擎.zip
03-08
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
kantan.xpath:Scala的XPath包装器
05-06
kantan.xpath 我发现自己不得不定期抓取网站，而且Scala总是使整个过程变得比实际需要更加痛苦-我想，标准XML API可以，但是缺少XPath支持（或实际上可用的类似XPath的东西） DSL）令人沮丧。 kantan.xpath是Java ...
基于python的高性能爬虫程序，使用了多线程+缓存+xpath实现的，这里以彼-岸图库为例，实现，仅用于学习交流
04-27
本程序是一套基于Python语言开发的高性能网络爬虫，其核心架构采用了多线程技术、缓存机制以及XPath解析器。该爬虫的设计理念和实现方法以彼岸图库为具体应用场景，但并不局限于此。 在多线程技术的加持下，该程序...
xpath2.js:xpath.js-JavaScript中的开源XPath 2.0实现（与DOM无关）
05-02
xpath2.js-XPath 2查询语言的纯JavaScript实现关于xpath2.js是JavaScript中与DOM无关的开源实现。 执行引擎使用规范规定的XML Schema 1.1数据类型进行操作。特征全面的语言支持通过自定义DOMAdapter使用XPath 2.0...
Pyhton爬取中国蔬菜网
kunkun的博客
07-05 426
通过Python代码对中国蔬菜网的蔬菜数据信息进行爬取，将爬取结果在Pycharm终端进行输出以及存储在csv文件中。
基于网络爬虫的蔬菜价格预测及可视化研究
qq_30271495的博客
11-10 766
本系统使用 Scrapy-redis 框架分布式集群和异步爬虫库(aiohttp asnico)对多个网站蔬菜数据(pc端 app端)进行爬取和清洗（大概1千万数据，包含7年的数据），保存到 Mysql 数据库。使用先知模型 Prophet 和差分整合移动平均自回归 ARIMA 的时序预测等模型对蔬菜价格进行预测并使用Echarts 对预测的蔬菜价格进行展示。通过 Flask 配合 Vue 全家桶实现前后端分离的蔬菜价格预测与可视化系统。
Python爬虫：获取菜价——线程池的使用
m0_73716246的博客
08-17 775
异步的逻辑：1.获取单个页面的数据2.上线程池，多个页面同时获取。
Python爬虫系列之多多买菜小程序数据爬取
热门推荐
Packager
10-25 1万+
Python爬虫系列之多多买菜小程序数据爬取 小程序爬虫接单、app爬虫接单、网页爬虫接单、接口定制、网站开发、小程序开发> 点击这里联系我们 < 微信请扫描下方二维码 代码仅供学习交流，请勿用于非法用途，如有侵犯请联系删除，代码仅供参考学习 直接上代码 # -*- coding:utf-8 -*- import requests import json import time from general import getAntiContent import random import
使用Python编写网络爬虫获取在线菜市场的食材价格和供应商信息
2201_76125393的博客
07-19 202
网络爬虫是一种自动化程序，它可以浏览互联网并收集特定网页上的信息。在本篇博客中，我们将使用Python编写一个网络爬虫，来获取在线菜市场的食材价格和供应商信息。我们将使用Python的一些强大的库来实现这一目标，包括requests和。本篇博客介绍了如何使用Python编写网络爬虫来获取在线菜市场的食材价格和供应商信息。我们使用了requests库来发送HTTP请求并获取网页内容，使用库来解析HTML文档并提取所需的数据。
【第二章-3】Python爬虫教程（bs4模块、爬取新发地菜价&广州江南果菜批发市场菜价【前者数据不在html中，后者数据嵌入在html中】）
qq_43629945的博客
08-21 1458
bs4模块、爬取新发地菜价&广州江南果菜批发市场菜价【前者数据不在html中，后者数据嵌入在html中】
【0基础学爬虫】爬虫基础之自动化工具 DrissionPage 的使用
最新发布
K哥爬虫
06-11 1321
前三期文章中已经介绍到了 Selenium 与 Playwright 、Pyppeteer 的使用方法，它们的功能都非常强大。而本期要讲的 DrissionPage 更为独特，强大，而且使用更为方便，目前检测少，强烈推荐！！！这里推荐观看十一姐 B 站 DrissionPage 系列视频，很详细：合集·爬虫自动化 DrissionPage 实战案例：DrissionPage 相关资料：官方文档：https://www.drissionpage.cn。
爬取图片保存图片多线程代码
03-25
好的，以下是一个 Python 爬取图片并多线程保存的代码示例： ``` import requests from lxml import html import os import urllib from multiprocessing.pool import ThreadPool # 创建一个线程池 pool = ThreadPool(10) # 爬取图片并保存的函数 def download_image(url): response = requests.get(url) filename = os.path.basename(url) with open(filename, 'wb') as f: f.write(response.content) print(f'{url} downloaded.') # 爬取图片的函数 def crawl_images(url): response = requests.get(url) tree = html.fromstring(response.content) links = tree.xpath('//img/@src') for link in links: if 'http' not in link: link = urllib.parse.urljoin(response.url, link) pool.apply_async(download_image, args=[link]) # 调用爬取图片的函数 crawl_images('https://unsplash.com/search/photos') ``` 这段代码可以在一个网页中爬取所有图片的链接，并使用 10 个线程同时下载保存图片。请注意，下载的图片将保存在当前目录下，并以链接中的文件名作为文件名。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Vec_Kun

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值