如何使用 Playwright 和 Browserless 抓取 Yandex 图片搜索结果？

最新推荐文章于 2025-03-21 08:04:26 发布
最新推荐文章于 2025-03-21 08:04:26 发布
阅读量1.9k 收藏 26
点赞数 29
文章标签： 1024程序员节 爬虫 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wellshake/article/details/143225843
版权

什么是 Yandex？

Yandex 是一家总部位于俄罗斯的跨国公司，以其搜索引擎而闻名，该搜索引擎是俄罗斯最大的搜索引擎之一。除了搜索功能外，Yandex 还提供一系列服务。此外，Yandex 还提供 Yandex 图片搜索，允许您使用关键字查找照片。

Yandex 图片搜索的结果与 Google 和 Bing 的结果略有不同。Yandex 图片搜索还支持多种过滤器，包括大小、方向、类型、颜色、格式、最新和壁纸。

数千张照片可以被抓取用于各种目的，包括营销、品牌、研究、教学和创意。

抓取 Yandex 非常困难！

Yandex 采用了先进的反机器人措施，旨在检测和阻止自动请求。这包括实施 CAPTCHA 和严格的 IP 速率限制，这可能会阻碍抓取工作。

许多 Yandex 页面包含通过 JavaScript 加载的动态内容。这意味着简单的抓取技术可能无法捕获所有相关信息，因此需要使用更复杂的工具，例如无头浏览器。

此外，Yandex 经常更新其算法和页面结构。这种不断的发展会导致抓取脚本失效，需要定期维护和调整。

在抓取时，需要考虑法律因素，因为抓取可能违反 Yandex 的服务条款，可能会给用户带来法律后果。

Yandex 上提供的海量数据意味着高效的数据处理至关重要，这为抓取过程增加了另一层复杂性。

这些因素综合起来使抓取 Yandex 成为一项具有挑战性的工作，需要仔细的计划和执行。

为什么 Browserless 非常适合抓取 Yandex 图片搜索？

Nstbrowser 的 Browserless 是一种典型的无头 Chrome 云服务，可以在没有图形用户界面的情况下运行在线应用程序和自动化脚本。对于 Web 抓取和其他自动化操作等任务，它特别有用。

Nstbrowser 将反检测、Web 解锁和无头功能集成到 Browserless 中。 Browserless 完全免费测试。

您对 Web 抓取和 Browserless 有任何绝妙的想法或疑问吗？
让我们看看其他开发人员在 Discord 上分享了什么！

如何抓取 Yandex 图片搜索结果？

环境预设

首先，我们应该准备我们的 Browserless 服务。Browserless 可以帮助解决复杂的 Web 抓取和大型自动化任务，并实现了完全托管的云部署。

  1. Browserless 采用浏览器为中心的解决方案，提供强大的无头部署功能，并提供更高的可靠性和速度。
  2. 转到 Nstbrowser 客户端的 Browserless 菜单页面以获取 API 密钥。

确定抓取目标

就像之前一样，请跟随我们首先确定抓取目标。

让我们使用 Playwright 并将其与 Nstbrowser 的 Browserless 服务结合起来，在搜索关键字“猫”时抓取顶部图像。

我们需要的数据包括：“图片地址”、“图片摘要”、“图片宽度”和“图片高度”，并将结果保存到 CSV 文件中。

使用 Nstbrowser Browserless 服务开始抓取

按照以下步骤创建项目并开始抓取：

第 1 步. 构建 main.py 文件和新的 Python 项目。
第 2 步. 使用 Nstbrowser 的 Browserless 创建浏览器实例。
from playwright.sync_api import sync_playwright

token = "You API token" # required
config = {
    "proxy": "", # required; input format: schema://user:password@host:port eg: http://user:password@localhost:8080
    # "platform": "windows",  # support: windows, mac, linux
    # "kernel": "chromium",  # only support: chromium
    # "kernelMilestone": "124",  # support: 113, 120, 124
    # "args": {
    #     "--proxy-bypass-list": "detect.nstbrowser.io"
    # },  # browser args
    # "fingerprint": {
    #     "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36",
    # },
}

query = urlencode({
    "token": token,
    "config": json.dumps(config)
})

browser_ws_endpoint = f"ws://less.nstbrowser.io/connect?{query}"

def get_browser():
    playwright = sync_playwright().start()
    return playwright.chromium.connect_over_cdp(browser_ws_endpoint)
第 3 步. 获取图片数据并清理数据
  • 定义抓取目标网站地址：
target_website_url = "https://yandex.com/images/search?family=yes&from=tabbar&text=cats"
  • 在这里，Playwright 使用 page.goto 方法来帮助打开目标网页。

此步骤是为了确保浏览器能够正确加载页面并等待网页的 DOM 内容完全加载。

page.goto(url, timeout=60000, wait_until="domcontentloaded")
  • 接下来，我们需要找到页面上所有具有 data-state 属性的元素，并尝试找到目标元素（包含图像数据的元素）。

此步骤使用 query_selector_all 方法获取这些元素，并通过 get_attribute("id") 和 get_attribute("data-state") 定位包含图像信息的元素。

data_states = page.query_selector_all("[data-state]")
images_app = None
for data_state in data_states:
    if "ImagesApp" in data_state.get_attribute("id"):
        images_app = data_state.get_attribute("data-state")
        break
  • 获取目标元素后，代码调用 get_image_results 函数。

此函数解析目标元素 data-state 属性中的 JSON 数据，并提取图像信息。

def get_image_results(images_app):
    images_app_obj = json.loads(images_app)
    images_lists = images_app_obj['initialState']["serpList"]["items"]["entities"]
    imgs = []
    for key in images_lists:
        img = images_lists[key]
        imgs.append({
            "url": img["url"],
            "alt": img["alt"],
            "width": img["width"],
            "height": img["height"],
        })

    return imgs
第 4 步. 保存抓取结果并将其导出到 CSV 文件

在保存数据之前，需要定义 CSV 文件的标题。这里定义了四个字段：URL、Alt、Width 和 Height。这些字段代表每个图像的基本属性。使用 open() 函数以写入模式 ('w') 打开名为 yandex_images.csv 的文件。同时，将编码格式指定为 UTF-8，并设置 newline='' 以避免写入时出现空行。

def save_csv(data):
    try:
        header = ["URL", "Alt", "Width", "Height"]
        with open('yandex_images.csv', 'w', encoding='UTF8', newline='') as f:
            writer = csv.writer(f)
            writer.writerow(header)
            for item in data:
                writer.writerow(
                    [
                        item["url"],
                        item["alt"],
                        item["width"],
                        item["height"],
                    ])
        print("Saved to yandex_images.csv")
    except Exception as e:
        print(e)
整段代码
import json
import csv
from urllib.parse import urlencode

from playwright.sync_api import sync_playwright

token = ""  # required
config = {
    "proxy": "", # required; input format: schema://user:password@host:port eg: http://user:password@localhost:8080
    # "platform": "windows",  # support: windows, mac, linux
    # "kernel": "chromium",  # only support: chromium
    # "kernelMilestone": "124",  # support: 113, 120, 124
    # "args": {
    #     "--proxy-bypass-list": "detect.nstbrowser.io"
    # },  # browser args
    # "fingerprint": {
    #     "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.6613.85 Safari/537.36",
    # },
}

query = urlencode({
    "token": token,
    "config": json.dumps(config)
})

browser_ws_endpoint = f"ws://less.nstbrowser.io/connect?{query}"
target_website_url = "https://yandex.com/images/search?family=yes&from=tabbar&text=cats"


def get_browser():
    playwright = sync_playwright().start()
    return playwright.chromium.connect_over_cdp(browser_ws_endpoint)


def get_image_results(images_app):
    try:
        images_app_obj = json.loads(images_app)
        images_lists = images_app_obj['initialState']["serpList"]["items"]["entities"]
        imgs = []
        for key in images_lists:
            img = images_lists[key]
            imgs.append({
                "url": img["url"],
                "alt": img["alt"],
                "width": img["width"],
                "height": img["height"],
            })

        return imgs

    except Exception as e:
        print(e)


def get_tar(url, page):
    try:
        print("Open page: " + url)
        page.goto(url, timeout=60000, wait_until="domcontentloaded")
        data_states = page.query_selector_all("[data-state]")
        images_app = None
        results = []
        for data_state in data_states:
            if "ImagesApp" in data_state.get_attribute("id"):
                images_app = data_state.get_attribute("data-state")
                break

        if images_app is None:
            print("Cannot find the target element")
        else:
            print("Found the target element")
            results = get_image_results(images_app)

        return results
    except Exception as e:
        print(e)


def save_csv(data):
    try:
        header = ["URL", "Alt", "Width", "Height"]
        with open('yandex_images.csv', 'w', encoding='UTF8', newline='') as f:
            writer = csv.writer(f)
            writer.writerow(header)
            for item in data:
                writer.writerow(
                    [
                        item["url"],
                        item["alt"],
                        item["width"],
                        item["height"],
                    ])
        print("Saved to yandex_images.csv")
    except Exception as e:
        print(e)


def main():
    try:
        with get_browser() as browser:
            page = browser.new_page()
            res = get_tar(target_website_url, page)
            if len(res) == 0:
                print("No results")
            else:
                save_csv(res)
            browser.close()
    except Exception as e:
        print(e)


if __name__ == "__main__":
    main()

抓取结果

总结

正如大家所知，抓取 Yandex 图片搜索很困难。但是，如果您按照本文中的抓取说明并利用提供的 Python 代码，您可以轻松地抓取 Yandex 搜索结果以获得任何选定的词语，并将数据导出到 CSV 或 JSON 文件中。

您可以使用 Browserless 轻松地大规模抓取 Yandex SERP。现在，使用 Browserless 完全免费。不要错过这个绝佳的机会！

wellshake
关注
使用 Playwright 自动化抓取现代网站：Python 爬虫技术全面解析
2201_76125261的博客
04-04 1349
Playwright 是由 Microsoft 开发的一个用于浏览器自动化的开源工具，能够在不同的浏览器（Chrome、Firefox、WebKit）上执行自动化任务。它为现代网站抓取和测试提供了丰富的功能，特别适用于需要 JavaScript 渲染和动态内容加载的网页。与 Selenium 等工具相比，Playwright 提供了更快速、更稳定的自动化操作。本文介绍了如何使用 Playwright 在 Python 中抓取现代网站，特别是单页应用（SPA）的数据。
一文掌握 Playwright 的详细使用
数据知道的博客
02-25 4323
Playwright 是一个功能强大的浏览器自动化工具，适用于网页自动化测试、数据抓取和网页交互。通过掌握其基础用法和高级功能，你可以轻松实现各种浏览器自动化任务。Playwright 支持多浏览器、多语言，并且具有高效的异步操作能力，是现代浏览器自动化的首选工具之一。
这应该是「以图搜图」最全教程了，能帮你找到 90% 的图片出处
PeterJXL的博客
03-03 8081
之前说过会写一篇图片搜索的专题文章，现在它来了 😉 本文会介绍不少关于图片搜索的一些网站、技巧、工具等，还有一些我个人的经验，相信能帮到你。
用playwright爬取头条图片
X0755的博客
04-10 460
用playwright结合多线程爬取头条图片
使用Browserless进行无头浏览器自动化
最新发布
bBADAS的博客
03-21 286
Browserless是一项云服务，允许用户在无需管理自己硬件基础设施的情况下运行无头Chrome实例。这对于需要大规模并发执行的任务，如网页抓取、自动化测试和网络爬虫等，提供了便利和强大的支持。
playwright图片爬取到本地
以昨日如初的博客
07-14 948
【代码】playwright图片爬取到本地。
无头浏览器的另类用法
ahao' Blog
07-23 1230
无头浏览器就是没有 UI 界面的浏览器。无头浏览器常用在自动化测试(Automation)，页面爬虫等场景。主要可以模拟用户真实的点击。是无头的谷歌浏览器。
[深入解析Browserless：在云端轻松实现浏览器自动化]
asdfujhgy的博客
12-14 377
Browserless 为开发者提供了强大的工具来实现浏览器自动化，无需担心基础设施管理。通过本文的指南，你应该能够开始使用 Browserless 并实现自己的自动化任务。Browserless 官方文档LangChain 的 GitHub 仓库。
Browserless：简化无头浏览器操作的开源利器
gitblog_00028的博客
09-25 1216
Browserless：简化无头浏览器操作的开源利器 browserless The browserless service in Docker. Run on our cloud or bring your own. 项目地址:...
python如何使用Playwright库有效地抓取京东网站上的数据？
10-21
在Python中，使用Playwright库高效地抓取京东网站的数据，首先需要安装`playwright`库。你可以通过pip来安装： ```bash pip install playwright ``` Playwright是一个跨平台的自动化测试库，支持Chrome、Firefox和...
如何使用Playwright库有效地抓取京东网站上的数据？
10-21
使用Playwright库（由Mozilla开发的一个自动化测试工具集，支持浏览器渲染）来抓取京东网站的数据，你可以按照以下步骤操作： 1. **安装Playwright**：首先，确保已经安装了Node.js环境，然后通过npm安装Playwright...
browserless:在操纵up的顶部的浏览器驱动程序，可用于生产场景
04-21
Node.js的Headless Chrom [e | ium]驱动程序。 无浏览器是建立在顶部的无头Chrome/Chrome驱动，创建以处理资源高效且满足最期望生产方案。 强调 类似于Puppeteer的API，可用于常见任务（，， ， ）。 第三方自动请求通过取消。 简单的集成。 可配置的支持。 安装 您可以通过npm安装它： $ npm install browserless puppeteer --save browserless具有类似puppeteer的API，并且在后台使用puppeteer 。 您可以将其与 ， 或puppeteer-firefox互换使用。 用法 无浏览器也有同样的API比操纵木偶的人： const browserless = require ( 'browserless' ) ( ) const termImg = require
playwright抓取所有歌手的头像
11-29
当我们想抓取所有歌手头像这一特定数据时，使用Playwright可以高效完成任务。实现这一目标的过程大致可以分为以下几个步骤： 首先，需要安装Playwright及其对应的Python包。Playwright支持多种浏览器，包括Chromium...
新一代的自动化测试利器？puppeteer生态一览
08-03 526
总的来说，开发者对于puppeteer的热情还是很高的，而且puppeteer的更新频率很快，整体生态环境是健康和谐的。对于大多数同学来说，只需要简单的理解，puppeteer可以实现。
探索Browserless：在云端进行无头浏览器自动化
ahdfwcevnhrtds的博客
11-11 503
Browserless是一种云服务，允许用户通过API调用的方式在云端运行无头Chrome浏览器。这对于需要进行大规模Web数据抓取、自动化测试、网页截图等操作的开发者来说非常有帮助。你可以利用Browserless轻松管理多个浏览器实例，而无需处理服务器的配置和维护。利用Browserless进行云端无头浏览器自动化非常简单，但也需注意网络访问和API调用等实际问题。Browserless官方文档Langchain Community文档加载器指南。
python爬虫爬取图片速度提升
weixin_63583875的博客
11-04 643
Python爬虫提速
如何在 Ubuntu 22.04 上使用 Browserless？
wellshake的博客
09-26 907
Ubuntu 22.04 是每个开发者的强大系统！它如何与 Browserless 配合使用？您将在本精彩博文中找到所有细节。
当Yandex搜索资源遇到DLL文件缺失，这些方法帮你解决
leleshengh520的博客
10-04 633
当您使用Yandex浏览器或其他基于Yandex的服务时遇到“丢失DLL文件”的错误提示，这通常意味着某个必要的动态链接库(DLL)文件未被正确安装或已损坏。将下载得到的DLL文件放置在正确的目录下，通常是C:\Windows\System32或者C:\Windows\SysWOW64对于64位系统。访问微软官方网站，下载并安装适用于您的系统的Visual C++ Redistributable包。如果你知道具体的DLL文件名，可以从可信赖的网站上找到并下载该文件。卸载当前版本的Yandex浏览器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值