基于Playwright+Asyncio爬取携程网的机票数据

已于 2023-08-08 16:51:00 修改
阅读量1.3k 收藏
点赞数
文章标签： python
于 2023-08-03 17:43:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43783497/article/details/132088143
版权

本项目基于Playwright+Asyncio实现对携程网的机票数据的爬取。

基本流程

1、Playwright启动浏览器，打开携程网机票数据页面。
2、启用回调函数监听后台返回的机票数据。
3、对机票航班数据进行处理、校验.
4、使用Peewee进行数据建模，生成 Mysql 数据表，数据写入数据库.

目录结构

在这里插入图片描述

启动项目

1、配置

创建 Mysql 数据库，数据库名为 ctriptravles

修改项目中 settings/settings.yaml 的 Mysql 用户密码配置

settings/settings.yaml中的threadNum可以配置并发的数量。

2、启动

1、将CtripTravels.py文件中的__EXECUTABLE_PATH__ 修改为本机google客户端exe的路径。

2、运行function.nextRoute.py的createRoute()函数，生成路线文件。

3、运行main.py文件，即可启动爬虫。

3、注意事项

1、携程网的反爬机制比较强，如果你不用代理，那你的IP很快就会被封，所有路线都会提示无法查询了。
建议配置settings下的proxy.json文件，填写你自己的代理。

2、如果配置了代理文件，记得要把CtripTravels.py文件中的pw.chromium.launch中的proxy参数注释去掉。

3、由于生成的路线文件开头那几个路线的起点终点不太热门，航班比较少，你可以仿照步骤2.2生成的文件数据格式，先添加几个热门城市试试。

结果数据库

1 航班表

航班数据

2 价格表

在这里插入图片描述

3 中转表

在这里插入图片描述

项目地址

微信公众号回复：携程机票
即可获得（真没套路，回复就给）
公众号：Thoth Lee
请添加图片描述

Thoth Lee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫实战：航班和机票信息抓取与分析
sybh的博客
10-30 1034
在本文中，我们已经探讨了如何使用Python编写爬虫来获取航班和机票信息。我们涵盖了从准备工作到数据分析的各个步骤，并提供了示例代码。请记住，网站的结构和数据可能会随时间变化，所以您需要定期更新和调整您的爬虫以确保其有效性。此外，请始终遵守网站的使用条款和条件，并尊重网站的隐私政策。
爬虫爬取携程机票信息
05-28
python爬取携程网机票信息，输入“出发地”、“目的地”、“出行日期”，输出对应“航班、航空公司、起飞/降落时间、准点率、价格”。
python爬取机票信息
weixin_43641641的博客
03-29 3181
python爬取机票信息 飞机和高铁列车不同，在同样的航线中有着不同的票价，借此我们希望获取尽量多的机票信息来分析机票的变化规律。 首先我们选取京东机票为爬取对象(http://jipiao.jd.com/)，以北京至上海为例，我们审查元素发现机票信息存在 li 标签中，我们先尝试用requests获取网页源代码。 import requests def 获取(url,headers): ...
pyqt5+mysql+多线程爬虫实现 python 携程机票爬虫 数据可视化
weixin_46016666的博客
03-24 1615
使用堆栈跟踪，在js代码中搜索sign，定位出现sign的位置，其中n的值赋给了sign，所以n的值的来源就是sign值的来源，n = sessionStorage.getItem(i)) || (n = (new a.a).update®.digest(‘hex’), sessionStorage.setItem(i,n)但是没有出现关于sign的响应，因此初步断定sign的值是Js动态形成的。我们的目的是要爬取携程网中机票的价格，航班的起飞时间，降落时间，目的地，出发地，所乘做机型名称，航班号信息。
第二个暴力猴脚本- 改写后用iframe抓取携程某个城市所有起飞、到达航班并保存
Liujiayou的博客
08-23 1233
注解 不用弹出窗口方式，采用了2个iframe，分别是Left，Right。Right中有按钮。Left是数据采集用。 如图： 用到的知识点 插入iframe 动态生成iframe内容 动态生成iframe样式CSS 获取iframe中按钮元素按下事件 获取iframe onload事件 JS 写入本地文件 结论 用iframe方式，采集相同数据的速度比新窗口方式慢几倍。不知道这是不是ifram...
用python爬取网站_用Python抓取携程网机票信息 过程纪实（上篇）
weixin_39671405的博客
11-24 674
前言现在有一个需求，想查询一下给定出发地和目的地的机票数目，然后得到所需要的航班信息。不知道哪个网站比较好，于是用bing查了一下，搜索结果中第一个是携程在bing打的广告。秉承着对bing搜索一贯的信任(^__^)，我点开了携程机票查询的链接。在上图的左侧查询版块选择出发城市和目的城市后点击搜索按钮，会跳转到另一个页面,如下图所示这个页面的显示结果正是我们所需要的，上面有航班的数目和相应的信息，...
Python 爬取携程所有机票的实例代码
01-20
打开携程网，查询机票，如广州到成都。 这时网址为：http://flights.ctrip.com/booking/CAN-CTU-day-1.html?DDate1=2018-06-15 其中，CAN 表示广州，CTU 表示成都，日期 “2018-06-15”就比较明显了。一般的爬虫，只有替换这几个值，就可以遍历了。但观察发现，有个链接可以看到当前网页的所有json格式的数据。如下 http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?DCity1=CAN&ACity1=CTU&SearchType=S&
Playwright+Python自动化测试
05-20
一、Playwright简介 微软开源自动化测试工具Playwright，支持主流浏览器，包括：Chrome、Firefox、Safari 等，同时支持以无头模式、有头模式运行，并提供了同步、异步的 API，可以结合主流测试框架使用，并且支持...
Playwright+Python自动化测试课程
05-20
常工作中，我们不可能避免得使用浏览器来完成一些工作，Python 也有不少浏览器自动化的工具，我用过 selenium、splinter、playwright，最终还是选择了微软的 playwright，之所以选择它，是因为它可以自动安装浏览器...
playwright+nodejs+jdk的docker环境的容器镜像配置
01-17
playwright+nodejs+jdk的docker容器镜像配置，包含Dockerile、docker-compose.yml、jdk安装包等基础配置文件，可直接docker-compose up -d 打包出镜像。
使用 python 的异步库 playwright 进行爬取豆瓣电影排行榜Chart页面的数据
05-10
spiderDouban.py 文件是一个Python程序，主要目的是利用异步库 playwright 进行爬取豆瓣电影排行榜的数据。该程序包含两个类：FunChart 和 PlaywrightChart。主要功能如下： FunChart 类：定义了一些基础配置，如...
《Playwright+Python 自动化测试 》第一章 环境准备与快速开始-上海悠悠.pdf
01-04
【Playwright+Python 自动化测试】环境准备与快速开始 在自动化测试领域，Selenium 曾经是主流选择，但随着技术的发展，其他框架如 Cypress、Puppeteer 和 TestCafe 也逐渐崭露头角。然而，Playwright 作为新兴的...
python爬取携程网游记_网页爬虫 - 用python selenium抓取携程信息
weixin_39550172的博客
12-10 1149
问 题最近在学习selenium，遇到一个很奇怪的问题，debug了半天还是没弄明白，我是在测试抓取携程网站的机票信息我的代码：# -*- coding: utf-8 -*-from selenium import webdriverimport timefrom lxml import etree#在订票页面http://flights.ctrip.com/driver = webdriver....
多次踩坑，采用selenium抓取携程信息
清风自来仰面迎之
05-09 2790
你将看到 selenium自动化抓取 携程抓取遇到的问题 可借鉴该思路爬取其他网站 1.分析网页 最近导师给了任务，让爬取携程的邮轮的用户评论数据，对于一个非编程出生的门外汉来说这个任务并不简单，起早贪黑，好在不懂的可以看编程前辈们的博客。 携程网页特点 示例网址：https://cruise.ctrip.com/c/8372.html#departure=2019-07-29&sel...
Python基于Scrapy爬虫框架爬取国庆期间携程航班（航班号、起降城市、起降时间）保存为csv表格
qq_43656233的博客
10-13 1909
在国庆的时候重新练习了一遍scrapy爬虫，发现好多都忘记了，然后复习了一遍，也重温了xpath，最后爬取了携程网的国庆期间所有地区到北京的航班信息，可以为以后学习python的数据分析做做准备，然后就上一些基本的代码。 网址：https://flights.ctrip.com/actualtime/arrive-pek/ import scrapy class MyspiderItem(scr...
Pyhton携程上酒店每个房型价钱详细的爬虫
qq_36565037的博客
04-02 5673
最近由于工作需要，做了一个携程酒店的爬虫，初步达到了一些成果。 由于python是半路出家(之前笔者是学习java的，并且现在也一直在学习。)，在把项目分 享出来看能否给网友们一些帮助的同时，也希望有大佬帮我改进改进。 废话说的过多，直接上货。 感觉爬虫和侦探进行破案有点类似，一点一点线索抽茧剥丝 首先看按照地市搜索的url https://hotels.ctrip.com/hotel/ha...
playwright爬虫应用
qq_38641186的博客
05-24 679
Playwright是由Microsoft开发的一款强大的端到端自动化测试工具，可以用于各种浏览器和操作系统，尤其是可以在Chrome、Firefox和Safari上运行。通过Playwright的API接口，我们可以轻松地进行页面交互和自动化测试，但是，它也可以被用于实现网页的爬取。通过操作浏览器，Playwright可以模拟用户的操作并抓取网页数据，支持异步操作，能够在多个浏览器和操作系统上快速，可靠地抓取数据。总之，Playwright是一个非常强大的工具，既可用于自动化测试，又可用于网页爬取。
Python爬取旅游网站数据机票酒店价格对比分析
白帽阿叁的博客
09-13 1149
本文将介绍如何使用Python爬虫从旅游网站上获取机票和酒店的价格数据，并实现价格对比分析，帮助你做出明智的旅行决策。我们提供了完善的方案和代码，让你能够轻松操作并获得实际价值。使用Python爬虫获取旅游网站上的机票和酒店价格数据，可以帮助你快速比较不同供应商和日期的价格差异。以下是一个完善的方案，包括实现步骤和代码示例：步骤 1： 安装所需的库和工具requests和pandas。步骤 2： 编写爬虫代码步骤 3： 运行价格对比分析将以上代码保存为。
Java 中 什么是 lambda 表达式？有什么优点？
最新发布
liangzai215的专栏
06-13 934
但是，Lambda 表达式绝对不是 Java 8 的银弹，它在消除代码冗余、支持并发这两方面表现优秀，但是在其他方面并未有太多贡献，所以我们在编程的时候，还是需要结合实际情况，灵活选择使用。Lambda表达式在Java 8中是非常强大的工具，但是需要注意的是，Lambda并并不适合所有情况，它主要适用于函数式编程，处理集合操作和Stream操作，在某些具体的业务逻辑操作中就不一定会产生预期的效果。代码块：是 Lambda 表达式需要执行的功能，可以是一行代码，也可以是复杂的多行代码。
python 版的playwright 如何并发爬取
06-06
要在 Python 中使用 Playwright 进行并发爬取，可以使用 asyncio 库。以下是一个简单的示例代码： ```python import asyncio from playwright.async_api import Playwright, async_playwright async def scrape_page(browser: Playwright, url: str) -> str: page = await browser.new_page() await page.goto(url) content = await page.content() await page.close() return content async def main(): urls = ['http://example.com', 'http://google.com', 'http://bing.com'] async with async_playwright() as p: browser = await p.chromium.launch() tasks = [scrape_page(browser, url) for url in urls] results = await asyncio.gather(*tasks) await browser.close() for result in results: print(result) asyncio.run(main()) ``` 在这个示例代码中，我们首先定义了一个 `scrape_page` 函数，用于爬取指定 URL 的页面内容。然后，在 `main` 函数中，我们定义了要爬取的 URL 列表，并使用 `asyncio.gather` 方法在一个浏览器实例中并发执行 `scrape_page` 函数。最后，我们输出爬取结果。 这是一个非常简单的示例，实际应用中可能需要更复杂的逻辑，比如处理异常、设置代理等等。但是基本思路是相同的：使用 asyncio 库实现并发爬取。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值