史上最全航班号，航班信息爬虫，飞常准

最新推荐文章于 2024-10-04 20:39:16 发布

D_ry

最新推荐文章于 2024-10-04 20:39:16 发布

阅读量5.2k

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_36936510/article/details/104573505

版权

本文介绍了如何通过爬虫获取飞常准网站上的航班信息，包括如何解决航班号不全的问题，揭示实际起飞和到达时间的数据源，并提供了利用航班号、时间、出发地和目的地参数构造URL的方法。需要注意的是，由于网站存在反爬机制，爬取过程中需使用代理IP。

摘要由CSDN通过智能技术生成

有一个爬航班信息的需求，在飞常准网站上可以得到一个航班列表，里面有6000个航班号，但经过测试后发现这个列表不全，导致爬取的数据缺失严重，经过长时间的收集，最终得到了一份更全面的航班号，虽然还是没有达到全部覆盖，但已经是能找到最全的了，共10931个航班号，且基本有效，最终爬取到了9747个航班信息。点击获取最全航班号
在这里插入图片描述
分享一些经验：
飞常准网站上航班信息中实际起飞和到达时间是一张图片，通用的思路是将图片下载下来调用pytesseract或其他ORC工具去识别。

但其实可以找到数据源是如下的json，只需要将时间戳转换为本地时间就可以了。
在这里插入图片描述
URL为：https://adsbapi.variflight.com/adsb/index/flight?lang=zh_CN&fnum=3U5074&time=1577960700&forg=XIY&fdst=NKG
观察URL可以发现需要四个参数，航班号，时间，出发地和目的地。正好，网页源代码中iframe的URL中就有这些参数，那后面的操作就很简单了。还需要注意网站有反爬机制，需要代理IP。

在这里插入图片描述

附代码：

import requests
import re
from bs4 import BeautifulSoup as bs
import time
import random
from fake_useragent import UserAgent

requests.adapters.DEFAULT_RETRIES = 5

class Variflight(object):
    def __init__(self):
        self.url_base = 'http://www.variflight.com'
        self.ua = UserAgent()
        self.headers = {
   }
        
    def get_ip(self):
        with open('f:\\data\\ip.txt','r') as f:
            ip_list = f.read().split('\n')
            return ip_list
    
    def get_fnums(self): #航班列表
        ip_list = self.get_ip()
        url_fnum_list = 'http://www.variflight.com/sitemap.html?AE71649A58c77='
        while(1):
            try:
                self.headers['User-Agent'] = self.ua.random
                ip = random.choice(ip_list)
                r = requests.get(url_fnum_list,headers=self.headers,proxies={
   'http':ip,'https':ip},timeout=1)
                break
            except: