爬虫 — 爬取携程的航班信息

功能介绍:输入起点、终点、时间就能得到携程上的航班信息

代码:

from prettytable import PrettyTable
import requests
import json

def xiecheng(dcity,acity,date):

	date = date[0:4]+'-'+date[4:6]+'-'+date[6:8]
	
	headers = {
		"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
		"Content-Type": "application/json",# 声明文本类型为 json 格式
		# "referer": r"https://flights.ctrip.com/itinerary/oneway/hak-khn?date=2018-11-11"
	 }

	city = {'阿尔山': 'YIE', '阿克苏': 'AKU', '阿拉善右旗': 'RHT', '阿拉善左旗': 'AXF', '阿勒泰': 'AAT', '阿里': 'NGQ', '澳门': 'MFM', 
		'安庆': 'AQG', '安顺': 'AVA', '鞍山': 'AOG', '巴彦淖尔': 'RLK', '百色': 'AEB', '包头': 'BAV', '保山': 'BSD', '北海': 'BHY', 
		'北京': 'BJS', '白城': 'DBC', '白山': 'NBS', '毕节': 'BFJ', '博乐': 'BPL', '重庆': 'CKG', '昌都': 'BPX', '常德': 'CGD', 
		'常州': 'CZX', '朝阳': 'CHG', '成都': 'CTU', '池州': 'JUH', '赤峰': 'CIF', '揭阳': 'SWA', '长春': 'CGQ', '长沙': 'CSX', 
		'长治': 'CIH', '承德': 'CDE', '沧源': 'CWJ', '达县': 'DAX', '大理': 'DLU', '大连': 'DLC', '大庆': 'DQA', '大同': 'DAT', 
		'丹东': 'DDG', '稻城': 'DCY', '东营': 'DOY', '敦煌': 'DNH', '芒市': 'LUM', '额济纳旗': 'EJN', '鄂尔多斯': 'DSN', '恩施': 'ENH', 
		'二连浩特': 'ERL', '佛山': 'FUO', '福州': 'FOC', '抚远': 'FYJ', '阜阳': 'FUG', '赣州': 'KOW', '格尔木': 'GOQ', '固原': 'GYU',
		'广元': 'GYS', '广州': 'CAN', '贵阳': 'KWE', '桂林': 'KWL', '哈尔滨': 'HRB', '哈密': 'HMI', '海口': 'HAK', '海拉尔': 'HLD', 
		'邯郸': 'HDG', '汉中': 'HZG', '杭州': 'HGH', '合肥': 'HFE', '和田': 'HTN', '黑河': 'HEK', '呼和浩特': 'HET', '淮安': 'HIA', 
		'怀化': 'HJJ', '黄山': 'TXN', '惠州': 'HUZ', '鸡西': 'JXA', '济南': 'TNA', '济宁': 'JNG', '加格达奇': 'JGD', '佳木斯': 'JMU', 
		'嘉峪关': 'JGN', '金昌': 'JIC', '金门': 'KNH', '锦州': 'JNZ', '嘉义': 'CYI', '西双版纳': 'JHG', '建三江': 'JSJ', '晋江': 'JJN',
		'井冈山': 'JGS', '景德镇': 'JDZ', '九江': 'JIU', '九寨沟': 'JZH', '喀什': 'KHG', '凯里': 'KJH', '康定': 'KGT', '克拉玛依': 'KRY', 
		'库车': 'KCA', '库尔勒': 'KRL', '昆明': 'KMG', '拉萨': 'LXA', '兰州': 'LHW', '黎平': 'HZH', '丽江': 'LJG', '荔波': 'LLB', 
		'连云港': 'LYG', '六盘水': 'LPF', '临汾': 'LFQ', '林芝': 'LZY', '临沧': 'LNJ', '临沂': 'LYI', '柳州': 'LZH', '泸州': 'LZO', 
		'洛阳': 'LYA', '吕梁': 'LLV', '澜沧': 'JMJ', '龙岩': 'LCX', '满洲里': 'NZH', '梅州': 'MXZ', '绵阳': 'MIG', '漠河': 'OHE', 
		'牡丹江': 'MDG', '马祖': 'MFK', '南昌': 'KHN', '南充': 'NAO', '南京': 'NKG', '南宁': 'NNG', '南通': 'NTG', '南阳': 'NNY', 
		'宁波': 'NGB', '宁蒗': 'NLH', '攀枝花': 'PZI', '普洱': 'SYM', '齐齐哈尔': 'NDG', '黔江': 'JIQ', '且末': 'IQM', '秦皇岛': 'BPE',
		'青岛': 'TAO', '庆阳': 'IQN', '衢州': 'JUZ', '日喀则': 'RKZ', '日照': 'RIZ', '三亚': 'SYX', '厦门': 'XMN', '上海': 'SHA', 
		'深圳': 'SZX', '神农架': 'HPG', '沈阳': 'SHE', '石家庄': 'SJW', '塔城': 'TCG', '台州': 'HYN', '太原': 'TYN', '扬州': 'YTY',
		'唐山': 'TVS', '腾冲': 'TCZ', '天津': 'TSN', '天水': 'THQ', '通辽': 'TGO', '铜仁': 'TEN', '吐鲁番': 'TLQ', '万州': 'WXN',
		'威海': 'WEH', '潍坊': 'WEF', '温州': 'WNZ', '文山': 'WNH', '乌海': 'WUA', '乌兰浩特': 'HLH', '乌鲁木齐': 'URC', '无锡': 'WUX',
		'梧州': 'WUZ', '武汉': 'WUH', '武夷山': 'WUS', '西安': 'SIA', '西昌': 'XIC', '西宁': 'XNN', '锡林浩特': 'XIL', '香格里拉(迪庆)': 'DIG',
		'襄阳': 'XFN', '兴义': 'ACX', '徐州': 'XUZ', '香港': 'HKG', '烟台': 'YNT', '延安': 'ENY', '延吉': 'YNJ', '盐城': 'YNZ', '伊春': 'LDS',
		'伊宁': 'YIN', '宜宾': 'YBP', '宜昌': 'YIH', '宜春': 'YIC', '义乌': 'YIW', '银川': 'INC', '永州': 'LLF', '榆林': 'UYN', '玉树': 'YUS', 
		'运城': 'YCU', '湛江': 'ZHA', '张家界': 'DYG', '张家口': 'ZQZ', '张掖': 'YZY', '昭通': 'ZAT', '郑州': 'CGO', '中卫': 'ZHY', '舟山': 'HSN', 
		'珠海': 'ZUH', '遵义(茅台)': 'WMT', '遵义(新舟)': 'ZYI'}

	url = 'http://flights.ctrip.com/itinerary/api/12808/products'
	request_payload = {"flightWay":"Oneway",
			"classType":"ALL",
			"hasChild":'false',
			"hasBaby":'false',
			"searchIndex":1,
			"token":"088874eb2e9e0d33ce1e2106e89303e2", # 修改加入 token
			"airportParams":[{"dcity":city.get(dcity).lower(),"acity":city.get(acity).lower(),"dcityname":dcity,"acityname":acity,"date":date}]}

	# 这里传进去的参数必须为 json 格式
	response = requests.post(url,data=json.dumps(request_payload),headers=headers).text
	routeList = json.loads(response).get('data').get('routeList')
	table=PrettyTable(["Airline","FlightNumber","DepartureDate",'ArrivalDate','PunctualityRate','LowestPrice'])
	
	if routeList:
		for route in routeList:
			
			info = {}
			legs = route.get('legs')[0]
			flight = legs.get('flight')
			info['Airline'] = flight.get('airlineName') 
			info['FlightNumber'] = flight.get('flightNumber')
			info['DepartureDate'] = flight.get('departureDate')[-8:-3]
			info['ArrivalDate'] = flight.get('arrivalDate')[-8:-3]
			info['PunctualityRate'] = flight.get('punctualityRate')
			info['LowestPrice'] = legs.get('characteristic').get('lowestPrice')
			
			table.add_row(info.values())
			
		print(dcity,'------->',acity,date)
		print(table)	
	else:
		print('失败')


if __name__ == "__main__":
	
	dcity = input('请输入起点: ')
	acity = input('请输入终点: ')
	date = input('请输入出行日期: ')
	xiecheng(dcity,acity,date)

注释:

  • 访问的链接为 post 请求,发现传递的参数类型不是Form Data,而是Request Payload。百度查到一篇文章得到解释,这个类型需要传入的是 json 格式的参数,且需要在 headers 里面声明,才能正常的传递参数访问链接。
  • 传入的时间参数应该是 8 位数的时间格式。
  • 这里没有对传入的地点和时间进行判断,所以输入的地点应该在 city 字典中,且时间不早于当前日期。
  • 核对爬出来的数据都与网页上的一样,但不排除后期携程在里面投毒的可能性,比如去哪儿网。

关于 Request Payload 参考文章:

python爬虫如何POST request payload形式的请求

爬取结果:
在这里插入图片描述

### 使用 Selenium 抓取携程机票数据的方法 为了成功抓取携程网站上的航班信息,需了解目标页面结构并合理设置 WebDriver 的操作逻辑[^1]。 #### 准备工作 安装必要的库文件: ```bash pip install selenium requests pandas ``` 启动浏览器驱动实例前要确认已下载对应版本的 ChromeDriver 或 GeckoDriver 并配置环境变量路径: #### 初始化 WebDriver 实例 创建一个新的 Python 脚本用于初始化 Web 驱动器对象,并打开指定 URL 页面加载完成后的等待时间设定为显式或隐式的超时机制来确保元素可交互状态。 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time options = webdriver.ChromeOptions() driver = webdriver.Chrome(options=options) url = 'https://flights.ctrip.com/' driver.get(url) time.sleep(3) # 等待页面完全加载 ``` #### 定位输入框与按钮执行查询动作 通过分析 HTML 文档找到出发城市、到达城市的输入框以及搜索按钮对应的 XPath 表达式或者 CSS Selector 后,在脚本里模拟用户行为触发事件提交表单请求获取所需的数据列表视图呈现于界面上方区域位置处。 ```python departure_input = driver.find_element(By.ID, "-OriginCity") arrival_input = driver.find_element(By.ID, "DestinationCity") search_button = driver.find_element(By.CLASS_NAME, "search-btn") departure_input.clear() # 清除默认值 departure_input.send_keys("北京") # 输入出发地 arrival_input.clear() arrival_input.send_keys("上海") # 输入目的地 search_button.click() time.sleep(5) # 给予足够的时间让服务器响应返回结果集展示出来 ``` #### 解析网页内容提取有用的信息片段 当页面更新显示符合条件的结果项之后就可以利用 BeautifulSoup 库解析 DOM 结构从而定位到每条记录内部包含的具体字段比如价格、航空公司名称等重要属性值;也可以直接借助 Selenium 自带方法读取特定标签内的纯文本字符串作为最终保存至本地磁盘文件中的项目之一部分组成要素构成完整的 CSV/JSON 文件格式供后续处理阶段调用分析统计图表绘制等功能模块进一步挖掘潜在价值所在之处。 ```python flight_items = driver.find_elements(By.CSS_SELECTOR, ".search-item-flight") for item in flight_items: airline_name = item.find_element(By.TAG_NAME, "h3").text.strip() departure_time = item.find_element(By.XPATH, "./div/div[2]/span[1]").text.strip() arrival_time = item.find_element(By.XPATH, "./div/div[4]/span[1]").text.strip() print(f"{airline_name}: {departure_time} -> {arrival_time}") ``` 关闭浏览器窗口结束会话释放资源占用情况以便下次重复运行该程序不会受到残留进程干扰影响正常流程顺利开展下去直至全部任务圆满完成为止。 ```python driver.quit() ``` 需要注意的是由于反爬虫策略的存在,频繁访问可能会导致 IP 封禁等问题发生因此建议适当加入随机延时函数控制频率降低被检测风险提高成功率保持良好用户体验的同时也遵循道德规范尊重他人劳动成果共同维护健康和谐网络空间秩序。
评论 44
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值