python爬虫——爬取12306火车票信息

已于 2024-07-08 14:37:33 修改
阅读量1.1k 收藏 5
点赞数 22
分类专栏： python爬虫 文章标签： python 爬虫 开发语言
于 2024-07-08 14:21:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65384447/article/details/140234213
版权




前提准备：requests、pandas、threading等第三方库的导入（未下载的先进行下载）
导入库代码

from threading import Thread #多线程库
import requests
import pandas as pd  
import json   #json库



完整步骤

1.在网页找到需要的数据

（1）任意输入出发地——目的地——日期，点击查询（我这里查询的是：2024年7月6日长沙到武汉的票）

（2）打开抓包工具，重新刷新页面

（3）在抓包工具里面找到内容所在页面
在这里插入图片描述

通过比对发现车票数据在这个json页面内容里面，但是内容有点复杂，需要我们自己去提取，经过选择，结果如下：

    result = front_content.json()['data']['result']    #返回json字典数据
    for it in result:
        info_list = it.split("|")  #切割数据，中文转英文
        num = info_list[3]
        start = info_list[8]        #启动时间
        arrive = info_list[9]       #到达时间
        time = info_list[10]        #经历时长
        business_seat = info_list[32]   #高铁商务座
        first_seat = info_list[31]      #高铁一等座
        second_seat = info_list[30]     #高铁二等座
        soft_sleeper = info_list[23]       #火车软卧
        hard_sleeper = info_list[28]       #火车硬卧
        soft_seat = info_list[27]         #火车软座
        hard_seat = info_list[29]        #火车硬座
        none_seat = info_list[26]         #无座







2.爬取网页数据（带负载）

①url前半部分
在这里插入图片描述
②url后半部分负载
在这里插入图片描述


两者结合得到需要的url(带负载，请求头）

    front_url = "https://kyfw.12306.cn/otn/leftTicket/query"
    data = {
       "leftTicketDTO.train_date": time,
       "leftTicketDTO.from_station": start,
       "leftTicketDTO.to_station": end,
       "purpose_codes": "ADULT"
    }
    header = {
        "User Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/"
                     "537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0",
        "Cookie": ("_uab_collina=171612732780866759993918; JSESSIONID=1753D82C75A9D1B5FD26D74F047D5B2F; _jc_save_wfdc_flag=dc; BIGipServerotn=1373176074.50210.0000; BIGipServerpassport=837288202.50215.0000; guidesStatus=off; highContrastMode=defaltMode; cursorStatus=off; route=c5c62a339e7744272a54643b3be5bf64; BIGipServerportal=3084124426.17183.0000; _jc_save_fromStation=%u957F%u6C99%2CCSQ; "
                   "_jc_save_toStation=%u4E0A%u6D77%2CSHH; _jc_save_fromDate=2024-06-28; _jc_save_toDate=2024-06-28")
    }

    front_content = requests.get(front_url, params=data, headers=header)  #发起requests请求


（注：长沙：CSQ 武汉:WHN，这些城市对应的代码放在文末的json文件里面，需要自取)




3.额外设计


(1)对出发地——目的地——时间，这三个输入增加了一个函数进行判断输入格式或内容是否正确，并返回三个元素组成的列表 
#判断函数并且返回出发地——目的地——时间（列表）
def chaxun(city):

    #判断出发地
    while True:
        in_start = input("请输入出发地：\n")
        if in_start not in city.keys():
            print("输入的城市有误，请重新输入：")
            continue
        else:
            break
    #判断目的地
    while True:
        in_end = input("请输入目的地：\n")
        if in_end not in city.keys():
            print("输入的城市有误，请重新输入：")
            continue
        else:
            break
    # 判断输入时间格式
    while True:
        time = input("请输入时间（格式：xxxx.xx.xx)：\n")
        if (len(time.split(".")) != 3 or len(time.split(".")[0]) != 4
                or len(time.split(".")[1]) != 2 or len(time.split(".")[2]) != 2):
            print("输入的时间有误，请重新输入：")
            continue
        else:
            break
    time = time.replace('.', '-')
    in_start = city[in_start]
    in_end = city[in_end]
    chaxun_list = [in_start, in_end, time]
    return chaxun_list




(2)对需要查询的动车类型单独增加一个函数，返回动车类型

def the_kind():
    #输入动车类型
    kind_list = ['高铁', '火车', '全部']
    while True:
        kind = input("请输入要查询的类型（高铁/火车/全部）：\n")
        if kind in kind_list:
            break
        else:
            continue
    return kind




(3)将结果写入excel文件，结果更加整齐清晰

 #三种类型票 高铁 火车 全部
    content_G = pd.DataFrame(lst_G)
    content_KTZ = pd.DataFrame(lst_KTZ)
    content_all = pd.DataFrame(lst_all)

    if kind == '高铁':
        with pd.ExcelWriter("火车票查询.xlsx",mode="w") as w:
            content_G.to_excel(w, sheet_name="高铁票", index=False)
    elif kind == '火车':
        with pd.ExcelWriter("火车票查询.xlsx", mode="w") as w:
            content_KTZ.to_excel(w, sheet_name="火车票", index=False)
    else:
        with pd.ExcelWriter("火车票查询.xlsx", mode="w") as w:
            content_all.to_excel(w, sheet_name="全部票", index=False)





4.完整代码

from threading import Thread
import requests
import pandas as pd
import json

#导入城市
f2 = open('city.json', 'r')
city = json.load(f2)


#查询函数
def chaxun(city):

    #判断出发地
    while True:
        in_start = input("请输入出发地：\n")
        if in_start not in city.keys():
            print("输入的城市有误，请重新输入：")
            continue
        else:
            break
    #判断目的地
    while True:
        in_end = input("请输入目的地：\n")
        if in_end not in city.keys():
            print("输入的城市有误，请重新输入：")
            continue
        else:
            break
    # 判断输入时间格式
    while True:
        time = input("请输入时间（格式：xxxx.xx.xx)：\n")
        if (len(time.split(".")) != 3 or len(time.split(".")[0]) != 4
                or len(time.split(".")[1]) != 2 or len(time.split(".")[2]) != 2):
            print("输入的时间有误，请重新输入：")
            continue
        else:
            break
    time = time.replace('.', '-')
    in_start = city[in_start]
    in_end = city[in_end]
    chaxun_list = [in_start, in_end, time]
    return chaxun_list

#动车类型函数
def the_kind():
    #输入动车类型
    kind_list = ['高铁', '火车', '全部']
    while True:
        kind = input("请输入要查询的类型（高铁/火车/全部）：\n")
        if kind in kind_list:
            break
        else:
            continue
    return kind

#爬取并输出函数
def func(time, start, end, kind):

    front_url = "https://kyfw.12306.cn/otn/leftTicket/query"
    data = {
       "leftTicketDTO.train_date": time,
       "leftTicketDTO.from_station": start,
       "leftTicketDTO.to_station": end,
       "purpose_codes": "ADULT"
    }
    header = {
        "User Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/"
                     "537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0",
        "Cookie": ("_uab_collina=171612732780866759993918; JSESSIONID=1753D82C75A9D1B5FD26D74F047D5B2F; _jc_save_wfdc_flag=dc; BIGipServerotn=1373176074.50210.0000; BIGipServerpassport=837288202.50215.0000; guidesStatus=off; highContrastMode=defaltMode; cursorStatus=off; route=c5c62a339e7744272a54643b3be5bf64; BIGipServerportal=3084124426.17183.0000; _jc_save_fromStation=%u957F%u6C99%2CCSQ; "
                   "_jc_save_toStation=%u4E0A%u6D77%2CSHH; _jc_save_fromDate=2024-06-28; _jc_save_toDate=2024-06-28")
    }

    front_content = requests.get(front_url, params=data, headers=header)
    front_content.encoding = "utf-8"
    front_content.close()    #关闭requests
    result = front_content.json()['data']['result']    #返回json字典数据

    lst_G = [] #高铁信息
    lst_KTZ = [] #火车信息
    lst_all = [] #全部信息

    for it in result:
        info_list = it.split("|")  #切割数据，中文转英文
        num = info_list[3]
        start = info_list[8]        #启动时间
        arrive = info_list[9]       #到达时间
        time = info_list[10]        #经历时长
        business_seat = info_list[32]   #高铁商务座
        first_seat = info_list[31]      #高铁一等座
        second_seat = info_list[30]     #高铁二等座
        soft_sleeper = info_list[23]       #火车软卧
        hard_sleeper = info_list[28]       #火车硬卧
        soft_seat = info_list[27]         #火车软座
        hard_seat = info_list[29]        #火车硬座
        none_seat = info_list[26]         #无座
        dic = {
               "车次": num,
               "启动时间": start,   # 启动时间
               "到达时间": arrive,      #到达时间
               "中途时长": time,        #经历时长
               "商务座": business_seat,  #高铁商务座
               "一等座": first_seat,      #高铁一等座
               "二等座": second_seat,    #高铁二等座
               "软卧": soft_sleeper,       #火车软卧
               "硬卧": hard_sleeper,       #火车硬卧
               "软座": soft_seat,         #火车软座
               "硬座": hard_seat,        #火车硬座
               "无座": none_seat         #无座
        }

    #进行三种分类
        lst_all.append(dic)
        if 'G' in num:
            lst_G.append(dic)
        else:
            lst_KTZ.append(dic)

    #dataframe格式设置
    pd.set_option('display.unicode.ambiguous_as_wide', True)
    pd.set_option('display.unicode.east_asian_width', True)
    pd.set_option('display.max_rows', None)
    pd.set_option('display.max_columns', None)
    pd.set_option('display.width', 100)

    #三种类型票 高铁 火车 全部
    content_G = pd.DataFrame(lst_G)
    content_KTZ = pd.DataFrame(lst_KTZ)
    content_all = pd.DataFrame(lst_all)

    if kind == '高铁':
        with pd.ExcelWriter("火车票查询.xlsx",mode="w") as w:
            content_G.to_excel(w, sheet_name="高铁票", index=False)
    elif kind == '火车':
        with pd.ExcelWriter("火车票查询.xlsx", mode="w") as w:
            content_KTZ.to_excel(w, sheet_name="火车票", index=False)
    else:
        with pd.ExcelWriter("火车票查询.xlsx", mode="w") as w:
            content_all.to_excel(w, sheet_name="全部票", index=False)

if __name__ ==  '__main__':
    lis = chaxun(city)
    in_start = lis[0]
    in_end = lis[1]
    time = lis[2]
    kind = the_kind()
    func(time, in_start, in_end, kind)





5.结果

在这里插入图片描述
在这里插入图片描述


额外：城市代码的city.json文件在本人主页的资源里面，可以直接免费下载保存

fight_200
关注
  • 22
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫——自动抢火车票
luckccc的博客
10-09 2299
还有不到一个月就过春节了，你回家的火车票都买了吗？如果没有买到的话，不妨试用下本文的 Python 程序来帮你抢火车票，也可以帮你的家人和朋友来抢票，顺带学习一下 Python 爬虫技术，可谓一举两得，何乐而不为？我本来想自己写一个练练手的，但是转眼一想，Python 本身最大的优势是什么，不就是有很多牛逼的人已经造好轮子了吗？你只需要知道这些轮子并会使用就行了，这样会节省你大量的精力和时间，而且站在巨人的肩膀上，会看得更远。
python爬虫抢火车票_爬虫实战篇---12306抢票爬虫
weixin_39639040的博客
11-28 2071
（1）、前言（此代码经过我的实测具有较强的实用型)每逢佳节，大家对于回家抢票这件事是不是特别头疼呢？今天我在网上发现了这个代码，通过一天的学习，与大家分析下，大家可以直接拿来进行12306抢票，也可以进行优化，进行诸如演唱会的抢票，等等。该代码主要使用了模拟浏览器方式而并没有采用分析请求。（2）、技术路线selenium + chromedriver（3）、思路分析1、模拟浏览器登录抢票界面，手动...
Python爬虫实战——12306火车购票（附实例）
别看我只是一只羊
12-27 6128
干货来了！！春运到了，你还在手动买火车票吗？ ​ 在我眼里，Python一直都是一门有趣的语言，经过一段时间的系统学习，接触到selenium自动化测试这边突发奇想，想要实现一下自动访问学校教务处、QQ邮箱、QQ空间等一系列登录操作，从众多项目中选取了12306购票网站来分享，如有不足或错误还请各位读者指出，谢谢。 1、什么是selenium 在想要看懂代码之前一定要问问自己，啥是个seleni...
Python爬虫案例（12306查票）
最新发布
2301_81930926的博客
06-02 729
12306查票 1.获取数据2.分析数据3.取需要的数据4.表格化表达（美化）
python爬虫抢火车票_python网络爬虫进阶day02-12306抢票
weixin_39565777的博客
11-28 190
1 #Author:K2 from selenium importwebdriver3 from selenium.webdriver.support.ui importWebDriverWait4 from selenium.webdriver.support importexpected_conditions as EC5 from selenium.webdriver.common.by i...
Python爬虫实战之12306抢票
weixin_42088036的博客
10-08 5873
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
【Python】12306爬虫抢票脚本
2302_76484106的博客
10-19 2635
抢票是一个涉及到网络请求和数据处理的复杂任务，涉及到官方网站的规则和反爬措施。在这里，我可以给出一个基本的Python爬虫框架，用于向你展示如何编写一个简单的抢票爬虫。但是请注意，这只是一个示例，实际的抢票任务可能需要更复杂的处理逻辑和防封策略。在这个简单的示例中，我们使用了Python的requests库来发送HTTP请求，并使用requests库内置的JSON解析功能解析返回的数据。你可以根据你的具体需要进行修改和扩展。为了更好地模拟真实用户行为，建议你使用专业的抢票工具或者第三方库，比如。
python爬虫（三）12306自动抢票--- selenium
weixin_64050468的博客
05-21 7772
python抢购12306车票代码实现，selenuim配置安装
python爬虫-爬取火车票.zip
01-21
Python爬虫技术是数据获取的重要工具，特别是在网络信息丰富的今天，爬取火车票数据能帮助我们分析火车票的定价、余票、时段等信息。在这个项目中，我们将深入探讨如何利用Python实现火车票数据的爬取。 首先，我们...
Python爬虫——爬取豆瓣电影Top250代码实例
09-19
主要介绍了Python爬取豆瓣电影Top250实例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python实现12306抢票(内含讲义、资料、代码等)
03-01
python实现的12306抢票程序，内含讲义、资料、代码等，代码注释比较全，有需要可自行阅读。
12306抢票Python代码，内含视频教程
02-24
本资源既有我的代码，也有我的学习视频。基础差可以根据教程手把手教你实现12306登录用户、余票查询、下单等功能。本代码基于Python2.7 实现12306抢票，我的代码与视频有些不同，希望有助于你的学习。有问题请私信，共同学习，共同进步！
12306爬虫实现
12-22
12306爬虫实现 目前仅能查询余票信息,其余待完善~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
python项目——火车票分析助手.zip
04-15
python项目——火车票分析助手.zip python项目——火车票分析助手.zip python项目——火车票分析助手.zip python项目——火车票分析助手.zip python项目——火车票分析助手.zip python项目——火车票分析助手.zip ...
Python爬虫练手项目-------- 12306抢票小程序（selenium+requests+BeautifulSoup)
qq_42284554的博客
09-11 678
前言 学习完pyhton基本语法，selenium，requests和BeautifulSoup三个库之后，做了一个简单的12306抢票小程序，功能实现的有些粗糙，结构也不是很清晰。。 附上源码： from selenium import webdriver from twilio.rest import Client from selenium.webdriver import ActionChains import requests from bs4 import BeautifulSoup impor
[python爬虫之路day18]:selenium之12306抢票
dinnersize的博客
03-11 629
1.12306抢票 1.进入页面，手动登录， 2.切换至购票界面，选定城市等相关信息 3.查找我们想要的车次，看是否有余票，如果没有，就一直循环这个查询工作。 4.一旦检测到有票，执行预定的按钮点击，来到预定界面后，找到对应乘客，执行点击事件，再提交订单，点击。 5.点击完提交后，弹出“确认按钮”，然后执行点击事件，完成抢票。 # 1.12306抢票 # 1.进入页面，手动登录， # 2.切换至购...
python爬取12306火车票信息
12-24
以下是使用Python爬取12306火车票信息的示例代码： ```python import requests # 获取所有城市英文代码 url = "https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9053" print("正在获取数据。") # 发送请求，获取返回的数据 res = requests.get(url) data = str(res.content, encoding="utf8") print(data) ``` 这段代码使用requests库发送GET请求，获取12306网站上的城市英文代码数据。首先，我们需要指定URL链接，然后发送请求并获取响应的数据。最后，将获取到的数据转换为字符串并打印出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值