你的票被服务器上的爬虫“吃”了,本文解析爬虫抢票的源码!

过年啦!黄牛们又开始猖獗了,我们为什么总是抢不到票?实际上票都被黄牛们部署在云服务器上的脚本不断刷着!我们手再快能快过爬虫吗?

成都七中

chengqigou

清华大学

shu

2020

01

24

888.8

张铁柱

本文下方包含大量源码,对代码不适的“童鞋”咳咳咳……

不过python代码做了美化哦!五颜六色外加合理的Tab看起来赏心悦目!

“爬虫”究竟是如何抢票的(火车票同理)

此前,在线票务服务公司携程的“反爬虫”专家在技术分享中透露,某网站的一个页面,每分钟的浏览量是1.2万,真实用户只有500个,“爬虫”流量占比为95.8%。

采访中,很多业内人士也表示,即使在“爬虫”活动的淡季,虚假流量也占到订票网站总流量的50%,高峰期更是在90%以上。

那么,“爬虫”究竟是如何实现抢票的呢?对此,小睿告诉您原理,主要是机票代理公司利用“爬虫”技术,不断抓取航空公司售票官网网页信息,如果发现该航空公司有低价票放出,“爬虫”即刻利用虚假客源身份进行批量预定但不实际支付,以达到抢占低价票源的目的。由于“爬虫”的效率远远超过正常的手动操作,导致通过正常操作几乎无法抢到票。

随后,机票代理公司会通过其自身销售渠道(包括公司网站、在线旅行社、客户电话订购等)找到真正的客源,在航空公司允许的账期内,退订此前使用虚假客源身份预定的低价票,然后使用真实身份信息进行订购,最后实现该低价票的加价转售。

如果未在航空公司规定的账期内找到真正客源,机票代理公司会在订单失效前再追加虚假身份订单,继续“霸占”该低价票,如此反复,直至找到真正客源售出为止。

这个脚本目前只能刷一趟车的,人数可以是多个,支持选取作为类型等。

小睿给您分享一下爬虫抢票的源码!

实现思路是splinter.browser模拟浏览器登陆和操作,由于12306的验证码不好自动识别,所以,验证码需要用户进行手动识别,并进行登陆操作,之后的事情,就交由脚本来操作就可以了,下面是我测试时候的一些截图:

第一步:如下图,首先输入抢票基本信息

抢票信息

第二步:然后进入登录页,需要手动输入验证码,并点击登陆操作

12306登录

第三步:登陆后,自动进入到抢票页面,如下图这样的

 

12306抢票

最后:就是坐等刷票结果就好了,如下图这样,就说是刷票成功了,刷到票后,会进行短信和邮件的通知,请记得及时前往12306进行支付,不然就白抢了。

 

云服务器抢票过程

Python运行环境:python3.6

用到的模块:re、splinter、time、sys、httplib2、urllib、smtplib、email

未安装的模块,请使用pip instatll进行安装,例如:pip install splinter

如下代码是这个脚本所有用到的模块引入:

import re

from splinter.browser import Browser

from time import sleep

import sys

import httplib2

from urllib import parse

import smtplib

from email.mime.text import MIMEText

刷票前信息准备,我主要说一下始发站和目的地的cookie值获取,因为输入城市的时候,需要通过cookie值,cookie值可以通过12306官网,然后在F12(相信所有的coder都知道这个吧)的network里面的查询请求cookie中可以看到,在请求的header里面可以找到,_jc_save_fromStation值是出发站的cookie,_jc_save_toStation的值是目的地的cookie,然后加入到代码里的城市的cookie字典city_list里即可,键是城市的首字母,值是cookie值的形式。

抢票,肯定需要先登录,我这里模拟的登录操作,会自动填充12306的账号名和密码,当然,你也可以在打开的浏览器中修改账号和密码,实现的关键代码如下:

def do_login(self):

    """登录功能实现,手动识别验证码进行登录"""

    self.driver.visit(self.login_url)

    sleep(1)

    self.driver.fill('loginUserDTO.user_name', self.user_name)

    self.driver.fill('userDTO.password', self.password)

    print('请输入验证码……')

    while True:

        if self.driver.url != self.init_my_url:

            sleep(1)

        else:

            break

登录之后,就是控制刷票的各种操作处理了,这里,我就不贴代码了,因为代码比较多,别担心,在最后,我会贴出完整的代码的。

当刷票成功后,我会进行短信和邮件的双重通知,当然,这里短信通知的平台,就看你用那个具体来修改代码了,我用的是互亿无线的体验版的免费短信通知接口;发送邮件模块我用的是smtplib,发送邮件服务器用的是163邮箱,如果用163邮箱的话,你还没有设置客户端授权密码,记得先设置客户端授权密码就好了,挺方便的。以下是主要实现代码:

def send_sms(self, mobile, sms_info):

    """发送手机通知短信,用的是-互亿无线-的测试短信"""

    host = "106.ihuyi.com"

    sms_send_uri = "/webservice/sms.php?method=Submit"

    account = "C59782899"

    pass_word = "19d4d9c0796532c7328e8b82e2812655"

    params = parse.urlencode(

        {'account': account, 'password': pass_word, 'content': sms_info, 'mobile': mobile, 'format': 'json'}

    )

    headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"}

    conn = httplib2.HTTPConnectionWithTimeout(host, port=80, timeout=30)

    conn.request("POST", sms_send_uri, params, headers)

    response = conn.getresponse()

    response_str = response.read()

    conn.close()

    return response_str

def send_mail(self, receiver_address, content):

    """发送邮件通知"""

    # 连接邮箱服务器信息

    host = 'smtp.163.com'

    port = 25

    sender = 'xxxxxx@163.com'  # 你的发件邮箱号码

    pwd = '******'  # 不是登陆密码,是客户端授权密码

    # 发件信息

    receiver = receiver_address

    body = '<h2>温馨提醒:</h2><p>' + content + '</p>'

    msg = MIMEText(body, 'html', _charset="utf-8")

    msg['subject'] = '抢票成功通知!'

    msg['from'] = sender

    msg['to'] = receiver

    s = smtplib.SMTP(host, port)

    # 开始登陆邮箱,并发送邮件

    s.login(sender, pwd)

    s.sendmail(sender, receiver, msg.as_string())

说了那么多,感觉都是说了好多废话啊,哈哈,不好意思,耽误大家时间来看我瞎扯了,我贴上大家最关心的源码,请接码,大家在尝试运行过程中,有任何问题,可以给我留言或者私信我,我看到都会及时回复大家的:

#!/usr/bin/env python

# -*- coding: utf-8 -*-

"""

通过splinter刷12306火车票

可以自动填充账号密码,同时,在登录时,也可以修改账号密码

然后手动识别验证码,并登陆,接下来的事情,交由脚本来做了,静静的等待抢票结果就好(刷票过程中,浏览器不可关闭)

author: cuizy

time:2020-01-02

"""

import re

from splinter.browser import Browser

from time import sleep

import sys

import httplib2

from urllib import parse

import smtplib

from email.mime.text import MIMEText

#!/ usr / bin / env python

# -*-编码:utf-8-*-

"""

通过splinter刷12306火车票

进入登陆页面,可以选择扫码登陆或者账号密码登陆

登陆成功后,接下来的事情,交由脚本来做好,静静的等待抢票结果就好(刷票过程中,浏览器不可关闭)

抢票成功,会进行手机短信和邮件的通知

作者:cuizy

时间:2020-01-02

"""

"""

进口重

从 splinter.browser 导入浏览器

从时间导入睡眠

导入系统

导入 httplib2

从 urllib 导入解析

导入 smtplib

从 email.mime.text 导入 MIMEText

导入时间

"""

 BrushTicket 类(object):

    #买票类及实现方法

    def  __init__(自我,乘客,from_time,from_station,to_station,号码,座位类型,接听器,

                 receiver_email):

        #定义实例属性,初始化

        #旅客姓名

        自我乘客=乘客

        #起始站和终点站

        自我 .from_station = from_station

        自我 .to_station = to_station

        #乘车日期

        自我 .from_time = from_time

        #车次编号

        自我 .number = number.capitalize()

        #座位类型所在td位置

        如果 seat_type ==  '商务座特等座':

            seat_type_index =  1

            seat_type_value =  9

        elif seat_type ==  '一等座':

            seat_type_index =  2

            seat_type_value =  ' M '

        elif seat_type ==  '二等座':

            seat_type_index =  3

            seat_type_value =  0

        elif seat_type ==  '高级软卧':

            seat_type_index =  4

            seat_type_value =  6

        elif seat_type ==  '软卧':

            seat_type_index =  5

            seat_type_value =  4

        elif seat_type ==  '动卧':

            seat_type_index =  6

            seat_type_value =  ' F '

        elif seat_type ==  '硬卧':

            seat_type_index =  7

            seat_type_value =  3

        elif seat_type ==  '软座':

            seat_type_index =  8

            seat_type_value =  2

        elif seat_type ==  '硬座':

            seat_type_index =  9

            seat_type_value =  1

        elif seat_type ==  '无座':

            seat_type_index =  10

            seat_type_value =  1

        elif seat_type ==  '其他':

            seat_type_index =  11

            seat_type_value =  1

        其他:

            seat_type_index =  7

            seat_type_value =  3

        自我 .seat_type_index = seat_type_index

        自我 .seat_type_value = seat_type_value

        #通知信息

        自我 .receiver_mobile =接收器移动

        自我 .receiver_email =收件人_email

        #新版12306官网主要页面网址

        自我 .login_url =  ' https: //kyfw.12306.cn/otn/resources/login.html '

        自我 .init_my_url =  ' https: //kyfw.12306.cn/otn/view/index.html '

        自我 .ticket_url =  ' https: //kyfw.12306.cn/otn/leftTicket/init?linktypeid = dc '

        #浏览器驱动信息,驱动下载页:https://sites.google.com/a/chromium.org/chromedriver/downloads

        自我 .driver_name =  ' chrome '

        自 .driver =浏览器(DRIVER_NAME = 自 .driver_name)

    def  do_login(self):

        “”“登录功能实现,手动识别验证码进行登录”“”

        自我 .driver.visit(自我 .login_url)

        睡觉(1)

        #选择登陆方式登陆

        打印(“请扫码登陆或账号登陆…… ”)

        而 True

            如果 self .driver.url!=  self .init_my_url:

                睡觉(1)

            其他:

                打破

    def  start_brush(self):

        “”“”买票功能实现“”“

        #浏览器窗口最大化

        自我 .driver.driver.maximize_window()

        #登陆

        自我 .do_login()

        #反弹到抢票页面

        自我 .driver.visit(自我 .ticket_url)

        尝试:

            打印('开始刷票…… ')

            #加载车票查询信息

            自我 .driver.cookies.add({ “ _jc_save_fromStation ”:自我 .from_station}

            自我 .driver.cookies.add({ “ _jc_save_toStation ”:自我 .to_station}

            自我 .driver.cookies.add({ “ _jc_save_fromDate ”:自我 .from_time}

            自我 .driver.reload()

            计数=  0

            而 self .driver.url ==  self .ticket_url:

                尝试:

                    自我 .driver.find_by_text('查询').click()

                除了 Exception  作为 error_info:

                    打印(error_info)

                    睡觉(1)

                    继续

                睡眠(0.5)

                计数+ =  1

                local_date = time.strftime(“%Y-%m-%d%H:%M:%S ”,time.localtime())

                打印('第%d次点击查询……[ %s ] '%(count,local_date))

                尝试:

                    current_tr =  self .driver.find_by_xpath(' // tr [@ datatran =“ '  +  self .number +  ' ”] / preceding-sibling :: tr [1] ')

                    如果 current_tr:

                        如果 current_tr.find_by_tag(' td ')[ self .seat_type_index] .text ==  ' - ':

                            打印(“无此座位类型出售,已结束当前刷票,请重新开启!”)

                            sys.exit(1)

                        elif current_tr.find_by_tag(' td ')[ self .seat_type_index] .text ==  '无':

                            打印('无票,继续尝试…… ')

                            睡觉(1)

                        其他:

                            #有票,尝试预订

                            print('刷到票了(余票数:'  +  str(current_tr.find_by_tag(' td ')[ self .seat_type_index] .text)+  '),开始尝试预订…… ')

                            current_tr.find_by_css(' td.no-br> a ')[ 0 ] .click()

                            睡觉(1)

                            key_value =  1

                            对于 p 在 自我 .passengers:

                                如果 “()” 在号码:

                                    p = P [- 1 ] +  '学生'  + P [ - 1:]

                                #选择用户

                                打印('开始选择用户…… ')

                                自我 .driver.find_by_text(p).last.click()

                                #选择座位类型

                                打印('开始选择席别…… ')

                                如果 self .seat_type_value!=  0:

                                    自我 .driver.find_by_xpath(

                                        “ // select [@ id ='seatType_ ”  +  str(键值) +  “ '] / option [@ value =' ”  +  str(

                                            self .seat_type_value)+  “ '] ”).first.click()

                                键值+ =  1

                                睡眠(0.2)

                                如果 P [ - 1 ] ==  ')':

                                    自我 .driver.find_by_id(' dialog_xsertcj_ok '). click()

                            打印(“正在提交订单…… ”)

                            自 .driver.find_by_id(' submitOrder_id ')。点击()

                            睡觉(2)

                            #查看放回结果是否正常

                            Submit_false_info =  self .driver.find_by_id(' orderResultInfo_id ')[ 0 ] .text

                            如果 Submit_false_info!=  ' ':

                                打印(submit_false_info)

                                自我 .driver.find_by_id(' qr_closeTranforDialog_id '). click()

                                睡眠(0.2)

                                自我 .driver.find_by_id(' preStep_id '). click()

                                睡眠(0.3)

                                继续

                            打印(“正在确认订单…… ”)

                            自我 .driver.find_by_id(' qr_submit_id '). click()

                            打印(“预订成功,请及时前往支付…… ”)

                            #发送通知信息

                            自 .send_mail(自 .receiver_email,'恭喜您,抢到票了,请及时前往12306支付订单!')

                            自 .send_sms(自 .receiver_mobile,'您的验证码是:8888请不要把验证码泄露给其他人。')

                    其他:

                        print('不存在当前车次【%s,已结束当前刷票,请重新开启!'%self .number)

                        sys.exit(1)

                除了 Exception  作为 error_info:

                    打印(error_info)

                    #反弹到抢票页面

                    自我 .driver.visit(自我 .ticket_url)

        除了 Exception  作为 error_info:

            打印(error_info)

    def  send_sms(self,mobile,sms_info):

        “”“发送手机通知短信,用的是-互亿无线-的测试短信”“”

        主机=  “ 106.ihuyi.com ”

        sms_send_uri =  “ /webservice/sms.php?method=提交”

        帐户=  “ C59782899 ”

        pass_word =  “ 19d4d9c0796532c7328e8b82e2812655 ”

        参数= parse.urlencode(

            { '帐户':帐户,'密码':密码,'内容':sms_info,'移动':移动,'格式':' json ' }

        标头= { “ Content-type ”:“ application / x-www-form-urlencoded ”,“ Accept ”:“ text / plain ” }

        conn = httplib2.HTTPConnectionWithTimeout(主机,端口= 80,超时= 30)

        conn.request(“ POST ”,sms_send_uri,params,headers)

        响应= conn.getresponse()

        response_str = response.read()

        conn.close()

        返回 response_str

    def  send_mail(self,receiver_address,content):

        “”“发送邮件通知”“”

        #连接邮箱服务器信息

        主机=  ' smtp.163.com '

        端口=  25

        发件人=  ' gxcuizy@163.com '   #你的发件邮箱号码

        pwd =  ' ****** '   #不是登陆密码,是客户端授权密码

        #发件信息

        收件人=收件人地址

        正文=  ' <h2>温馨提醒:</ h2> <p> '  +内容+  ' </ p> '

        msg = MIMEText(body,' html ',_charset = “ utf-8 ”)

        msg [ ' subject ' ] =  '抢票成功通知!'

        msg [ '来自' ] =发送者

        msg [ '到' ] =接收者

        s = smtplib.SMTP(主机,端口)

        #开始登陆邮箱,并发送邮件

        s.login(发送者,pwd)

        s.sendmail(发送者,接收者,msg.as_string())

如果 __name__  ==  ' __main__ ':

    #旅客姓名

    passenger_input =  input('请输入乘车人姓名,多人用英文逗号“,”连接,(例如单人“张三”或者多人“张三,李四”,如果学生的话输入“王五() ”):')

    乘客= passenger_input.split(“,”)

    当 passenger_input ==  ' ' 或 len(乘客)>  4时:

        打印(“乘车人最少1位,最多4位!”)

        passenger_input =  输入(“请重新输入乘车人姓名,多人用英文逗号“,”连接,(例如单人“张三”或者多人“张三,李四”):')

        乘客= passenger_input.split(“,”)

    #乘车日期

    from_time =  input('请输入乘车日期(例如“ 2020-01-02”):')

    date_pattern = re.compile(r ' ^ \ d {4} - \ d {2} - \ d {2} $ ')

    而 from_time ==  ' ' 或 re.findall(date_pattern,from_time)== []

        from_time =  输入('乘车日期不能为空或时间格式不正确,请重新输入:')

    #城市cookie字典

    city_list = {

        ' bj ':' %u 5317 %u 4EAC%2CBJP ',#北京

        ' hd ':' %u 5929 %u 6D25%2CTJP ',#邯郸

        ' nn ':' %u 5357 %u 5B81%2CNNZ ',#南宁

        ' wh ':' %u 6B66 %u 6C49%2CWHN ',#武汉

        ' cs ':' %u 957F %u 6C99%2CCSQ ',#长沙

        ' ty ':' %u 592A %u 539F%2CTYV ',#太原

        ' yc ':' %u 8FD0 %u 57CE%2CYNV ',#运城

        ' gzn ':' %u 5E7F %u 5DDE %u 5357%2CIZQ ',#广州南

        ' wzn ':' %u 68A7 %u 5DDE %u 5357%2CWBZ ',#梧州南

    }

    #出发站

    from_input =  input('请输入出发站,只需要输入首字母就行(例如北京“ bj”):')

    而 from_input 不是 在 city_list.keys():

        from_input =  输入(“出发站不能为空或不支持当前出发站(如有需要,请联系管理员!),请重新输入:')

    from_station = city_list [from_input]

    #终点站

    to_input =  input('请输入终点站,只需要输入首字母就行(例如北京“ bj”):')

    而 to_input 不是 在 city_list.keys():

        to_input =  input('终点站不能为空或不支持当前终点站(如有需要,请联系管理员!),请重新输入:')

    to_station = city_list [to_input]

    #车次编号

    数字=  输入('请输入车次号(例如“ G110”):')

    而数字==  ' ':

        数字=  输入('车次号不能为空,请重新输入:')

    #座位类型

    seat_type =  input('请输入座位类型(例如“软卧”):')

    而 seat_type ==  ' ':

        seat_type =  input('座位类型不能为空,请重新输入:')

    #抢票成功,通知该手机号码

    receiver_mobile =  input('请分配一个手机号码,方便抢到票后进行通知(例如:18888888888):')

    mobile_pattern = re.compile(r ' ^ 1 {1} \ d {10} $ ')

    而 receiver_mobile ==  ' ' 或 re.findall(mobile_pattern,receiver_mobile)== []

        receiver_mobile =  输入('补充手机号码不能为空或格式不正确,请重新输入:')

    receiver_email =  input('请补充一个邮箱,方便抢到票后进行通知(例如:test@163.com):')

    而 receive_email ==  ' ':

        receiver_email =  input('复制邮箱不能为空,请重新输入:')

    #开始抢票

    票= BrushTicket(乘客,from_time,from_station,to_station,号码,seat_type,receiver_mobile,

                         收件人电子邮件)

    ticket.start_brush()

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值