过年啦!黄牛们又开始猖獗了,我们为什么总是抢不到票?实际上票都被黄牛们部署在云服务器上的脚本不断刷着!我们手再快能快过爬虫吗?
成都七中
chengqigou
清华大学
shu
2020
01
24
888.8
张铁柱
本文下方包含大量源码,对代码不适的“童鞋”咳咳咳……
不过python代码做了美化哦!五颜六色外加合理的Tab看起来赏心悦目!
“爬虫”究竟是如何抢票的(火车票同理)
此前,在线票务服务公司携程的“反爬虫”专家在技术分享中透露,某网站的一个页面,每分钟的浏览量是1.2万,真实用户只有500个,“爬虫”流量占比为95.8%。
采访中,很多业内人士也表示,即使在“爬虫”活动的淡季,虚假流量也占到订票网站总流量的50%,高峰期更是在90%以上。
那么,“爬虫”究竟是如何实现抢票的呢?对此,小睿告诉您原理,主要是机票代理公司利用“爬虫”技术,不断抓取航空公司售票官网网页信息,如果发现该航空公司有低价票放出,“爬虫”即刻利用虚假客源身份进行批量预定但不实际支付,以达到抢占低价票源的目的。由于“爬虫”的效率远远超过正常的手动操作,导致通过正常操作几乎无法抢到票。
随后,机票代理公司会通过其自身销售渠道(包括公司网站、在线旅行社、客户电话订购等)找到真正的客源,在航空公司允许的账期内,退订此前使用虚假客源身份预定的低价票,然后使用真实身份信息进行订购,最后实现该低价票的加价转售。
如果未在航空公司规定的账期内找到真正客源,机票代理公司会在订单失效前再追加虚假身份订单,继续“霸占”该低价票,如此反复,直至找到真正客源售出为止。
这个脚本目前只能刷一趟车的,人数可以是多个,支持选取作为类型等。
小睿给您分享一下爬虫抢票的源码!
实现思路是splinter.browser模拟浏览器登陆和操作,由于12306的验证码不好自动识别,所以,验证码需要用户进行手动识别,并进行登陆操作,之后的事情,就交由脚本来操作就可以了,下面是我测试时候的一些截图:
第一步:如下图,首先输入抢票基本信息
抢票信息
第二步:然后进入登录页,需要手动输入验证码,并点击登陆操作
12306登录
第三步:登陆后,自动进入到抢票页面,如下图这样的
12306抢票
最后:就是坐等刷票结果就好了,如下图这样,就说是刷票成功了,刷到票后,会进行短信和邮件的通知,请记得及时前往12306进行支付,不然就白抢了。
云服务器抢票过程
Python运行环境:python3.6
用到的模块:re、splinter、time、sys、httplib2、urllib、smtplib、email
未安装的模块,请使用pip instatll进行安装,例如:pip install splinter
如下代码是这个脚本所有用到的模块引入:
import re
from splinter.browser import Browser
from time import sleep
import sys
import httplib2
from urllib import parse
import smtplib
from email.mime.text import MIMEText
刷票前信息准备,我主要说一下始发站和目的地的cookie值获取,因为输入城市的时候,需要通过cookie值,cookie值可以通过12306官网,然后在F12(相信所有的coder都知道这个吧)的network里面的查询请求cookie中可以看到,在请求的header里面可以找到,_jc_save_fromStation值是出发站的cookie,_jc_save_toStation的值是目的地的cookie,然后加入到代码里的城市的cookie字典city_list里即可,键是城市的首字母,值是cookie值的形式。
抢票,肯定需要先登录,我这里模拟的登录操作,会自动填充12306的账号名和密码,当然,你也可以在打开的浏览器中修改账号和密码,实现的关键代码如下:
def do_login(self):
"""登录功能实现,手动识别验证码进行登录"""
self.driver.visit(self.login_url)
sleep(1)
self.driver.fill('loginUserDTO.user_name', self.user_name)
self.driver.fill('userDTO.password', self.password)
print('请输入验证码……')
while True:
if self.driver.url != self.init_my_url:
sleep(1)
else:
break
登录之后,就是控制刷票的各种操作处理了,这里,我就不贴代码了,因为代码比较多,别担心,在最后,我会贴出完整的代码的。
当刷票成功后,我会进行短信和邮件的双重通知,当然,这里短信通知的平台,就看你用那个具体来修改代码了,我用的是互亿无线的体验版的免费短信通知接口;发送邮件模块我用的是smtplib,发送邮件服务器用的是163邮箱,如果用163邮箱的话,你还没有设置客户端授权密码,记得先设置客户端授权密码就好了,挺方便的。以下是主要实现代码:
def send_sms(self, mobile, sms_info):
"""发送手机通知短信,用的是-互亿无线-的测试短信"""
host = "106.ihuyi.com"
sms_send_uri = "/webservice/sms.php?method=Submit"
account = "C59782899"
pass_word = "19d4d9c0796532c7328e8b82e2812655"
params = parse.urlencode(
{'account': account, 'password': pass_word, 'content': sms_info, 'mobile': mobile, 'format': 'json'}
)
headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"}
conn = httplib2.HTTPConnectionWithTimeout(host, port=80, timeout=30)
conn.request("POST", sms_send_uri, params, headers)
response = conn.getresponse()
response_str = response.read()
conn.close()
return response_str
def send_mail(self, receiver_address, content):
"""发送邮件通知"""
# 连接邮箱服务器信息
host = 'smtp.163.com'
port = 25
sender = 'xxxxxx@163.com' # 你的发件邮箱号码
pwd = '******' # 不是登陆密码,是客户端授权密码
# 发件信息
receiver = receiver_address
body = '<h2>温馨提醒:</h2><p>' + content + '</p>'
msg = MIMEText(body, 'html', _charset="utf-8")
msg['subject'] = '抢票成功通知!'
msg['from'] = sender
msg['to'] = receiver
s = smtplib.SMTP(host, port)
# 开始登陆邮箱,并发送邮件
s.login(sender, pwd)
s.sendmail(sender, receiver, msg.as_string())
说了那么多,感觉都是说了好多废话啊,哈哈,不好意思,耽误大家时间来看我瞎扯了,我贴上大家最关心的源码,请接码,大家在尝试运行过程中,有任何问题,可以给我留言或者私信我,我看到都会及时回复大家的:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
通过splinter刷12306火车票
可以自动填充账号密码,同时,在登录时,也可以修改账号密码
然后手动识别验证码,并登陆,接下来的事情,交由脚本来做了,静静的等待抢票结果就好(刷票过程中,浏览器不可关闭)
author: cuizy
time:2020-01-02
"""
import re
from splinter.browser import Browser
from time import sleep
import sys
import httplib2
from urllib import parse
import smtplib
from email.mime.text import MIMEText
#!/ usr / bin / env python
# -*-编码:utf-8-*-
"""
通过splinter刷12306火车票
进入登陆页面,可以选择扫码登陆或者账号密码登陆
登陆成功后,接下来的事情,交由脚本来做好,静静的等待抢票结果就好(刷票过程中,浏览器不可关闭)
抢票成功,会进行手机短信和邮件的通知
作者:cuizy
时间:2020-01-02
"""
"""
进口重
从 splinter.browser 导入浏览器
从时间导入睡眠
导入系统
导入 httplib2
从 urllib 导入解析
导入 smtplib
从 email.mime.text 导入 MIMEText
导入时间
"""
BrushTicket 类(object):
#买票类及实现方法
def __init__(自我,乘客,from_time,from_station,to_station,号码,座位类型,接听器,
receiver_email):
#定义实例属性,初始化
#旅客姓名
自我乘客=乘客
#起始站和终点站
自我 .from_station = from_station
自我 .to_station = to_station
#乘车日期
自我 .from_time = from_time
#车次编号
自我 .number = number.capitalize()
#座位类型所在td位置
如果 seat_type == '商务座特等座':
seat_type_index = 1
seat_type_value = 9
elif seat_type == '一等座':
seat_type_index = 2
seat_type_value = ' M '
elif seat_type == '二等座':
seat_type_index = 3
seat_type_value = 0
elif seat_type == '高级软卧':
seat_type_index = 4
seat_type_value = 6
elif seat_type == '软卧':
seat_type_index = 5
seat_type_value = 4
elif seat_type == '动卧':
seat_type_index = 6
seat_type_value = ' F '
elif seat_type == '硬卧':
seat_type_index = 7
seat_type_value = 3
elif seat_type == '软座':
seat_type_index = 8
seat_type_value = 2
elif seat_type == '硬座':
seat_type_index = 9
seat_type_value = 1
elif seat_type == '无座':
seat_type_index = 10
seat_type_value = 1
elif seat_type == '其他':
seat_type_index = 11
seat_type_value = 1
其他:
seat_type_index = 7
seat_type_value = 3
自我 .seat_type_index = seat_type_index
自我 .seat_type_value = seat_type_value
#通知信息
自我 .receiver_mobile =接收器移动
自我 .receiver_email =收件人_email
#新版12306官网主要页面网址
自我 .login_url = ' https: //kyfw.12306.cn/otn/resources/login.html '
自我 .init_my_url = ' https: //kyfw.12306.cn/otn/view/index.html '
自我 .ticket_url = ' https: //kyfw.12306.cn/otn/leftTicket/init?linktypeid = dc '
#浏览器驱动信息,驱动下载页:https://sites.google.com/a/chromium.org/chromedriver/downloads
自我 .driver_name = ' chrome '
自 .driver =浏览器(DRIVER_NAME = 自 .driver_name)
def do_login(self):
“”“登录功能实现,手动识别验证码进行登录”“”
自我 .driver.visit(自我 .login_url)
睡觉(1)
#选择登陆方式登陆
打印(“请扫码登陆或账号登陆…… ”)
而 True:
如果 self .driver.url!= self .init_my_url:
睡觉(1)
其他:
打破
def start_brush(self):
“”“”买票功能实现“”“
#浏览器窗口最大化
自我 .driver.driver.maximize_window()
#登陆
自我 .do_login()
#反弹到抢票页面
自我 .driver.visit(自我 .ticket_url)
尝试:
打印('开始刷票…… ')
#加载车票查询信息
自我 .driver.cookies.add({ “ _jc_save_fromStation ”:自我 .from_station})
自我 .driver.cookies.add({ “ _jc_save_toStation ”:自我 .to_station})
自我 .driver.cookies.add({ “ _jc_save_fromDate ”:自我 .from_time})
自我 .driver.reload()
计数= 0
而 self .driver.url == self .ticket_url:
尝试:
自我 .driver.find_by_text('查询').click()
除了 Exception 作为 error_info:
打印(error_info)
睡觉(1)
继续
睡眠(0.5)
计数+ = 1
local_date = time.strftime(“%Y-%m-%d%H:%M:%S ”,time.localtime())
打印('第%d次点击查询……[ %s ] '%(count,local_date))
尝试:
current_tr = self .driver.find_by_xpath(' // tr [@ datatran =“ ' + self .number + ' ”] / preceding-sibling :: tr [1] ')
如果 current_tr:
如果 current_tr.find_by_tag(' td ')[ self .seat_type_index] .text == ' - ':
打印(“无此座位类型出售,已结束当前刷票,请重新开启!”)
sys.exit(1)
elif current_tr.find_by_tag(' td ')[ self .seat_type_index] .text == '无':
打印('无票,继续尝试…… ')
睡觉(1)
其他:
#有票,尝试预订
print('刷到票了(余票数:' + str(current_tr.find_by_tag(' td ')[ self .seat_type_index] .text)+ '),开始尝试预订…… ')
current_tr.find_by_css(' td.no-br> a ')[ 0 ] .click()
睡觉(1)
key_value = 1
对于 p 在 自我 .passengers:
如果 “()” 在号码:
p = P [:- 1 ] + '学生' + P [ - 1:]
#选择用户
打印('开始选择用户…… ')
自我 .driver.find_by_text(p).last.click()
#选择座位类型
打印('开始选择席别…… ')
如果 self .seat_type_value!= 0:
自我 .driver.find_by_xpath(
“ // select [@ id ='seatType_ ” + str(键值) + “ '] / option [@ value =' ” + str(
self .seat_type_value)+ “ '] ”).first.click()
键值+ = 1
睡眠(0.2)
如果 P [ - 1 ] == ')':
自我 .driver.find_by_id(' dialog_xsertcj_ok '). click()
打印(“正在提交订单…… ”)
自 .driver.find_by_id(' submitOrder_id ')。点击()
睡觉(2)
#查看放回结果是否正常
Submit_false_info = self .driver.find_by_id(' orderResultInfo_id ')[ 0 ] .text
如果 Submit_false_info!= ' ':
打印(submit_false_info)
自我 .driver.find_by_id(' qr_closeTranforDialog_id '). click()
睡眠(0.2)
自我 .driver.find_by_id(' preStep_id '). click()
睡眠(0.3)
继续
打印(“正在确认订单…… ”)
自我 .driver.find_by_id(' qr_submit_id '). click()
打印(“预订成功,请及时前往支付…… ”)
#发送通知信息
自 .send_mail(自 .receiver_email,'恭喜您,抢到票了,请及时前往12306支付订单!')
自 .send_sms(自 .receiver_mobile,'您的验证码是:8888请不要把验证码泄露给其他人。')
其他:
print('不存在当前车次【%s,已结束当前刷票,请重新开启!'%self .number)
sys.exit(1)
除了 Exception 作为 error_info:
打印(error_info)
#反弹到抢票页面
自我 .driver.visit(自我 .ticket_url)
除了 Exception 作为 error_info:
打印(error_info)
def send_sms(self,mobile,sms_info):
“”“发送手机通知短信,用的是-互亿无线-的测试短信”“”
主机= “ 106.ihuyi.com ”
sms_send_uri = “ /webservice/sms.php?method=提交”
帐户= “ C59782899 ”
pass_word = “ 19d4d9c0796532c7328e8b82e2812655 ”
参数= parse.urlencode(
{ '帐户':帐户,'密码':密码,'内容':sms_info,'移动':移动,'格式':' json ' }
)
标头= { “ Content-type ”:“ application / x-www-form-urlencoded ”,“ Accept ”:“ text / plain ” }
conn = httplib2.HTTPConnectionWithTimeout(主机,端口= 80,超时= 30)
conn.request(“ POST ”,sms_send_uri,params,headers)
响应= conn.getresponse()
response_str = response.read()
conn.close()
返回 response_str
def send_mail(self,receiver_address,content):
“”“发送邮件通知”“”
#连接邮箱服务器信息
主机= ' smtp.163.com '
端口= 25
发件人= ' gxcuizy@163.com ' #你的发件邮箱号码
pwd = ' ****** ' #不是登陆密码,是客户端授权密码
#发件信息
收件人=收件人地址
正文= ' <h2>温馨提醒:</ h2> <p> ' +内容+ ' </ p> '
msg = MIMEText(body,' html ',_charset = “ utf-8 ”)
msg [ ' subject ' ] = '抢票成功通知!'
msg [ '来自' ] =发送者
msg [ '到' ] =接收者
s = smtplib.SMTP(主机,端口)
#开始登陆邮箱,并发送邮件
s.login(发送者,pwd)
s.sendmail(发送者,接收者,msg.as_string())
如果 __name__ == ' __main__ ':
#旅客姓名
passenger_input = input('请输入乘车人姓名,多人用英文逗号“,”连接,(例如单人“张三”或者多人“张三,李四”,如果学生的话输入“王五() ”):')
乘客= passenger_input.split(“,”)
当 passenger_input == ' ' 或 len(乘客)> 4时:
打印(“乘车人最少1位,最多4位!”)
passenger_input = 输入(“请重新输入乘车人姓名,多人用英文逗号“,”连接,(例如单人“张三”或者多人“张三,李四”):')
乘客= passenger_input.split(“,”)
#乘车日期
from_time = input('请输入乘车日期(例如“ 2020-01-02”):')
date_pattern = re.compile(r ' ^ \ d {4} - \ d {2} - \ d {2} $ ')
而 from_time == ' ' 或 re.findall(date_pattern,from_time)== []:
from_time = 输入('乘车日期不能为空或时间格式不正确,请重新输入:')
#城市cookie字典
city_list = {
' bj ':' %u 5317 %u 4EAC%2CBJP ',#北京
' hd ':' %u 5929 %u 6D25%2CTJP ',#邯郸
' nn ':' %u 5357 %u 5B81%2CNNZ ',#南宁
' wh ':' %u 6B66 %u 6C49%2CWHN ',#武汉
' cs ':' %u 957F %u 6C99%2CCSQ ',#长沙
' ty ':' %u 592A %u 539F%2CTYV ',#太原
' yc ':' %u 8FD0 %u 57CE%2CYNV ',#运城
' gzn ':' %u 5E7F %u 5DDE %u 5357%2CIZQ ',#广州南
' wzn ':' %u 68A7 %u 5DDE %u 5357%2CWBZ ',#梧州南
}
#出发站
from_input = input('请输入出发站,只需要输入首字母就行(例如北京“ bj”):')
而 from_input 不是 在 city_list.keys():
from_input = 输入(“出发站不能为空或不支持当前出发站(如有需要,请联系管理员!),请重新输入:')
from_station = city_list [from_input]
#终点站
to_input = input('请输入终点站,只需要输入首字母就行(例如北京“ bj”):')
而 to_input 不是 在 city_list.keys():
to_input = input('终点站不能为空或不支持当前终点站(如有需要,请联系管理员!),请重新输入:')
to_station = city_list [to_input]
#车次编号
数字= 输入('请输入车次号(例如“ G110”):')
而数字== ' ':
数字= 输入('车次号不能为空,请重新输入:')
#座位类型
seat_type = input('请输入座位类型(例如“软卧”):')
而 seat_type == ' ':
seat_type = input('座位类型不能为空,请重新输入:')
#抢票成功,通知该手机号码
receiver_mobile = input('请分配一个手机号码,方便抢到票后进行通知(例如:18888888888):')
mobile_pattern = re.compile(r ' ^ 1 {1} \ d {10} $ ')
而 receiver_mobile == ' ' 或 re.findall(mobile_pattern,receiver_mobile)== []:
receiver_mobile = 输入('补充手机号码不能为空或格式不正确,请重新输入:')
receiver_email = input('请补充一个邮箱,方便抢到票后进行通知(例如:test@163.com):')
而 receive_email == ' ':
receiver_email = input('复制邮箱不能为空,请重新输入:')
#开始抢票
票= BrushTicket(乘客,from_time,from_station,to_station,号码,seat_type,receiver_mobile,
收件人电子邮件)
ticket.start_brush()