对于一些大家期待的电影会想值得它什么时候预售,特别是某些热门的电影,若是不及时知道预售开始的消息很可能抢不到好位置的票。对于某部特别热门的电影,有童鞋在朋友圈说不怕期中,4月就怕抢不到某电影首映的票。
虽然一些相关的公众号或者微博会在得到消息后及时更新,但是从技术的角度考虑,随着各种集成票务平台的发展,我们可以自己跑个程序监测某些电影是否开启了预售。
拿看电影的猫眼电影为例,思路就是先看看开启预售的电影和未开启预售的电影主页间的差别,然后得到需要监测的电影主页的url之后,用爬虫监测页面内容的变化,在确认有购票(预售)信息后及时通知自己。
对特定电影进行售票监测
针对猫眼电影的监测有两种做法,一种是看首页->即将上映中标注预售的电影列表里是否有目标电影;
第二种是看目标电影的主页里是否有购票按钮,下面主要实现一下第二种思路,自己确实很希望能及时知道《复联四》预售的消息。首先从猫眼电影网页版主页找到目标电影,还是拿《Avengers: Endgame》举例,点击进入主页,复制url,按道理猫眼每部电影主页url是不变的,在网页打开源码定位到“想看、评分”的部分,对应的是 <divclass="action-buyBtn">
部分,根据其他开启了预售的电影页面代码,如果开启预售这里会有个购票按钮的,因此主要监测这部分HTML的变化,自己习惯于用xpath,因此复制xpath,写出以下代码:
import time
import requests
import traceback
from lxml import etree
def monitorBtnbuy(url,t=0):#url:需要监测的电影主页
while True: #主循环
try:
txt=requests.get(url).text
html=etree.HTML(txt)
try:
ptxt=html.xpath('/html/body/div[3]/div/div[2]/div[2]/a/text()') #复制下来的xpath
if ptxt==[]: #如果开启预售ptxt会是['特惠购票'] 否则是空列表
time.sleep(30) #sleep一段时间继续爬页面
elif ptxt[0]=='特惠购票': #赶紧想办法提醒自己
#可以用各种提醒方式,如print、弹出窗口,发微信消息,发邮件等
print('开启预售了!!')
#pass
except:#输出错误信息
traceback.print_exc()
time.sleep(3)
t+=1
if t>5:
break #因为是测试所以加了个break
url='https://maoyan.com/films/1156894' #
monitorBtnbuy(url,t=3)
拿一个已经开启预售的电影测试,再拿目标网页进行测试,能正常跑。因为是测试,把sleep的时间调为2秒,测试完之后设置为每15分钟或30分钟获取一下页面。
监测提醒
接下来完善提醒部分,可以用各种提醒方式,如控制台输出、弹出窗口,发微信消息,发邮件等,为了确保我及时知道,选择弹窗+微信消息,Python中写轻量化的GUI页面用内置的tkinter比较方便,微信提醒选择封装比较好的[wxpy](youfou/wxpy)。如果页面更新了包含预售消息,会同时有微信消息(我选择是发送到自己的一个群里),然后跑代码的电脑端会有一个弹窗(messagebox)。收到提醒就赶紧去买票。
继续完善monitorBtnbuy(url)
函数,最后代码如下:
def getOneUrl(url): #获取一个页面
try:
r=requests.get(url,timeout=30)
#r.encoding=r.apparent_encoding
return r.text
except:
traceback.print_exc()
return None
def showMsg():
window = tk.Tk()
window.title('prrrrrr')
window.geometry('400x400')
tk.Button(window,text='presale').pack()
window.mainloop()
def showMsg2():
win = tk.Tk()
win.title('prrrrrr')
win.geometry('400x400')
tk.Button(win,text='presale').pack()
win.mainloop()
def monitorBtnbuy(url,t=0):
bot = Bot()
while True:
txt=getOneUrl(url)
if txt==None:
pass
else:
html=etree.HTML(txt)
try:
ptxt=html.xpath('/html/body/div[3]/div/div[2]/div[2]/a/text()')
if ptxt==[]:
if t%5==0:
print('现在是{0},还没有预售信息;t={1}'.format(time.asctime(),t))
time.sleep(180)
if t%2==0:
time.sleep(60*15) #每次t是偶数sleep15分钟
time.sleep(120) #2mins
elif ptxt[0]=='特惠购票': #赶紧想办法提醒自己
print(time.asctime(),ptxt[0])
group = bot.groups().search('def-self')[0] #给特定的群里发消息
group.send('预售开始!')
group.send(url)
print('msg.send()')
showMsg()
showMsg2()
except:
traceback.print_exc()
time.sleep(5)
t+=1
#if t>20:break
url='https://maoyan.com/films/248172'
monitorBtnbuy(url)
运行效果如下:
对特点电影院进行监测
思路还是看特定网页的特征,定位到增加电影院或特定电影院增加自己关注的电影再用xpath匹配。拿猫眼电影《复联四》的售票页面来说,选定行政区商圈之后,看url的变化,以及定位下面电影院的位置,然后看源码复制xpath,粘贴到代码里,猫眼特别好的地方是会把电影的id和电影院的id都写在url里,格式如: https://maoyan.com/cinema/197?poi=279439&movieId=248172
(这里对应的是美嘉电影院),可以看到网页HTML的层级是很容易理解的,有个movie-list,下面的 div
包含data-movieid属性。
def monitorZhongguanc(url,t=0,ts=1):#对中关村商圈进行监测
had=False #ts:两次get页面间隔,分钟
while True: #主循环
try:
txt=requests.get(url).text
html=etree.HTML(txt)
mlst=html.xpath('//*[@id="app"]/div[2]/div[*]/div[1]/a/text()')
mlen=len(mlst)
if mlen>t:
had=True
for i in range(t,mlen):
print("add{0}".format(mlst[i]))
print(mlst)
t=mlen
showYZMsg()
if had:
had=False
else:
lct=time.localtime()
if lct.tm_min>50: #50-60
ts=2
elif lct.tm_min>35:#36-49
ts=5
elif lct.tm_min>20: #21-34
ts=10
elif lct.tm_min>15: #16-20
ts=4
else: #0-15
ts=1
print('现在是{0},还没有预售消息;{1}'.format(time.asctime(),t))
time.sleep(60*ts) #sleep一段时间继续爬页面
except:#输出错误信息
traceback.print_exc()
time.sleep(ts)
def monitorMeijia(url,t=0,ts=1):#url:需要监测的电影主页
while True: #主循环
try:
txt=requests.get(url).text
html=etree.HTML(txt)
mlst=html.xpath('//*[@id="app"]/div[1]/div')[0].getchildren()
had=False
for m in mlst:
mid=m.attrib.get('data-movieid',0)
if mid=='248172':
print('电影院开启预售了!!{0}'.format(time.asctime()))
had=True
break
if had:
showYZMsg()
else:
lct=time.localtime()
if lct.tm_min>50: #50-60
ts=2
elif lct.tm_min>35:#36-49
print('现在是{0},还没有预售消息,{1}'.format(time.asctime(),t))
ts=5
elif lct.tm_min>20: #21-34
ts=10
elif lct.tm_min>15: #16-20
ts=7
else: #0-15
ts=1
print('现在是{0},还没有预售消息,t={1}'.format(time.asctime(),t))
time.sleep(60*ts) #sleep一段时间继续爬页面
except:#输出错误信息
traceback.print_exc()
time.sleep(ts)
t+=1
#murl='https://maoyan.com/cinemas?movieId=248172&brandId=-1&areaId=688&districtId=17'
#monitorZhongguanc(murl,t=1,ts=1)
murl='https://maoyan.com/cinema/197?poi=279439&movieId=248172'
monitorMeijia(murl,t=0,ts=1) #对特定电影院进行监测
于是可以比对这些movieid里面是否有目标电影ID,示例代码如 mid=m.attrib.get('data-movieid',0);ifmid=='248172':sendMsg()
。 以上代码还有一个改动是对时间进行了一个,对整点的时候重点关注,例如重点关注每个小时的55分到59分和1分到15分这段时间,其余时间去爬网页的频率小些。用到了 time.localtime().tm_min
。欢迎交流
以上代码更新于github:QLWeilcf-moviePresaleMonitor。