网页html弹窗公告代码_用代码监测特定商圈内电影是否开始预售(Python爬虫)

最新推荐文章于 2024-05-02 18:52:42 发布

weixin_39538962

最新推荐文章于 2024-05-02 18:52:42 发布

阅读量1.3k

点赞数

文章标签：网页html弹窗公告代码

对于一些大家期待的电影会想值得它什么时候预售，特别是某些热门的电影，若是不及时知道预售开始的消息很可能抢不到好位置的票。对于某部特别热门的电影，有童鞋在朋友圈说不怕期中，4月就怕抢不到某电影首映的票。

虽然一些相关的公众号或者微博会在得到消息后及时更新，但是从技术的角度考虑，随着各种集成票务平台的发展，我们可以自己跑个程序监测某些电影是否开启了预售。

拿看电影的猫眼电影为例，思路就是先看看开启预售的电影和未开启预售的电影主页间的差别，然后得到需要监测的电影主页的url之后，用爬虫监测页面内容的变化，在确认有购票(预售)信息后及时通知自己。

未开启预售电影与开启了预售的电影页面的区别

对特定电影进行售票监测

针对猫眼电影的监测有两种做法，一种是看首页->即将上映中标注预售的电影列表里是否有目标电影；

对猫眼首页预售电影列表进行监测

第二种是看目标电影的主页里是否有购票按钮，下面主要实现一下第二种思路，自己确实很希望能及时知道《复联四》预售的消息。首先从猫眼电影网页版主页找到目标电影，还是拿《Avengers: Endgame》举例，点击进入主页，复制url，按道理猫眼每部电影主页url是不变的，在网页打开源码定位到“想看、评分”的部分，对应的是 <divclass="action-buyBtn">部分，根据其他开启了预售的电影页面代码，如果开启预售这里会有个购票按钮的，因此主要监测这部分HTML的变化，自己习惯于用xpath，因此复制xpath，写出以下代码：

import time 
import requests
import traceback
from lxml import etree

def monitorBtnbuy(url,t=0):#url:需要监测的电影主页
    while True: #主循环
        try:
            txt=requests.get(url).text
            html=etree.HTML(txt)
            try:
                ptxt=html.xpath('/html/body/div[3]/div/div[2]/div[2]/a/text()') #复制下来的xpath
                if ptxt==[]: #如果开启预售ptxt会是['特惠购票'] 否则是空列表
                    time.sleep(30) #sleep一段时间继续爬页面
                elif ptxt[0]=='特惠购票': #赶紧想办法提醒自己
                    #可以用各种提醒方式，如print、弹出窗口，发微信消息，发邮件等
                    print('开启预售了！！')
                    #pass
            except:#输出错误信息
                traceback.print_exc()
        time.sleep(3) 
        t+=1
        if t>5:
            break #因为是测试所以加了个break

url='https://maoyan.com/films/1156894' #
monitorBtnbuy(url,t=3)

拿一个已经开启预售的电影测试，再拿目标网页进行测试，能正常跑。因为是测试，把sleep的时间调为2秒，测试完之后设置为每15分钟或30分钟获取一下页面。

监测提醒

接下来完善提醒部分，可以用各种提醒方式，如控制台输出、弹出窗口，发微信消息，发邮件等，为了确保我及时知道，选择弹窗+微信消息，Python中写轻量化的GUI页面用内置的tkinter比较方便，微信提醒选择封装比较好的[wxpy](youfou/wxpy)。如果页面更新了包含预售消息，会同时有微信消息（我选择是发送到自己的一个群里），然后跑代码的电脑端会有一个弹窗（messagebox）。收到提醒就赶紧去买票。

继续完善monitorBtnbuy(url)函数，最后代码如下：

def getOneUrl(url): #获取一个页面
    try:
        r=requests.get(url,timeout=30)
        #r.encoding=r.apparent_encoding
        return r.text
    except:
        traceback.print_exc()
        return None
def showMsg():
    window = tk.Tk()
    window.title('prrrrrr')
    window.geometry('400x400')
    tk.Button(window,text='presale').pack()
    window.mainloop()
def showMsg2():
    win = tk.Tk()
    win.title('prrrrrr')
    win.geometry('400x400')
    tk.Button(win,text='presale').pack()
    win.mainloop()

def monitorBtnbuy(url,t=0):
    bot = Bot()
    while True:
        txt=getOneUrl(url)
        if txt==None:
            pass
        else: 
            html=etree.HTML(txt)
            try:
                ptxt=html.xpath('/html/body/div[3]/div/div[2]/div[2]/a/text()')
                if ptxt==[]:
                    if t%5==0:
                        print('现在是{0},还没有预售信息；t={1}'.format(time.asctime(),t))
                        time.sleep(180)
                    if t%2==0:
                        time.sleep(60*15) #每次t是偶数sleep15分钟
                    time.sleep(120) #2mins
                elif ptxt[0]=='特惠购票': #赶紧想办法提醒自己
                    print(time.asctime(),ptxt[0])
                    group = bot.groups().search('def-self')[0] #给特定的群里发消息
                    group.send('预售开始！')
                    group.send(url)
                    print('msg.send()')
                    showMsg()
                    showMsg2()
            except:
                traceback.print_exc()
        time.sleep(5)
        t+=1
        #if t>20:break

url='https://maoyan.com/films/248172'
monitorBtnbuy(url)

运行效果如下：

监测运行效果1

监测效果2

对特点电影院进行监测

思路还是看特定网页的特征，定位到增加电影院或特定电影院增加自己关注的电影再用xpath匹配。拿猫眼电影《复联四》的售票页面来说，选定行政区商圈之后，看url的变化，以及定位下面电影院的位置，然后看源码复制xpath，粘贴到代码里，猫眼特别好的地方是会把电影的id和电影院的id都写在url里，格式如： https://maoyan.com/cinema/197?poi=279439&movieId=248172（这里对应的是美嘉电影院），可以看到网页HTML的层级是很容易理解的，有个movie-list，下面的 div包含data-movieid属性。

猫眼中电影院的可购票电影页面

def monitorZhongguanc(url,t=0,ts=1):#对中关村商圈进行监测
    had=False #ts：两次get页面间隔,分钟
    while True: #主循环
        try:
            txt=requests.get(url).text
            html=etree.HTML(txt)
            mlst=html.xpath('//*[@id="app"]/div[2]/div[*]/div[1]/a/text()')
            mlen=len(mlst)
            if mlen>t:
                had=True
                for i in range(t,mlen):
                    print("add{0}".format(mlst[i]))
                print(mlst)
                t=mlen
                showYZMsg()
                
            if had:
                had=False
            else:
                lct=time.localtime()
                if lct.tm_min>50: #50-60
                    ts=2
                elif lct.tm_min>35:#36-49
                    ts=5
                elif lct.tm_min>20: #21-34
                    ts=10
                elif lct.tm_min>15: #16-20
                    ts=4
                else: #0-15
                    ts=1
                    print('现在是{0},还没有预售消息;{1}'.format(time.asctime(),t))
                time.sleep(60*ts) #sleep一段时间继续爬页面
        except:#输出错误信息
            traceback.print_exc()
        time.sleep(ts) 

def monitorMeijia(url,t=0,ts=1):#url:需要监测的电影主页
    while True: #主循环
        try:
            txt=requests.get(url).text
            html=etree.HTML(txt)
            mlst=html.xpath('//*[@id="app"]/div[1]/div')[0].getchildren()
            had=False
            for m in mlst:
                mid=m.attrib.get('data-movieid',0)
                if mid=='248172':
                    print('电影院开启预售了！！{0}'.format(time.asctime()))
                    had=True
                    break
            if had:
                showYZMsg()
            else:
                lct=time.localtime()
                if lct.tm_min>50: #50-60
                    ts=2
                elif lct.tm_min>35:#36-49
                    print('现在是{0},还没有预售消息,{1}'.format(time.asctime(),t))
                    ts=5
                elif lct.tm_min>20: #21-34
                    ts=10
                elif lct.tm_min>15: #16-20
                    ts=7
                else: #0-15
                    ts=1
                    print('现在是{0},还没有预售消息,t={1}'.format(time.asctime(),t))
                time.sleep(60*ts) #sleep一段时间继续爬页面
        except:#输出错误信息
            traceback.print_exc()
        time.sleep(ts) 
        t+=1


#murl='https://maoyan.com/cinemas?movieId=248172&brandId=-1&areaId=688&districtId=17'
#monitorZhongguanc(murl,t=1,ts=1)
murl='https://maoyan.com/cinema/197?poi=279439&movieId=248172'
monitorMeijia(murl,t=0,ts=1) #对特定电影院进行监测

对特定电影院的预售监测

于是可以比对这些movieid里面是否有目标电影ID，示例代码如 mid=m.attrib.get('data-movieid',0);ifmid=='248172':sendMsg()。以上代码还有一个改动是对时间进行了一个，对整点的时候重点关注，例如重点关注每个小时的55分到59分和1分到15分这段时间，其余时间去爬网页的频率小些。用到了 time.localtime().tm_min。欢迎交流

以上代码更新于github:QLWeilcf-moviePresaleMonitor。

weixin_39538962

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
网页html弹窗公告代码_用代码监测特定商圈内电影是否开始预售(Python爬虫)

对于一些大家期待的电影会想值得它什么时候预售，特别是某些热门的电影，若是不及时知道预售开始的消息很可能抢不到好位置的票。对于某部特别热门的电影，有童鞋在朋友圈说不怕期中，4月就怕抢不到某电影首映的票。虽然一些相关的公众号或者微博会在得到消息后及时更新，但是从技术的角度考虑，随着各种集成票务平台的发展，我们可以自己跑个程序监测某些电影是否开启了预售。拿看电影的猫眼电影为例，思路就是先看看开启预售的...
复制链接

扫一扫