爬虫正则表达式

想要拿到下载链接，首先要点击进去才能查看下载的部分

打开两个视频发现，不同的视频只有url的后面一点不一样

https://xxxxx/i/103506.html

https://xxxxx/i/103258.html

 这时我们查看网页源代码发现，这些后面的部分都被放在了一个标签里面

所以我们只需要利用正则表达式对其抓到的网页进行筛选就行了。

obj = re.compile(r'<b>.*?<a href="(?P<lianjie1>.*?)" class=',re.S)

拿到了后缀只需要循环添加前缀就可以构建完整的url了。拿到了url之后直接爬取网页源代码是不行的，这个网页有过滤。要避开安全验证。

resp = requests.get(url, verify=False)

网站的第二页和第三页都只是一个数字的区别，但是index_1却不能显示第一页。第一页要单独拿出来进行过滤在添

https://dytt89.com/html/bikan/index_2.html

当拿到了所有的url时，用循环逐个爬取下载链接。这时网页有个地方有些问题，第14页的最后一个电影，点进去会报错。

这时就要进行异常处理。r.raise_for_status，是对网页的回应进行过滤，发现respoud=200就通过。

def gethtmltext(url):   #定义函数对打不开的网页进行异常处理
    try:
        r = requests.get(url,verify=False,timeout=60)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '异常'

热门电影里面有些电影可能比较久远，下载链接的标签也有些不一样。这时在用正则表达式进行筛选

obj_1 = re.compile(r'<tbody>.*?<a href="(?P<lianjie>.*?)(&tr=|">)|异常', re.S)#找到下载链接

完整代码：