爬虫学习 ----- 第二章爬取静态网站 ---------- 03 . re 模块学习 ---- re屠戮电影天堂

最新推荐文章于 2024-09-17 23:15:58 发布

Zero_Adam

最新推荐文章于 2024-09-17 23:15:58 发布

阅读量857

点赞数

分类专栏：爬虫学习文章标签： python

本文链接：https://blog.csdn.net/Zero_Adam/article/details/116428550

版权

本文通过实例讲解如何使用Python的re模块解析网页，定位到2021新片精品部分，并解决可能出现的网页乱码问题，进而提取子页面的链接地址，获取电影下载链接。

摘要由CSDN通过智能技术生成

1. 【案例】re屠戮电影天堂

1.目的：

定位到2021新片精品
从2021新片精品中提取到子页面的链接地址
请求子页面的链接地址，拿到我们想要的下载地址…

1. 定位到2021新片精品

我想得到这里的电影的下载地址。

在这里插入图片描述

1. 出现错误？？？

在这里插入图片描述

2. 网页乱码？？？

python抓包回来，默认进行utf8编码了，但是如果网页的编码不是utf8的话，就会出现这样的乱码

在这里插入图片描述

网站的编码通常会进行声明，

在这里插入图片描述
然后我们进行换一下编码就好了

我们的唯一标识就是 2021新片精品
在这里插入图片描述

在这里插入图片描述

2.从2021新片精品中提取到子页面的链接地址

在这里插入图片描述

3.请求子页面的链接地址，拿到我们想要的下载地址…

# -*- coding: utf-8 -*-
# @Time: 2021/5/5 14:05
# @Author: adam
# @File: demo2.py

import csv
import re
import requests
header = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'