【Python案例教学】（一）：采集瓣电影排行有关信息

前言

在我们学习python的时候,学会了某些知识点了啦,

我我们就得写一些案例来考验一下是否掌握了

今天我就给大家带来一个简单的案例——采集电影排行有关信息

本次亮点：

1. 分析网页结构

2. css/xpath/re 解析数据

3. 保存CSV文件

环境介绍：

• python 3.8 开源 免费的 (统一 3.8)

• Pycharm YYDS python最好用的编辑器 不接受反驳…

模块使用:

• requests

  数据请求模块 pip install requests

• parsel

  数据解析模块 pip install parsel

• csv

学习编程最看重的项目经验

安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

基本思路:

(无论你爬取任何网站数据, 都是可以按照这个几步骤来的)

1. 明确需求

   我们要爬取的内容是什么

   要分析我们的想要数据, 可以从哪里获取, 哪里来的… (数据来源分析)

   用这个开发者工具 进行抓包(数据包)分析

   静态网页, 网页上面看到的数据内容,在网页源代码里面都有

   动态网站, 抓包分析

2. 发送请求 (开发者工具里面headers)

   对于那个网址发送请求, 发送什么样的请求, 携带那些请求头参数

3. 获取数据

   获取服务器返回的数据内容, 看服务器数据格式是什么样的, 或者说我们想要的数据是什么样的

   获取文本数据 response.text

   获取服务器json字典数据 response.json()

   获取二进制数据 response.content 保存视频/音频/图片/特定格式的文件内容 都是获取二进制数据

4. 解析数据

   提供我们想要的数据内容

5. 保存数据

   保存本地

代码展示

一、明确需求

爬取豆瓣Top250排行电影信息

• 电影名字

• 导演、主演

• 年份、国家、类型

• 评分、评价人数

• 电影简介

二、模块导入

import requests  # 数据请求模块 pip install requests
import parsel  # 数据解析模块 pip install parsel
import csv  # 保存表格数据

三、发送请求

Python中的大量开源的模块使得编码变的特别简单，

我们写爬虫第一个要了解的模块就是requests。

请求url地址，使用get请求，添加headers请求头，模拟浏览器请求，网页会给你返回response对象

#模拟浏览器发送请求
import requests
url = 'https://movie.*****.com/top250'
# 因不可抗原因，网址屏蔽拉~你们自己添加一下哦~
# 完整代码可添加企鹅裙：582950881领取呐~
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
print(response)

200是状态码，表示请求成功

2xx （成功）

3xx （重定向)

4xx（请求错误）

5xx（服务器错误）

四、获取数据

import requests
url = 'https://movie.*****.com/top250'
# 因不可抗原因，网址屏蔽拉~你们自己添加一下哦~
# 完整代码可添加企鹅裙：582950881领取呐~
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
print(response.text)

requests.get(url=url, headers=headers) ：请求网页返回的是response对象

response.text： 获取网页文本数据

response.json： 获取网页json数据

这两个是用的最多的，当然还有其他的

五、解析数据

常用解析数据方法： 正则表达式、css选择器、xpath、lxml…

常用解析模块：bs4、parsel…

我们使用的是 parsel 无论是在之前的文章，还是说之后的爬虫系列文章，我都会使用 parsel 这个解析库，无它就是觉得它比bs4香。

parsel 是第三方模块，pip install parsel 安装即可

parsel 可以使用 css、xpath、re解析方法

所有的电影信息都包含在 li 标签当中。

#把 response.text 文本数据转换成 selector 对象
selector = parsel.Selector(response.text)
#获取所有li标签
lis = selector.css('.grid_view li')
#遍历出每个li标签内容
for li in lis:
    # 获取电影标题 hd 类属性 下面的 a 标签下面的 第一个span标签里面的文本数据 get()输出形式是 字符串获取一个  getall() 输出形式是列表获取所有
    title = li.css('.hd a span:nth-child(1)::text').get()   # get()输出形式是 字符串
    movie_list = li.css('.bd p:nth-child(1)::text').getall()     # getall() 输出形式是列表
    star = movie_list[0].strip().replace('\xa0\xa0\xa0', '').replace('/...', '')
    movie_info = movie_list[1].strip().split('\xa0/\xa0')   # ['1994', '美国', '犯罪 剧情']
    movie_time = movie_info[0]  # 电影上映时间
    movie_country = movie_info[1]   # 哪个国家的电影
    movie_type = movie_info[2]     # 什么类型的电影
    rating_num = li.css('.rating_num::text').get()   # 电影评分
    people = li.css('.star span:nth-child(4)::text').get()   # 评价人数
    summary = li.css('.inq::text').get()   # 一句话概述
    dit = {
        '电影名字': title,
        '参演人员': star,
        '上映时间': movie_time,
        '拍摄国家': movie_country,
        '电影类型': movie_type,
        '电影评分': rating_num,
        '评价人数': people,
        '电影概述': summary,
    }
    # pprint 格式化输出模块
    pprint.pprint(dit)

以上的知识点使用到了

1. parsel 解析模块的方法

2. for 循环

3. css 选择器

4. 字典的创建

5. 列表取值

6. 字符串的方法：分割、替换等

7. pprint 格式化输出模块

所以扎实基础是很有必要的。不然你连代码都不知道为什么要这样写。

六、保存数据（数据持久化）

常用的保存数据方法 with open

像豆瓣电影信息这样的数据，保存到Excel表格里面会更好。

所以需要使用到 csv 模块

#csv模块保存数据到Excel
f = open('豆瓣电影数据.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['电影名字', '参演人员', '上映时间', '拍摄国家', '电影类型',
                                           '电影评分', '评价人数', '电影概述'])
csv_writer.writeheader()    # 写入表头

这就是爬取了数据保存到本地了。

这只是一页的数据，爬取数据肯定不只是爬取一页数据。

想要实现多页数据爬取，就要分析网页数据的url地址变化规律。

可以清楚看到每页url地址是 25 递增的，使用for循环实现翻页操作

for page in range(0, 251, 25):
    url = f'https://movie.*****.com/top250?start={page}&filter='
# 因不可抗原因，网址屏蔽拉~你们自己添加一下哦~
# 完整代码可添加企鹅裙：582950881领取呐~

七、效果展示

尾语

好啦，本文章到这里就结束拉

有喜欢的小伙伴记得给博主一个三连哦~

希望你在学习的路上不忘初心，坚持不懈，学有所成

把时间和精力，放在自己擅长的方向，去坚持与努力，

如果不知道自己擅长什么，就尽快找到它。