爬虫爬豆瓣电影

最新推荐文章于 2024-06-07 17:16:22 发布

han____shuai

最新推荐文章于 2024-06-07 17:16:22 发布

阅读量573

点赞数

上篇文章主要讲了爬虫的几种方式的概念和技巧，不了解或者不太熟悉可以再看看：

网络爬虫常用的几种技巧，三探爬虫，理解爬虫

文章开始之前先讲一下大概步骤，先是确定 URL 格式。

1.首先豆瓣所在的地址为：

https://movie.douban.com/top250?start=00&filter= （不懂得看解释）

https:// 代表使用的资源传输 https 协议。不加 s 的是不加保密协议

movie.douban.com 豆瓣的二级域名，指向主服务器

/top250 主服务中分枝的资源。为一个定位符

?start=00&filter= URL的两个参数开始从什么地方展示和过滤条件。通过修改这个的参数值可以找到不同段的东西

2.页面抓取

这里使用的是 requests 库发送页面请求获取服务器传来的响应，随后利用BeautifulSoup库完成对网页代码的解析

这个需要准备工做请确保已经安装好了第三方 requests 库、BeautifulSoup 库等如果没有安装请使用cmd打开命令行界面，并逐行键入以下代码等待一大串安装过程后再重新启用 Pycharm ：

pip install requests

pip install bs4

随后的提取分析和写入文件详细在正文中介绍。

正文

上面的是属于利其器。正文才是善其事。

抓取分析

本次抓取的信息内容比较简单。只需要利用 requests 库向指定网站发送请求，获取服务器传来的响应，随后利用BeautifulSoup库完成对网页代码的解析，同时为了进一步防止触发反爬虫机制。具体分析如下：
首先，我们本次爬取的网站是

https://movie.douban.com/top250?start=00&filter=

右键点击 检查 按钮，或者直接按下 F12 进入开发者界面，点开 Network 一栏，并按下 F5 刷新按钮，必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示：

观察表单中的相关信息

这里我们可以看到，网站请求的 Request URL ，再往下翻观察 Request Headers信息，为了避免触发反爬虫机制，我们要尽量把爬虫程序做的更像是人在浏览网页。

接下来便是对网页的提取与保存，我们开始今天的爬虫工作。

爬取信息与保存

在安装完毕我们在一开始介绍的第三方库后，这里我们需要首先导入这些文件才能够进行后续的操作。

import requests
from bs4 import BeautifulSoup

网页请求头的设置

为了使爬虫程序模拟的更像人在操作，因此我们添加了请求过程中一些比较重要的请求头信息，并将其整理成一个请求函数，具体如下：

def get_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '
                      '(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
        'Host':'movie.douban.com'
            }
    r = requests.get(url,headers = headers)
    return r

接下来我们便开始网页的爬取工作。

数据的爬取与保存

首先，我们需要对单个网页的信息进行爬取，通过对响应代码的分析，我们利用 BeautifulSoup 库完成对代码的解析。同时将其定义为 get_pictures_url() 函数。具体如下：

def get_pictures_url(url,number):
    r = get_page(url)
    Number = 0 + number * 25
    if r.status_code == 200:
        soup = BeautifulSoup(r.content)
        pictures_url = soup.find_all('div',class_="item")
        for pictures in pictures_url:
            Number += 1
            try:

                with open('top250.txt','a') as f:
                    print('正在存储top第{}'.format(Number))
                    f.write('TOP排名：' + str(Number) + '\n')
                    f.write('源网页：' + pictures.find('a',class_="")['href'] + '\n')
                    f.write('海报地址：' + pictures.find('img', class_="")['src'] + '\n')
                    f.write('片名：' + pictures.find('img', class_="")['alt'] + '\n')
                    f.write(pictures.find('div', class_="bd").p.get_text()[29:40] + '\n')
                    f.write('一句话介绍：' + str(pictures.find('span', class_='inq').string) + '\n\n\n')
                    f.flush()
                    print("%s已存储" % pictures.find('img', class_="")['alt'])
            except:
                print('Fail download')

单个网页的内容收集完毕后，我们需要获取如何跳入下一页。这里我们发现，通过更改不同页数的网页 URL 之间的 pageNum 参数，可以实现网页之间的切换。

https://movie.douban.com/top250?start=0&filter=
https://movie.douban.com/top250?start=25&filter=
https://movie.douban.com/top250?start=50&filter=

这里不懂得看上面的对 URL 的解释中提到了。

启动程序

最后，键入以下代码便能够实现整个程序的运行：

if __name__ == "__main__":
    for i in range(11):
        get_pictures_url("https://movie.douban.com/top250?start={}&filter=".format(i*25),i)
    print('-------------------------------------')
    print('数据保存完毕')

很感谢Python通的小尚同学很多代码是这大佬完成的。在爬虫程序完成后，会在文件保存的根目录下出现 top250.txt 的文件。此外，本次爬虫只限于对数据的爬取与保存工作，其余工作没做。

这是最终结构。