Python爬虫之爬取豆瓣电影名

---

前言

网络爬虫也可称作网络蜘蛛，其目的是按要求获取万维网信息，目前网络上每天数据海量，如果手动采集很耽误时间而且浪费精力，使用爬虫可以解决大量的时间和精力

---

一、爬虫是什么？

爬虫，也叫网络蜘蛛，是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。 爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作（此处引用维基百科对网络爬虫的介绍）。

二、爬虫演示

1.简单示例

代码如下（示例）：

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' +
            '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'
    }
    res = requests.get("https://movie.douban.com/top250", headers=headers)
    print(res.status_code)
    soup = BeautifulSoup(res.text, 'lxml')
    targets = soup.find_all("div", class_="hd")
    for each in targets:
        print(each.a.span.text

该代码爬取的是豆瓣电影 Top 250里的电影名，下面简单分析一下这个爬虫

2.爬虫分析

以下代码是爬虫代理，如果不使用代理，我们将爬取不到任何数据

 headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' +
            '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'
    }

下面的代码是用来获取网络连接的，第一个参数就是网址，要确保网址能够打开，第二个参数就是代理

 res = requests.get("https://movie.douban.com/top250", headers=headers)

下面是对网址进行解析，第一个参数是网站，后缀名".text"是将网站源码转换为文本，方便解析；第二个参数是解析器，而lxml就是一种解析器，用来解析网站

soup = BeautifulSoup(res.text, 'lxml')

下面代码是匹配所有电影名所在的标签，如图，观察网页源码可以看出来所有的电影名都位于class=hd的div标签下，所以我们查找所有的符合条件的标签

 targets = soup.find_all("div", class_="hd")

下面就是个简单的for循环，输出标签中的电影名。如图，观察一下就可以看出来所有的电影名都在a标签中的span标签中，所以我们循环输出就可以了，但要注意转换为文本，避免出现乱码的情况。

   for each in targets:
       print(each.a.span.text)

---

总结

这次讲的是最为基本的爬虫，很简单，也几乎没有任何难度，可以说是爬虫的入门，但也还是有些难度的，下次会讲解一些更为复杂的爬虫