爬虫快速入门案例———豆瓣电影Top250

爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是模拟浏览器发送网络请求，接收请求响应，自动提取网页，然后按照一定的规则，自动地抓取互联网信息的程序

​

1、导入需要模块

import requests               #用于请求网页
from lxml import etree        #用于xpath提取数据
import csv                    #用于储存为csv格式文件数据

 2、请求头设置：

为了不被反爬虫，认为是机器人在发送请求，这里需要设置请求头信息

右击网页——检查（进入开发人员工具）——网络——标头

​

 这里需要用到User-Agent（用户代理，网站可以通判断来给不同的操作系统、不同的浏览器发送不同的页面）：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53

和Referer（记录你在访问一个目标网站时，在访问前你的原网站的地址，这里为了方便，设置为每个网页网址）

#请求头
header = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53',
    'Referer': ''
}

header['Referer'] = url

3、分析网址

第一页：

​

 第二页：

​

 这里可以看到每一页共25条电影信息，共10页