网上查了一下,发现爬取豆瓣top250比较简单,先试一下
1.导入相关的库
import requests
from lxml import etree
import csv
2.设置请求头
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'
}
3.获取url
url = 'https://movie.douban.com/top250?start=100' #各页之间只有?start=后面的数字不同
4.暂且爬取4页的电影名和评分
for page in range(0,100,25):
url = 'https://movie.douban.com/top250?start={}'.format(page)
resp = requests.get