豆瓣电影排行榜数据爬取

爬虫流程

确定需求

标题，图片链接，评分

找到数据所在链接

[https://movie.douban.com/chart?t=1477886984558](https://movie.douban.com/chart?t=1477886984558

)

构造请求头向服务器发送请求

添加UA

解析数据

使用bs4进行解析数据

存储数据

可以把数据存储到csv文件

 

#构造请求头向服务器发送请求
import requests
链接='https://movie.douban.com/chart?t=1477886984558'
请求头={
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'
    }
response=requests.get(url=链接,headers=请求头)
#print(f'状态码:{response.status_code}') #状态码
response=response.text #源代码

#解析数据
from bs4 import BeautifulSoup
soup=BeautifulSoup(response,'lxml') #初始化
标题list=[]
评分list=[]
图片list=[]
for i in soup.find_all(class_="item"):
    图片链接=i.img['src']
    标题=i.find(class_="pl2").a.text.strip().replace(' ','').replace('\n','')
    评分=i.find(class_="pl2").find(class_="rating_nums").text  
    标题list.append(标题)
    评分list.append(评分)
    图片list.append(图片链接)


#存储数据
with open('douban.csv','w',encoding='utf-8') as f:
    f.write('评分,图片,标题\n')
    for i in range(len(图片list)):
        f.write(f'{评分list[i]},{图片list[i]},{标题list[i]}\n')