Python-爬虫爬取豆瓣top250数据并写入csv文件
Python-爬虫爬取豆瓣top250数据并写入csv文件
前两天写了一个爬取豆瓣top250图片的,今天写一个加强版,爬取电影的名称、评分、短评等信息。豆瓣网top250首页链接
效果
先来看看最终的效果:
整体代码
import requests
from lxml import etree
import csv
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
film_title_list=[]
film_grade_list=[]
film_quote_list=[]
c=open(r'D:\douban\douban.csv','a+',newline='')
fieldname