Python-爬虫爬取豆瓣top250数据并写入csv文件

Python-爬虫爬取豆瓣top250数据并写入csv文件

Python-爬虫爬取豆瓣top250数据并写入csv文件

前两天写了一个爬取豆瓣top250图片的,今天写一个加强版,爬取电影的名称、评分、短评等信息。豆瓣网top250首页链接

效果

先来看看最终的效果:在这里插入图片描述

整体代码

import requests
from lxml import etree
import csv

headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'} 
film_title_list=[]
film_grade_list=[]    
film_quote_list=[]

c=open(r'D:\douban\douban.csv','a+',newline='')
fieldname
好的,以下是Python爬取豆瓣Top250电影名称和评分存储为CSV文件的代码: ```python import requests from bs4 import BeautifulSoup import csv # 定义请求头部信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 定义要爬取的URL地址 url = 'https://movie.douban.com/top250' # 发送请求,获取HTML页面 response = requests.get(url, headers=headers) # 解析HTML页面 soup = BeautifulSoup(response.text, 'html.parser') # 定位电影列表 movie_list = soup.find('ol', class_='grid_view') # 定义空列表存储电影名称和评分 movies = [] # 遍历电影列表,获取每部电影的名称和评分 for movie_li in movie_list.find_all('li'): # 获取电影名称 movie_name = movie_li.find('span', class_='title').text # 获取电影评分 movie_score = movie_li.find('span', class_='rating_num').text # 将电影名称和评分添加到列表中 movies.append([movie_name, movie_score]) # 将数据存储到CSV文件中 with open('top250_movies.csv', 'w', encoding='utf-8', newline='') as f: writer = csv.writer(f) # 写入表头 writer.writerow(['电影名称', '评分']) # 写入数据 writer.writerows(movies) print('数据已存储到CSV文件中!') ``` 在代码中,我们首先定义了请求头部信息和要爬取的URL地址,使用requests库发送请求获取HTML页面。然后,使用BeautifulSoup库解析HTML页面,定位电影列表,遍历电影列表获取每部电影的名称和评分。最后,将数据存储到CSV文件中。 注意事项: 1. 可能需要安装BeautifulSoup库和csv库,使用pip install beautifulsoup4 和 pip install csv 进行安装。 2. 在存储CSV文件时,需要指定编码为utf-8,设置newline='',否则可能会出现换行符问题。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值