爬取豆瓣音乐TOP250数据保存到csv文件和xls文件

爬取的目标网址:https://music.douban.com/top250

利用lxml库,获取前10页的信息,需要爬取的信息包括歌曲名、表演者、流派、发行时间、评分和评论人数,把这些信息存到csv和xls文件

在爬取的数据保存到csv文件时,有可能每一行数据后都会出现空一行,查阅资料后,发现用newline=’'可解决,但又会出现错误:‘gbk’ codec can’t encode character ‘\xb3’ in position 1: illegal multibyte sequence,然后可用encoding = "gb18030"解决
代码如下:

import xlwt
import csv
import requests
from lxml import etree
import time

list_music = []
#请求头
headers={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"}
#爬取的内容保存在csv文件中
f = open(r"D:\Python爬虫\doubanmusic.csv","w+",newline = '',encoding = "gb18030")
writer = csv.writer(f,dialect = 'excel')
#csv文件中第一行写入标题
writer.writerow(["song","singer","time","liupai","mark","coment"])


#定义爬取内容的函数
def music_info(url):
    html = requests.get(url,headers=headers)
    selector = etree.HTML(html.text)
    infos = selector.xpath('//tr[@class="item"]')
    for info in infos:
        song = info.xpath('td[2]/div/a/text()')[0].strip()
        singer = info.xpath('td[2]/div/p/text()')[0].split("/")[0]
        times = info.xpath('td[2]/div/p/text()')[0].split("/")[1]
        liupai = info.xpath('td[2]/div/p/text()')[0].split("/")[-1]
        mark = info.xpath('td[2]/div/div/span[2]/text()')[0].strip()
        coment = info.xpath('td[2]/div/div/span[3]/text()')[0].strip().strip("(").strip(")").strip()
        list_info = [song,singer,times,liupai,mark,coment]
        writer.writerow([song,singer,times,liupai,mark,coment])
        list_music.append(list_info)
    #防止请求频繁,故睡眠1秒
    time.sleep(1)
    
if __name__ == '__main__':
    urls = ['https://music.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]
    #调用函数music_info循环爬取内容
    for url in urls:
        music_info(url)

    
    #关闭csv文件
    f.close()
    #爬取的内容保存在xls文件中
    header = ["song","singer","time","liupai","mark","coment"]
    #打开工作簿
    book = xlwt.Workbook(encoding='utf-8')
    #建立Sheet1工作表
    sheet = book.add_sheet('Sheet1')
    for h in range(len(header)):
        sheet.write(0, h, header[h])
    i = 1
    for list in list_music:
        j = 0
        for data in list:
            sheet.write(i, j, data)
            j += 1
        i += 1
    #保存文件
    book.save('doubanmusic.xls')

结果部分截图:
在这里插入图片描述

  • 5
    点赞
  • 38
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,我来给你讲一下具体的步骤。 首先,我们需要用Python的requests库和BeautifulSoup库来爬取豆瓣电影TOP250的页面内容。具体代码如下: ```python import requests from bs4 import BeautifulSoup import csv # 发送请求并获取页面内容 url = 'https://movie.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') ``` 然后,我们需要用BeautifulSoup库来解析页面内容,并把需要的信息保存到一个列表里。这里我们需要获取电影的排名、电影名、评分、评价人数和电影简介。具体代码如下: ```python # 解析页面内容并获取需要的信息 movie_list = [] for item in soup.select('.item'): rank = item.select('em')[0].get_text() title = item.select('.title')[0].get_text().split('/')[0].strip() rating = item.select('.rating_num')[0].get_text() rating_num = item.select('.rating_num')[0].find_next_sibling().find_next_sibling().get_text().replace('人评价', '') movie_info = item.select('.bd p')[0].get_text().strip() movie_list.append([rank, title, rating, rating_num, movie_info]) ``` 最后,我们把数据保存csv格式的文件。具体代码如下: ```python # 将数据保存csv格式的文件 with open('douban_top250.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(['排名', '电影名', '评分', '评价人数', '电影简介']) for movie in movie_list: writer.writerow(movie) ``` 这样,我们就完成了Python爬取豆瓣电影TOP250保存csv的操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值