利用python爬取豆瓣音乐_python爬虫之豆瓣音乐top250

本文介绍了使用Python爬虫抓取豆瓣音乐Top250榜单的过程,包括设置请求头、解析HTML、获取音乐名称、作者、风格、发行时间和简介,并将数据存储到MongoDB中。作者分享了遇到的问题和解决方案,还进行了简单的数据分析,发现大部分音乐属于流行、摇滚和民谣风格。
摘要由CSDN通过智能技术生成

回家很久了,实在熬不住,想起来爬点数据玩一玩,之前自己笔记本是win7加ubuntu16.04双系统,本打算在ubuntu里写代码的,可是回到家ubuntu打开一直是紫屏,百度知乎方法用了也没解决,厉害的兄弟可以教下我哦,过年有红包哦!!然后就还是在win7下开始写代码了(电脑太卡,一直不想装Python),今天爬的是豆瓣音乐top250,比较简单,主要是练练手。

代码import requestsimport refrom bs4 import BeautifulSoupimport timeimport pymongo

client = pymongo.MongoClient('localhost', 27017)

douban = client['douban']

musictop = douban['musictop']

headers = {    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

urls = ['https://music.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]def get_url_music(url):

wb_data = requests.get(url,headers=headers)

soup = BeautifulSoup(wb_data.text,'lxm

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值