scrapy框架爬取网易云音乐billboard榜所有排行歌曲、链接、评论存入数据库中

最新推荐文章于 2024-04-03 14:10:33 发布
最新推荐文章于 2024-04-03 14:10:33 发布
阅读量1.7k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38654336/article/details/79529877
版权

实施前提：学习scrapy用法、Xpath用法、数据库连接方法（选用数据库：pymysql、pymongo、redis其中之一或几个）。观察网易云各排行榜之间的id关系。

具体实施：

踩点：图片如下


分析：页面嵌套真的是好多，比较头疼，总体思路就是，在tr标签且class = even下寻找<td class = 'rank'>  到  <div class = "f-cb">到<div class = "tt"> 到 <div class = "ttc">到<span class = "txt">中查找歌曲id，其中href="......"就是歌的链接地址的一部分，<b title=...>即为歌曲名字

OnMy22
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Python Scrapy实现的网易云音乐music163数据爬取爬虫系统 含全部源代码
07-10
基于Python Scrapy实现的网易云音乐music163数据爬取爬虫系统 含全部源代码 基于Scrapy框架的网易云音乐爬虫，大致爬虫流程如下： - 以歌手页为索引页，抓取到全部歌手； - 从全部歌手页抓取到全部专辑； - 通过所有专辑抓取到所有歌曲； - 最后抓取歌曲的精彩评论。 数据保存到`Mongodb`数据库，保存歌曲的歌手，歌名，专辑，和热评的作者，赞数，以及作者头像url。 抓取评论者的头像url，是因为如果大家喜欢，可以将他做web端。 ### 运行： ``` $ scrapy crawl music ``` #!/usr/bin/python #-*-coding:utf-8-*- import time from pprint import pprint from scrapy.spider import BaseSpider from scrapy.selector import HtmlXPathSelector from scrapy.http import Request from woaidu_crawler.items import WoaiduCrawlerItem from woaidu_crawler.utils.select_result import list_first_item,strip_null,deduplication,clean_url class WoaiduSpider(BaseSpider): name = "woaidu" start_urls = ( 'http://www.woaidu.org/sitemap_1.html', ) def parse(self,response): response_selector = HtmlXPathSelector(response) next_link = list_first_item(response_selector.select(u'//div[@class="k2"]/div/a[text()="下一页"]/@href').extract()) if next_link: next_link = clean_url(response.url,next_link,response.encoding) yield Request(url=next_link, callback=self.parse) for detail_link in response_selector.select(u'//div[contains(@class,"sousuolist")]/a/@href').extract(): if detail_link: detail_link = clean_url(response.url,detail_link,response.encoding) yield Request(url=detail_link, callback=self.parse_detail) def parse_detail(self, response): woaidu_item = WoaiduCrawlerItem() response_selector = HtmlXPathSelector(response) woaidu_item['book_name'] = list_first_item(response_selector.select('//div[@class="zizida"][1]/text()').extract()) woaidu_item['author'] = [list_first_item(response_selector.select('//div[@class="xiaoxiao"][1]/text()').extract())[5:].strip(),] woaidu_item['book_description'] = list_first_item(response_selector.select('//div[@class="lili"][1]/text()').extract()).strip() woaidu_item['book_covor_image_url'] = list
Python Scrapy 多线程爬取网易云音乐热门歌单信息（手把手教学）
qq_52181283的博客
01-02 5033
下面我将向大家介绍使用 Scrapy 爬虫获取 网易云音乐 的热门歌单信息。
网易云音乐上的所有！全部！随便爬！（Python爬虫&基于网易云音乐评论的用户推荐系统）
striver6的博客
02-01 9710
申明：本文纯属原创，有参考的地方都会在文中给出链接。如有转载，需征求本人同意。 一、目标网站介绍 网易云音乐是一款由网易开发的音乐产品，是网易杭州研究院的成果，依托专业音乐人、DJ、好友推荐及社交功能，在线音乐服务主打歌单、社交、大牌推荐和音乐指纹，以歌单、DJ节目、社交、地理位置为核心要素，主打发现和分享。 2017年11月17日，网易云用户突破4亿。知乎上有这样一个问题：你为什...
【爬虫】六、综合案例之爬网易云音乐评论信息
阿宁的博客
03-17 1468
pip install pycryptodomex #用Cryptodome.Cipher里的AES加密。所以要找的参数实际上是：params=>encText，encSecKey=>encSecKey。找到处理加密过程，即找window.asrsea(参数,…点栈元素，跳到sources，在光标处设置断点重新刷新。剩余三个参数可以看是什么值。需要找到加密的处理函数。
网易云歌曲评论抓取
最新发布
kirinmin
04-03 1468
网易云歌曲评论抓取
python爬取网易云音乐评论
04-01
本项目专注于使用Python爬取网易云音乐的评论信息，这涉及到网络请求、解析HTML或JSON数据、模拟登录等多方面知识。以下是对这些知识点的详细解释： 1. **requests库**：Python中的requests库是进行HTTP请求的主要...
Python爬虫实例——scrapy框架爬取拉勾网招聘信息
09-16
在本篇【Python爬虫实例——scrapy框架爬取拉勾网招聘信息】中，我们将探讨如何使用Python的Scrapy框架来抓取拉勾网上的Python相关职位信息。首先，我们需要理解整个爬取流程和分析思路。 1. **分析查询结果页**： ...
Scrapy框架爬取Boss直聘网Python职位信息的
09-19
### Scrapy框架爬取Boss直聘网Python职位信息详解 #### 概述 本文将详细介绍如何使用Scrapy框架来爬取Boss直聘网站上的Python职位信息。Scrapy是一款强大的Python爬虫框架，它可以帮助我们高效地抓取网页数据。...
源码：利用python的scrapy框架爬取安居客房价信息存入数据库并可视化
01-23
在本项目中，我们主要探讨如何使用Python的Scrapy框架来爬取安居客网站上的房价信息，并将这些数据存储到数据库中，最后实现数据的可视化。以下是对整个过程的详细阐述： 1. **Scrapy框架**： Scrapy是一个用...
python爬虫入门 实战（三）---爬网易云音乐热门评论
ssyyjj88的专栏
07-29 907
http://www.jianshu.com/p/0528f554e5f7 sudo pip install requests 分析api 我们首先用浏览器打开网易云音乐的网页版，随便进入一个歌单，点击进入一首歌曲的页面，可以看到下面有评论。接着F12进入开发者控制台（审查元素）。 分析api 我们在搜索框里输入comments即可找到对应的获取评论的ap
Scrapy获取网易云音乐歌手全部歌曲(excel存取)
WhaleFall
02-16 2769
前言:这个爬虫是为了之后爬取10W以上评论的歌曲做一下准备，这次以网易云音乐中的林俊杰为实验例子爬虫思路:爬取思路上，需要先通过歌手的所有专辑页面，获取到歌手的每个专辑的id，通过专辑的id转到专辑的界面，在专辑中获取歌曲id，转到歌曲界面后，我们就可以抓取歌曲上的信息了，不包括评论数，评论数是在另外的页面爬虫过程:首先展示一下爬虫的item部分class WangyimusictestItem(...
Scrapy爬虫+Selenium自动获取cookie爬取网易云音乐个人喜爱歌单
我不是秃头的博客
01-30 7072
此货很干,跟上脚步!!! Cookie cookie是什么东西? 小饼干?能吃吗? 简单来说就是你第一次用账号密码访问服务器 服务器在你本机硬盘上设置一个身份识别的会员卡(cookie) 下次再去访问的时候只要亮一下你的卡片(cookie) 服务器就会知道是你来了,因为你的账号密码等信息已经刻在了会员卡上 需求分析 爬虫要访问一些私人的数据就需要用cookie进行伪装 想要得到cookie就得先登录,爬虫可以通过表单请求将账号密码提交上去 但是在火狐的F12截取到的数据就是, 网易云音乐先将你的账号密码给编
爬虫 Billboard Top100 weekly
weixin_43088751的博客
01-31 530
最近对数据一块有了点兴趣，本着同时学习数据可视化和爬虫的目的，准备做一个关于北美音乐排行的可视化记录。目标数据是北美著名音乐排行榜 Billboard 的每周TOP100。用Selenium模拟浏览器（话说这玩意之前在了解自动化测试的时候学过一点）行为，Beautifulsoup选择DOM， xlwings操作excel. 直接上代码，看书现学现卖。复制代码的时候记得把webdriver换成自己的...
Python爬虫——抖音排行榜
bo_gu的博客
08-24 3291
最近公司准备搞个抖音号，叫我们爬一下抖音的排行榜，记录一下 链接在这里 选择二次元榜单，打开network，很快就可以找到数据存放的位置 简单分析一下可知，不同榜单的URL区别主要在于“billboard_type=”这个参数，这里需要一个一个确定一下，二次元的几个榜单的话是从61到68；还有得到的数据是json格式，接下来就可以写代码啦。对了，header还是要伪装一下的哈，主要是user-agent和cookie。其他保存自己需要的数据即可 from bs4 import BeautifulSoup
使用scrapy创建一个项目爬取网易云音乐的所有歌手的相关资料
李嘉豪的博客
06-20 1412
1、创建一个项目 scrapy startproject项目名称 我的项目叫Neteasy_music，所以命令是scrapy startprojectNeteasy_music 2、创建一个爬虫 先把目录切换到项目里面 cd 项目名称 scrapy genspider 爬虫名字 网站地址 我这里取的名字是neteasy_music，爬取的网页是music.163.com/d...
python爬取网易云飙升榜数据
m0_62004321的博客
12-05 4450
首先，我们打开网易云网页版，击排行榜，然后点击左侧云音乐飙升榜，如图： 使用开发者工具找到我们需要的数据： 源码： import requests from lxml import etree import re import json import urllib import xlwt import csv url = "https://music.163.com/discover/toplist?id=19723756" headers = {'user-agen...
scrapy框架爬取我爱我家并存入数据库
09-10
使用Scrapy框架爬取我爱我家网站数据，并将数据存入数据库，可以按照以下步骤进行操作： 1. 首先，创建Scrapy项目。在命令行中执行以下命令来创建一个新的Scrapy项目： scrapy startproject woaiwojia 2. 进入项目...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值