使用集搜客爬取酷狗排行歌曲信息

最新推荐文章于 2021-11-22 22:36:07 发布
最新推荐文章于 2021-11-22 22:36:07 发布
阅读量739 收藏 6
点赞数
分类专栏： 爬虫 集搜客
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1406075864/article/details/80251812
版权
本文介绍了如何使用集搜客软件爬取酷狗音乐排行榜的歌曲信息。首先，确保电脑安装了.net4.0框架，然后在软件中输入酷狗音乐的排行页面URL，创建规则并指定主题。接着，通过添加包容规则，设定抓取内容，特别是带有链接的关键内容。映射数据关系后进行测试，保存规则并开始爬取。最后，可以在本地的xml文件中找到抓取到的数据。
摘要由CSDN通过智能技术生成 
    最近项目中遇到需要大量爬取歌曲数据的需求，且需要爬取歌曲的网站比较多，自己写爬虫显然开发成本很高，所以找了个集搜客来用。

1.安装教程可以自行百度，基本都是直接下一步，不过这个软件需要.net4.0的支持这里给个官网的连接.net framework
2.打开软件，输入网址，这里以酷狗为例，在地址栏输入地址http://www.kugou.com/yy/html/rank.html这里写图片描述
3.点击指定规则，输入主题名和网址,主题名是保存在该软件唯一的自己写就可以,输入完成点击查重,提示可用即可，如果不可用换一个即可
这里写图片描述
4.在工作台切换到创建规则tab页&#x

最低0.47元/天 解锁文章
fanxlxs
关注
专栏目录
Python爬虫之爬取酷狗音乐歌曲
qq_55306187的博客
02-19 8857
Python爬虫之爬取酷狗音乐歌曲 1.安装第三方库 在Python的语言库中, 分为Python标准库和Python的第三方库. Python标准库是在你安装Python的时候已经包含在了安装目录下, 而Python第三方库需要使用Python的包管理pip来安装. 在本次代码中, 我们需要用到request库. requests翻译成中文就是请求, 顾名思义, requests是用来模拟用户向服务器发出请求.下面我来介绍如何安装requests库:打开cmd, 输入pip install request
scrapy 爬取酷狗T500音乐
04-25
scrapy 爬取酷狗T500音乐,并把音乐下载到本地，其中下载的音乐信息保存到mongoDB
Python爬虫入门——2. 2爬取酷狗音乐top1-500歌曲信息
lpp5406813053的博客
11-10 2544
        有了第一个程序的基础，我们现在来爬取酷狗音乐top500的歌曲信息。连接http://www.kugou.com/yy/rank/home/1-8888.html 我们第一个程序只爬取了一个页面的数据，而现在我们需要爬取多个页面的数据，即跨页面爬虫。这就需要我们观察网页URL来构造一个列表利用for循环，分次抓取了。接下来看代码： #导入requests库 import re...
python爬虫爬取酷狗音乐
qq_52660776的博客
02-25 5385
老规矩，代码先行 # -*- codeing = utf-8 -*- # @Time : 2021/2/25 13:17 # @Author : 老七疯狂吸氧 # @file 酷狗音乐.py # @Software:PyCharm import re import requests import os import time import json headers = { 'User-Agent': 'Chrome/10' } def main(): print('例如：李荣浩的网址是：ht
爬取酷狗歌单top500
Programmer_huangtao的博客
10-19 1372
import requests from bs4 import BeautifulSoup import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'...
爬取酷狗飙升榜（100首）
04-12
python 使用 selenium 爬取酷狗音乐飙升榜（100）包括歌曲播放地址 音乐名 作者 以及音乐资源url地址
python爬取酷狗音乐的mv地址_爬取酷狗音乐.py
weixin_42521856的博客
01-13 616
import requestsfrom selenium import webdriverfrom pyquery import PyQuery as pq#获取歌名def Access_to_the_song(C):doc=pq(C)The_song=doc('.audioName').text()return The_song#进入听歌的界面爬取HTMLdef Browser_access(U...
python爬虫（爬取酷狗排行榜并保存到本地）
qq_50646296的博客
11-22 1840
目录 了解什么是爬虫 安装相关的库 分析爬取的网页 写出代码 一：了解什么是爬虫 爬虫专业来讲就是一个探测机器，又被称为网络蜘蛛或网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 但通俗来讲，爬虫就是模仿个人浏览网站，即爬取过程就是在模仿人的动作。 二：安装相关的库 requests-------------使用该库来进行对url的请求 bs4---------...
java爬取酷狗榜单歌曲信息并存入数据库
monkey-jie的博客
04-23 1442
这里只解析一下代码，所需工具jsoup、HttpClient httpCLient获取html后，用jsoup解析html，再用java来获取所需要的信息。 HTTPManage： package com.after.demo.spider; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogF...
Python每日一记66>>>python爬取多页酷狗音乐top500数据
教练我想学编程
05-30 398
之前有一个多页数据的爬取小练习，现在我们再来练习一个 爬取酷狗音乐top500数据，包括歌名和排名 以上代码的需要说明的地方： 1、每页网址的链接 与之前的可以手动翻页不同，这一次我们无法手动翻页找到每页的链接规律 第一页的链接：https://www.kugou.com/yy/rank/home/1-8888.html?from=rank 我们试图将1-8888换成2-8888，成功了，依...
Matlab 爬虫 Web Scraping with Matlab 02--爬取酷狗TOP500的数据
weixin_30549657的博客
05-17 182
一、利用的函数 主要利用matlab中的webread 和regexp两个函数 二、爬虫思路 获取源码发现，歌手和歌曲都存在这个标签里 所以使用regexp正则匹配就好了 三、实现 clc;close all;clear all top = cell(501,2);% k=1; top{1,1}='名次'; top{1,2}='歌手-歌名'; for ...
爬取酷狗音乐Top500
weixin_30588729的博客
06-23 351
开发环境：windows环境+python3+requests库(请求)+BeautifulSoup库(解析) 目标:爬取酷狗音乐Top500并保存到txt中 整个案例源代码： #导入程序需要的库，requests库用于请求获取网页，BeautifulSoup库用于解析网页数据，time库、random库用于随机延时 import requests from bs4 import B...
实例学习——爬取酷狗TOP500数据
JUNECODE的博客
08-05 1232
酷狗网址：https://www.kugou.com/yy/rank/home/1-8888.html?from=rank 环境：eclipse+pydev import requests from bs4 import BeautifulSoup import time headers ={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0...
爬虫学习之4：BeautifulSoup爬取酷狗Top500歌曲
寸先生的AI道路
06-28 1658
酷狗TOP500歌曲榜网页如图：通过观察链接和审查元素，使用BeautifulSoup即可轻松爬取，直接贴代码：import requests from bs4 import BeautifulSoup import time headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ...
python爬取酷狗音乐_python 爬虫 爬取酷狗音乐
weixin_39616547的博客
11-20 2141
终于到了周末！怎么能少得了我的每周一更的文章呢？介绍你是不是常常想要在各大音乐网站上下载音乐？但是网站却逼迫你下载他们的应用？不要怪他们，这只是他们的赚钱的方式（你不下载他们应用，他们怎么赚钱呢）然而，你下载了应用，它们却逼迫你购买vip……没关系，今天我们就来用爬虫手段“制裁”这些网站！首先，就由最简单的酷狗音乐开始爬！功能概述让用户输入要搜索的音乐名，然后把所有的音乐以及每一个音乐对应的信息展...
爬取酷狗音乐TOP榜所有的歌曲信息
qq_43539664的博客
10-08 2035
一、 构造url： 1. 进入酷狗音乐官方网站，点击酷狗TOP500，查看浏览器地址栏 可以看到地址为https://www.kugou.com/yy/rank/home/1-8888.html?from=rank；其中各个部分代码的含义如下： 字段 含义 https 传输协议 www.kugou.com 域名 yy/rank/home/abs 域名下的子网页 .html 代表网页是静态的 ？ 代表一种条件，后面接参数 1-8888 8888可能是端口，1代表当前页面数
网络爬虫分析实例:基于音悦台网站榜单的数据爬取与分析
Project of Idea
05-28 2752
基于音悦台网站榜单的数据爬取与分析 本实验代码：进入 一、研究背景 在互联网发展初期，网站相对较少，信息查找比较容易。然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的专业搜索网站便应运而生了。在Matthew Gray的Wanderer基础上，一些编程者将传统的―蜘蛛程序工作原理作了些改进。其设想是，既然所有网页都可能有连向其他网站的链接，那...
Python爬取酷狗音乐歌手信息
qq_41513230的博客
06-19 2065
前面我们说过用python爬取网易云音乐的歌手信息，Python爬取网易云音乐歌手信息 今天我们来爬取一下酷狗音乐的歌手信息（歌手id和歌手名），如果环境没有安装好，可以参照前面爬网易云环境配置作为参考，这里不再叙述 我们先来到酷狗音乐的首页 我们来到歌手界面，其中我们要的数据都在这里 以上我歌手界面，通过对超链接的点击和url的变化，我们得到以下的对应规则 https://www.kugou.com/yy/singer/index/1-a-2.html 上面是华语男歌手以a开头的第一页的URL示例信
python爬取酷狗vip歌曲
最新发布
09-08
要使用Python爬取酷狗VIP歌曲，你可以按照以下步骤进行操作： 1. 首先，你需要安装requests库和bs4库。你可以通过以下命令在命令行中安装它们： ``` pip install requests pip install beautifulsoup4 ``` 2. 然后，你需要分析酷狗网页的结构和网址。确定你要爬取的VIP歌曲的页面网址。 3. 接下来，你可以使用以下步骤来编写Python代码来实现爬取酷狗VIP歌曲： - 导入所需的库：requests和bs4。 - 使用requests库发送一个GET请求，获取酷狗VIP歌曲的页面内容。 - 使用bs4库解析HTML页面，提取出VIP歌曲的相关信息，如歌曲名、歌手、专辑等。 - 将提取到的VIP歌曲信息保存到一个文件中，比如使用txt文件格式。 4. 最后，你可以运行代码并观察结果。你应该能够看到爬取到的酷狗VIP歌曲的相关信息保存在指定的txt文件中。 希望以上步骤对你有所帮助，祝你成功爬取酷狗VIP歌曲！<span class="em">1</span>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值