【python爬虫】python爬虫demo

最新推荐文章于 2022-11-03 17:49:53 发布

masterbu

最新推荐文章于 2022-11-03 17:49:53 发布

阅读量4.1k

点赞数 9

分类专栏： python 文章标签： demo python BeautifulSoup requests

本文链接：https://blog.csdn.net/lA6Nf/article/details/79342318

版权

python 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了一个使用Python的requests库和BeautifulSoup库抓取酷狗音乐排行榜信息的简易示例。通过该示例，可以获取音乐的歌名、歌手、时长及链接等数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我在入门python爬虫的时候，在网上找demo，找了好久都找不到，好不容易找到了一个，但是又跑不起来。我把一个简易的demo贴出来。

使用 BeautifulSoup 库 抓取酷狗音乐TOP500 第1页到第9页的音乐歌名、歌手、时长、链接

1、需要先安装 `requests` 库和`BeautifulSoup` 库，自行百度

2、Demo

import requests
from bs4 import BeautifulSoup
import time
#import re

# headers 用chrom浏览器——F12——切换到network 栏,刷新下要访问的目标网站，就能找到`User-Agent` 复制下来就好。用于伪装浏览器，便于爬虫稳定性
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
                 '(KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}

def get_info(url):
    wb_data = requests.get(url, headers = headers) #get方法中加入请求头
    soup = BeautifulSoup(wb_data.text, 'html.parser') #对返回的结果进行解析
    # BeautifulSoup的select() 函数的使用见我的另一篇博文http://blog.csdn.net/la6nf/article/details/79338920
    # nth-child 在python中运行会报错，需改为 nth-of-type
    ranks = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_num > strong')
    links = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > a')
    times = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_tips_r > span')
    #time2 = re.findall('<span class="pc_temp_time">(.*?)</span>', wb_data.text, re.S)

    # get_text()从html标签中提取文本，strip()去除字符串两端的空格
    for rank, link, time,  in zip(ranks, links, times):
        data = {
            'rank': rank.get_text().strip(),
            'singer': link.get_text().split('-')[0].strip(),
            'song': link.get_text().split('-')[1].strip(),
            'time': time.get_text().strip(),
            'link': link.get('href')
        }
        print (data)

if __name__ == '__main__':  # 相当于java中的main方法
    urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format (num) for num in range(1,10)]
    for url in urls:
        get_info(url)
        #睡眠2秒
        time.sleep(2)