【python爬虫】python爬虫demo

我在入门python爬虫的时候，在网上找demo，找了好久都找不到，好不容易找到了一个，但是又跑不起来。 我把一个简易的demo贴出来。

使用 BeautifulSoup 库 抓取 酷狗音乐TOP500 第1页到第9页的音乐歌名、歌手、时长、链接

1、需要先安装 requests 库和BeautifulSoup 库 ，自行百度

2、Demo

import requests
from bs4 import BeautifulSoup
import time
#import re

# headers 用chrom浏览器——F12——切换到network 栏,刷新下要访问的目标网站，就能找到`User-Agent` 复制下来就好。用于伪装浏览器，便于爬虫稳定性
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
                 '(KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}

def get_info(url):
    wb_data = requests.get(url, headers = headers) #get方法中加入请求头
    soup = BeautifulSoup(wb_data.text, 'html.parser') #对返回的结果进行解析
    # BeautifulSoup的select() 函数的使用见我的另一篇博文http://blog.csdn.net/la6nf/article/details/79338920
    # nth-child 在python中运行会报错，需改为 nth-of-type
    ranks = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_num > strong')
    links = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > a')
    times = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_tips_r > span')
    #time2 = re.findall('<span class="pc_temp_time">(.*?)</span>', wb_data.text, re.S)

    # get_text()从html标签中提取文本，strip()去除字符串两端的空格
    for rank, link, time,  in zip(ranks, links, times):
        data = {
            'rank': rank.get_text().strip(),
            'singer': link.get_text().split('-')[0].strip(),
            'song': link.get_text().split('-')[1].strip(),
            'time': time.get_text().strip(),
            'link': link.get('href')
        }
        print (data)

if __name__ == '__main__':  # 相当于java中的main方法
    urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format (num) for num in range(1,10)]
    for url in urls:
        get_info(url)
        #睡眠2秒
        time.sleep(2)