Python抓取酷狗音樂存入mongDB中

8 篇文章 0 订阅
2 篇文章 0 订阅

#//div[@class=‘pc_temp_songlist’]/ul/li/ span.pc_temp_num and a

import requests
from bs4 import BeautifulSoup
import time
import pymongo
headers = {
    'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"
}
client = pymongo.MongoClient()
db = client.spider_96.kugou

def Kugou(url,count):
    reponse=requests.get(url,headers=headers)
    soup = BeautifulSoup(reponse.text,'lxml')
    titles = soup.select('.pc_temp_songlist > ul > li > a')
#編號
    number = soup.select('span.pc_temp_num')
#時間
    times = soup.select('span.pc_temp_time')
    for title,num,time in zip(titles,number,times):
        data={
        'num' : num.get_text().strip()
        ,'song':title.get_text().split('-')[1].strip()
        ,'singer':title.get_text().split('-')[0].strip()
        ,'time':time.get_text().strip()
        }
        print(data)
        Mongo(data)
    count+=1
    # print('--'*20+"第{}頁".format(str(count)))

def Mongo(data):

    #插入數據
    id = db.insert(data)
    print(id)

if __name__=='__main__':
#至多24
    for i in range(1,24):
        url ='https://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(i)
        Kugou(url,i-1)
        time.sleep(2)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值