爬取网易云音乐50000+首歌曲

最新推荐文章于 2024-07-15 10:36:04 发布

ZHANG_YAN__1008

最新推荐文章于 2024-07-15 10:36:04 发布

阅读量4k

点赞数 3

分类专栏：爬虫文章标签： python 爬虫 mysal数据库

本文链接：https://blog.csdn.net/ZHANG_YAN__1008/article/details/81318743

版权

爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

用python写的一个爬虫程序，可以实现歌曲的下载功能，大约有50000多首歌曲可以下载（本文仅供学习使用）

1、爬虫程序，请求网页，解析网页，储存所需要的信息（wangyi.py）

from urllib import request
#这里使用的是第三方urllib库来请求url
import random
import lxml
from conn_db import art_db
#这里导入自定义的数据库连接、读写的库
from multiprocessing import Pool
#引用进程池，多进程的请求url

ua_list=[
    {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},
    {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; Media Center PC 6.0; InfoPath.3; MS-RTC LM 8; Zune 4.7)"},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; Media Center PC 6.0; InfoPath.3; MS-RTC LM 8; Zune 4.7"},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)"},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)"},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)"},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; Tablet PC 2.0; InfoPath.3; .NET4.0C; .NET4.0E)"},
    {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0"}
    ]
#上面是user-agent池，存放多个不同的user-agent
header = {
        'User-Agent':random.choice(ua_list)["User-Agent"]
        }
#上面是动态的随机生成user—agent，减少被识别的风险

def url_request(url):
    requ = request.Request(url,headers=header)
    html = request.urlopen(requ).read().decode("utf-8")
    return html
#请求目标url

def get_artist(url):
    html = url_request(url)
    html = lxml.etree.HTML(html)
    li_art = html.xpath('//*[@id="m-artist-box"]/li')
    for art in li_art:
        art_name=art.xpath(".//a[1]/text()")[0]
        art_id =art.xpath(".//a[1]/@href")[0]
        art_db.get_art(art_name,art_id)
        get_art_song(art_name,art_id)
#上面部分是得到所有的歌手信息：姓名，id
#调用自定义的db模块，信息存入到数据库中
#并且调用下面的函数，得到歌曲信息
#这里主要用到xpath方法对目标页面进行解析分离出自己想要的部分

def get_art_song(art_name,art_id):
      url = "https://music.163.com{}".format(art_id) 
      html = url_request(url)
      html = lxml.etree.HTML(html)
      li_song = html.xpath('//ul[@class="f-hide"]/li')
      for song in li_song:
          song_name = song.xpath("./a/text()")[0]
          print("正在存储---{}--链接".format(song_name))
          song_src = song.xpath("./a/@href")[0]
          art_db.get_song(song_name,song_src,art_id)
#同样的将歌曲的信息，下载链接等存放如数据库中

if __name__ == "__main__":
#    华语歌手列表        
    art_id_ch= [1001,1002,1003]       
    #欧美歌手列表  
    art_id_ou= [2001,2002,2003]
    #日本歌手列表  
    art_id_jp= [6001,6002,6003]     

    all_art_id = art_id_ch + art_id_ou + art_id_jp
    #所有分类歌手的id号       
    pool = Pool()
    #创建进程池，将对应的分类id的url传入创建进程
    for x in all_art_id:
        url_artist = "https://music.163.com/discover/artist/cat?id={}".format(x)
        pool.apply_async(get_artist,(url_artist,))
        pool.close()
        pool.json()

上面的是爬虫的主程序，主要利用多进程的思想，加快的爬取的效率；同时在对目标网页进行解析中可以用到很多方法，比如说：beautifulsoup、正则匹配等都可以快熟的筛选出想要的信息。

2、下面的就是自定义的数据库模块（conn_db.py）,这一部分不需要独立运行，而是有主爬虫程序调用使用。

import pymysql as pm

class Mysqlpython:   
    def __init__(self):
        self.host = "127.0.0.1"
        self.port = 3306
        self.db = "song_db"
        self.user = "root"
        self.passwd = "123456"
        self.charset = "utf8"
        #上面是数据库的基本参数
        self.conn = pm.connect(host=self.host, port=self.port, db=self.db, user=self.user,
                            passwd=self.passwd,
                            charset=self.charset)
        self.cur = self.conn.cursor()
    #这里初始化的创建连接数据库，不会再使用时重复调用

    def get_art(self, art_name,art_id):        
        sql1 =" CREATE TABLE art_id(id int PRIMARY KEY AUTO_INCREMENT,art_name varchar(50) NOT NULL,art_id varchar(50) NOT NULL);"
        sql2 ="CREATE UNIQUE INDEX art_id_art_id_uindex ON art_id (art_id);"
        #创建歌手表，生成唯一索引，在后续的歌曲下载过程中加快搜索速度
        sql3  = "INSERT INTO `song_db`.`art_id` (`art_name`, `art_id`) VALUES ('{}', '{}');".format(art_name,art_id)
        try:
            self.cur.execute(sql1)
            self.cur.execute(sql2)
            self.conn.commit()
         #使用try语句创建数据库，判断如果数据库已经创建过的，就生成异常，跳过创建
        except:
            pass
        try:
            self.cur.execute(sql3)
            self.conn.commit()
            #将爬取的歌手信息存储到数据库中
        except:
            pass
        return None

    def get_song(self,song_name,song_src,art_id):
        sql1 = "CREATE TABLE song_id(id int PRIMARY KEY AUTO_INCREMENT,song_name varchar(50),song_id varchar(50),song_art_id varchar(50));"
        sql2 = "INSERT INTO `song_db`.`song_id` (`song_name`, `song_id`, `song_art_id`) VALUES ('{}', '{}', '{}');".format(song_name,song_src,art_id)
        try:
            self.cur.execute(sql1)
            self.conn.commit()
        except:
            pass
        try:
            self.cur.execute(sql2)
            self.conn.commit()
        except:
            pass
        return None
    #上面同样是创建歌曲表，将爬取的歌曲信息存放如数据库中

    def select_song(self,name,song):
        sql = "SELECT art_name,song_name,song_id from art_id join(select song_name,song_id,song_art_id from song_id)t on song_art_id =art_id and song_name='{}' and art_name = '{}';".format(song,name)
        self.cur.execute(sql)
        songs = self.cur.fetchall()
        self.conn.commit()
        return songs
    #上面部分对应的是，在下载歌曲中查找的操作

art_db = Mysqlpython()
#生成实例，在爬虫主程序中调用这个实例和与之对应的方法，实现连接数据库的功能

数据库的连接模块独立封装，降低的主程序的代码冗余，可以是整个的逻辑更加畅通，而且复用性更强，添加新的功能更为方面

3、歌曲的下载模块（songs_down.py）
同上上面的两个步骤，已经把我们想要的歌曲存储到数据库中，我们只需要搜索目标歌手，歌曲就能完成下载。

from conn_db import art_db
from urllib import request

def song_select(name,song):
    songs = art_db.select_song(name,song)
    song_num = len(songs)
    print("搜索到{}首相关歌曲".format(song_num))
    if song_num:
        return songs
    else:
        return None
  #这里通过搜索数据库中歌曲信息，来查找对应歌曲

def song_down(x):
    song_id = x[2].split("?")[1]
    url = "http://music.163.com/song/media/outer/url?{}.mp3".format(song_id)
    header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    requ = request.Request(url,headers=header)
    html = request.urlopen(requ).read()
    #请求歌曲信息，在爬虫的主程序中，我们已经拿到也歌曲所对应的字节流地址，并写入数据库，现在我们直接请求数据流地址，返回的就是对应歌曲的字节流，在经过写入文件，就能达到下载的目的

    with open("{}.mp3".format(x[1]),"wb") as song_f:
        song_f.write(html)
    print("下载完成！")

if __name__ == "__main__":
    while True:
        name = input("请输入歌手：")
        if not name:
            break
        song = input("请输入歌曲：")
        songs = song_select(name,song)
        #输入想要下载的歌手，歌曲，搜索对应信心是否存在
        if songs:
            for x in songs:
                print("正在下载----{}---{}".format(x[0],x[1]))
                song_down(x)