pytho网络爬虫之歌曲爬取

怀着对网络爬虫的好奇，在暑假自学了python的一些基本知识，之后便开始了pyton网络爬虫的学习，兴趣是最好的老师，但是每一次成功的跑起来的喜悦之情也是令人舒服的，为了让我们枯燥的学习变的不那么枯燥。今天就分享写自己写的一个小的程序，那就是利用pyton网络爬虫获取歌曲并且保存，当然对于图片、视频等同样适用。共勉。

首先，选取网址。

我的选择是：http://www.333ttt.com/

原因：1.该网站没有robots协议

           2.该网站的网页之间具有鲜明的关系，对于初学者易理解。

我们将爬取该列表的歌曲

随便点进该歌的页面，再多试几首，你就会发现：

此时，规律是不是很明白，所以我们构建的网址格式是

url = "http://www.333ttt.com/up/up210352"
url = url + str(i) +".html"  其中i为后面的四位数字，每次只需要根据自己的需求更改即可。

代码书写：

我采取的是python3.6的版本，个人觉得该程序只需要requests库，re库，os库即可。

复制网站中提供的MP3的链接。再网页源代码中进行查找，然后书写正则表达式：

select = re.compile('<span class="STYLE3"><a href="(.*?)">.*?</a>',re.S)
select1 = re.compile('<span class="STYLE3"><a href=.*?>(.*?)</a>', re.S)

前者为链接的匹配，后者为名字的匹配，便于理解，将该两者分开查找。

话不多话，上代码：

import requests
import re
import os
root = "D://mp3//"
name = []
num = 0
class Sp():
    def __init__(self,url):
        self.url = url
    def getTxt(self):
        url = self.url
        r = requests.get(url)
        r.encoding = r.apparent_encoding
        return r.text
for i in range(6983,7005):
    url = "http://www.333ttt.com/up/up210352"
    url = url + str(i) +".html"
    spider = Sp(url)
    t = spider.getTxt()
    select = re.compile('<span class="STYLE3"><a href="(.*?)">.*?</a>',re.S)
    select1 = re.compile('<span class="STYLE3"><a href=.*?>(.*?)</a>', re.S)
    ps = re.findall(select,t)
    ps1 = re.findall(select1,t)
    for i in ps1:
        name.append(i)
    for p in ps:
        url = p
        path = root + name[num]
        try:
            if not os.path.exists(root):
                os.mkdir(root)
            if not os.path.exists(path):
                r = requests.get(url)
                with open(path, 'wb') as f:
                    f.write(r.content)
                    f.close()
                    print(name[num] + "保存成功")
                    num += 1
            else:
                print(name[num] + "保存失败")
                num += 1
        except:
            continue

其中name是接受匹配的歌曲名字。该程序没有经过优化。内容也是易懂，就不做太多解释。

之后的画面是这样的：

运行过程可能有点慢，但是此刻表示已经成功了。初写博客，不妥之处，请多赐教。