深信服爬虫笔试题-翻页url不变且是http方法是GET

爬取该网址下的前三页数据（作品名，专辑名，时长）
链接为千千音乐：http://music.taihe.com/artist/2517
u1s1，并不喜欢这个歌手

刚开始做的时候，觉得挺简单的，直接使用beautifulsoup进行爬取，分析源代码。

actor = []
issue = []
time = []
url = 'http://music.taihe.com/artist/2517'

r = requests.get(url)
soup = BeautifulSoup(text,'lxml')
listall = soup.find_all("li")
list1all = soup.find_all('div',attrs={'class':'songlist-inline songlist-album overdd'})
list2all = soup.find_all('div',attrs={'class':'songlist-inline songlist-time'})
for i in listall:
            if (i.find('span',attrs={'class':'songname'})):
                actor.append(i.find('span',attrs={'class':'songname'}).find('a')['title'])
for i in list1all:
            if(i.find('a')['title']):
                issue.append(i.find('a')['title'])
for i in list2all:
            time.append(i.string.strip())

data = {
        '歌名':actor,
        '专辑名':issue,
        '时长':time
    }
res = pd.DataFrame(data)
res.to_excel('深信服笔试.xls')

结果发现，没法爬取后两页的，因为翻页url不会变化。

翻页url不变的话，我们就应该检查网页元素，进入Networks，查看xhr，观察其随着翻页的变化。

尝试：
百度了一下，都是post加form data的，我们的网址是get方法，不管用。
直接将query string params的参数加到网址后面也不管用。

最终的话，通过分析Networks中的xhr文件，发现有这样一个链接http://music.taihe.com/data/user/getsongs?start=15&size=15&ting_uid=2517&.r=0.90405508416046551593676937657，它所指向的源代码就是我们要爬取的代码。

开始干活：
因为.r参数没有规律可循，并且删除掉发现不影响网页源码，因此直接使用http://music.taihe.com/data/user/getsongs?加上其他参数即可。

    actor = []
    issue = []
    time = []
	url = 'http://music.taihe.com/data/user/getsongs'
    for start in [0,15,30]:
        r = requests.get(url+'?start='+str(start)+'&size=15&ting_uid=2517')
        #对网页源码进行处理，先将\u的数据转换为汉字，然后将制表符都去掉，然后将含有多个转义符的字段进行替换
        text = r.text
        soup = BeautifulSoup(text,'lxml')
        listall = soup.find_all("li")
        list1all = soup.find_all('div',attrs={'class':'songlist-inline songlist-album overdd'})
        list2all = soup.find_all('div',attrs={'class':'songlist-inline songlist-time'})
        for i in listall:
            if (i.find('span',attrs={'class':'songname'})):
                actor.append(i.find('span',attrs={'class':'songname'}).find('a')['title'])
        for i in list1all:
            if(i.find('a')['title']):
                issue.append(i.find('a')['title'])
        for i in list2all:
            time.append(i.string.strip())

    data = {
        '歌名':actor,
        '专辑名':issue,
        '时长':time
    }
    res = pd.DataFrame(data)
    res.to_excel('深信服笔试.xls')
    return text

此处又出现了问题，转义符号的问题，我们所爬取的网页源码是原始字符串类型的，所以我们直接对爬取的源码进行打印，会发现转义符没有生效，这会影响soup对源码的解析。

解决方案：将制表符，回车符号替换为空，然后将含有多个转义符的字段进行替换。

此时写入文件成功，但会发现，写入的中文都会是一些转义文本，/u开头的。

解决方案：此处使用encode和decode将其转换为汉字就可以了。

代码如下：

import requests
import pandas as pd
import urllib.parse
from bs4 import BeautifulSoup
import re
import copy

def spider_wike():
    actor = []
    issue = []
    time = []
    url = 'http://music.taihe.com/data/user/getsongs'
    for start in [0,15,30]:
        r = requests.get(url+'?start='+str(start)+'&size=15&ting_uid=2517')
        #对网页源码进行处理，先将\u的数据转换为汉字，然后将制表符都去掉，然后将含有多个转义符的字段进行替换
        text = r.text.encode('utf-8').decode('unicode_escape').replace('\\n','').replace('\\r','').replace('\\t','').replace('\\"', '"').replace('\\\\', '\\').replace('\\/', '/')
        soup = BeautifulSoup(text,'lxml')
        listall = soup.find_all("li")
        list1all = soup.find_all('div',attrs={'class':'songlist-inline songlist-album overdd'})
        list2all = soup.find_all('div',attrs={'class':'songlist-inline songlist-time'})
        for i in listall:
            if (i.find('span',attrs={'class':'songname'})):
                actor.append(i.find('span',attrs={'class':'songname'}).find('a')['title'])
        for i in list1all:
            if(i.find('a')['title']):
                issue.append(i.find('a')['title'])
        for i in list2all:
            time.append(i.string.strip())

    data = {
        '歌名':actor,
        '专辑名':issue,
        '时长':time
    }
    res = pd.DataFrame(data)
    res.to_excel('深信服笔试.xls')
    return text

if __name__ == '__main__':
    s =spider_wike()