1.一般的python爬虫很简单,直接请求对应网址,解析返回的数据即可,但是有很多网站的数据的js动态渲染的,你直接请求是得不到对应的数据的
这时就需要其它手段来处理了。
2.以一个例子来说明,整个过程,爬取一个音乐网站的对应歌手的歌曲。
- 目标网址http://tool.liumingye.cn/music/?page=searchPage,在搜索框输入歌手名字即可得到歌曲。
- 如果我们直接请求这个网址:http://tool.liumingye.cn/music/?page=audioPage&type=migu&name=周杰伦,返回的数据不是我们想要的
- 在inspect里分析js或xhr数据找到真正的网址,可以看到在NetWork下的XHR中找到我们想要的网址,还有POSt请求时发送的数据
-
我们仿照他发起一个post请求,返回的数据确实是我们想要的,里面包含歌曲名字,还有下载地址,歌词等信息,直接请求歌曲下载地址即可。
import requests headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'} data={'data':'3c7frUZZlQooe5YYDmZVHi9O4qOxgj8oXuivPGr2sfTT65IGXo85FOqjwtoJPmO-t6ew_q_59dY1SSl7','v':'2'} r=requests.post('https://app.onenine.cc/m/api/search',headers=headers,data=data) data=r.json()#转为json print(data['data']['list'])
- 大家不要觉得这样就可以了喔,其实问题还有很多。第一,你要构造POST请求必须要得到data参数的数据,就是那一长串字符串,如果没有data的话,会返回状态码403,禁止访问
- 而且每一个歌手或歌曲的data参数都是动态生成的,没有规律的,这样的话,你每构造一个POST请求就要在游览器那里看一下data参数是多少,根本不符合爬虫的要求。
- 第二,返回的数据只有二十首歌曲,想要得到更多,就必须点击‘下一页'按钮,网站才会去请求下一个二十首,然后渲染到网页上,所以就算有data参数,也无法爬到更多数据。
3.这时就到了Seleninum和Browsermob-proxy出场了。Seleninum是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器。它主要得功能就是可以模拟游览器行为,包括执行js代码,寻找各种元素,发送点击,滑动事件等等。这样我们就可以实现点击功能了。selenium的教程推荐这个,他写得不错,比我写得好
https://blog.csdn.net/qq_32502511/article/details/101536325
Browsermob-proxy是一个开源的Java编写的基于LittleProxy的代理服务。Browsermob-Proxy的具体流程有点类似与Flidder或Charles。即开启一个端口并作为一个标准代理存在,当HTTP客户端(浏览器等)设置了这个代理,则可以抓取所有的请求细节并获取返回内容.简单来说就是它可以将网站的请求和返回的数据获取到,就如游览器的'inspect'功能,这样我们就可以获取到‘seacher’的数据了
Browsermob-proxy的教程推荐这个,不难的,看一下就可以上手了。https://blog.csdn.net/qq_32502511/article/details/101536325
4.我们分析一下获取到的数据,包含名字和歌词,封面,下载地址。歌曲的下载地址有四种,url_m4a是流畅,128是标准,320是高品,flac则是无损音乐。url那一栏是在线播放
4.有上面这些准备后就可以写代码爬取数据了,代码如下(有详细注释)
from selenium import webdriver
import time
import os
import threading
import simplejson as json
from browsermobproxy import Server
import requests
from selenium.webdriver.chrome.options import Options
#Browsermob-proxy的路径
server=Server(r"D:\Python3.7\browser-proxy.bat\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat")
server.start()#启动browsermob-proxy
proxy=server.create_proxy()
chrome_options=Options()
#获取游览器对象,设置无界面模式
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--headless')#无头模式,不开启游览器界面
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--incognito')
driver=webdriver.Chrome(chrome_options=chrome_options)#启用谷歌游览器
#获取音乐的信息
def getDownloadUrls(name):
musicUrl='http://tool.liumingye.cn/music/?page=audioPage&type=migu&name='+str(name)
proxy.new_har('music',options={'captureHeaders':True,'captureContent':True})
driver.get(musicUrl)#请求网站
time.sleep(3)#等待页面加载完成,必须要延时,不然获取不到数据
lists=[]
#获取3页数据一共60首歌
for i in range(3):
index=0
result=proxy.har#获取所有请求网址
for entry in result['log']['entries']:
url=entry['request']['url']
#找对应的网址,我们要的是,search网址的
if "app.onenine.cc/m/api/search" in url:
index+=1
'''
因为每点击下一页都会产生一个新的‘search',
而proxy每次都会把所有的请求获取到,所以上一个的’search‘也会获取到
所以要判断排除掉,只获取最新的’search'
'''
if index>i:
content = entry['response']['content']
text=content['text']
data=json.loads(text)['data']
lists.extend(data['list']) #这里就是获取到的json数据.每一次添加20首歌曲的信息进去
#滑到底部
js="window.scrollTo(0,10000)"#滑动滚动条的js代码,如果元素不在页面上显示,是找不到的,所以滑动,让下一页的按钮显示出来
driver.execute_script(js)#执行·js代码
#点击下一页,获取更多歌曲
nextBtn=driver.find_element_by_css_selector('#player>div.aplayer-more')#找到下一页的按钮
nextBtn.click()#发送点击事件
time.sleep(1)#延时1秒等待数据加载
return lists
#用于下载音乐代码
def download(path,musicName,folder,ext):
r=requests.get(path)
f=open(folder+'/'+musicName+ext,'wb')
f.write(r.content)
f.close()
#在lists例表中提取音乐的下载地址和歌曲名字
def downloadMusic(name,type,lists):
'''
name:歌手名字,为每一个歌手都新建一个文件夹
type:表示要下载何种音质
lists:获取的音乐数据列表
'''
isExists=os.path.exists(name)
if not isExists:
os.makedirs(name)
musicName=''
path=''
ext=''
for item in lists:
for key,value in item.items():
ext='.mp3'
key=str(key)
if key=='name':
musicName=value
elif key=='artist':
musicName=musicName+'-'+value
elif key=='url_m4a' and type==0:#m4a表示流畅
path=value
elif key=='url_128' and type==1:#128是标准
path=value
elif key=='url_320' and type==2:#320是高品质
path=value
elif key=='url_flac'and type==3:#flac表示无损
path=value
ext='.flac'
if len(path)!=0:
#每一首歌开启一个线程去下载
t = threading.Thread(target=download,args=(path,musicName,name,ext))
t.start()
t.join()
path=''
musicName=''
if __name__=='__main__':
signer=input("输入歌手名字:")
lists=getDownloadUrls(signer)
print('获取完成,开始下载音乐')
downloadMusic(signer,0,lists)#0表示下载流畅音质的
print('下载结束')
等待一段时间就爬取成功了。
5.这个网站上还有歌单和各种音乐榜单,我们一样可以爬取下来,原理都一样,我就不多解释了。你只要掌握上面的东西,爬取这些东西,还是很简单的,只要给点耐心去学一下。
附上完整代码,包括爬取歌单和榜单
from selenium import webdriver
import time
import os
import threading
import simplejson as json
from browsermobproxy import Server
import requests
from selenium.webdriver.chrome.options import Options
#Browsermob-proxy的路径
server=Server(r"D:\Python3.7\browser-proxy.bat\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat")
server.start()#启动browsermob-proxy
proxy=server.create_proxy()
chrome_options=Options()
#获取游览器对象,设置无界面模式
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--headless')#无头模式,不开启游览器界面
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--incognito')
driver=webdriver.Chrome(chrome_options=chrome_options)#启用谷歌游览器
#获取音乐的信息
def getDownloadUrls(name):
musicUrl='http://tool.liumingye.cn/music/?page=audioPage&type=migu&name='+str(name)
proxy.new_har('music',options={'captureHeaders':True,'captureContent':True})
driver.get(musicUrl)#请求网站
time.sleep(3)#等待页面加载完成,必须要延时,不然获取不到数据
lists=[]
#获取3页数据一共60首歌
for i in range(3):
index=0
result=proxy.har#获取所有请求网址
for entry in result['log']['entries']:
url=entry['request']['url']
#找对应的网址,我们要的是,search网址的
if "app.onenine.cc/m/api/search" in url:
index+=1
'''
因为每点击下一页都会产生一个新的‘search',
而proxy每次都会把所有的请求获取到,所以上一个的’search‘也会获取到
所以要判断排除掉,只获取最新的’search'
'''
if index>i:
content = entry['response']['content']
text=content['text']
data=json.loads(text)['data']
lists.extend(data['list']) #这里就是获取到的json数据.每一次添加20首歌曲的信息进去
#滑到底部
js="window.scrollTo(0,10000)"#滑动滚动条的js代码,如果元素不在页面上显示,是找不到的,所以滑动,让下一页的按钮显示出来
driver.execute_script(js)#执行·js代码
#点击下一页,获取更多歌曲
nextBtn=driver.find_element_by_css_selector('#player>div.aplayer-more')#找到下一页的按钮
nextBtn.click()#发送点击事件
time.sleep(1)#延时1秒等待数据加载
return lists
#用于下载音乐代码
def download(path,musicName,folder,ext):
r=requests.get(path)
f=open(folder+'/'+musicName+ext,'wb')
f.write(r.content)
f.close()
#在lists例表中提取音乐的下载地址和歌曲名字
def downloadMusic(name,type,lists):
'''
name:歌手名字,为每一个歌手都新建一个文件夹
type:表示要下载何种音质
lists:获取的音乐数据列表
'''
isExists=os.path.exists(name)
if not isExists:
os.makedirs(name)
musicName=''
path=''
ext=''
for item in lists:
for key,value in item.items():
ext='.mp3'
key=str(key)
if key=='name':
musicName=value
elif key=='artist':
musicName=musicName+'-'+value
elif key=='url_m4a' and type==0:#m4a表示流畅
path=value
elif key=='url_128' and type==1:#128是标准
path=value
elif key=='url_320' and type==2:#320是高品质
path=value
elif key=='url_flac'and type==3:#flac表示无损
path=value
ext='.flac'
if len(path)!=0:
#每一首歌开启一个线程去下载
t = threading.Thread(target=download,args=(path,musicName,name,ext))
t.start()
t.join()
path=''
musicName=''
#获取歌单的id和歌单名字
def getSongsSheetId(type):
id=[]
sheetNames=[]
#这里的 limit表示获取多少个歌单,2表示两个
url='https://musicapi.leanapp.cn/top/playlist?limit=2&offset=0&order=hot&cat='+str(type)
r=requests.get(url);
data=r.json()
playlist=data['playlists']
for item in playlist:
id.append(item['id'])
sheetNames.append(item['name'])
print(id)
return id,sheetNames
#下载歌单的歌曲
def getSongsSheetSongs(type):
id,sheetNames=getSongsSheetId('日语')#这里可以做成变量,比如华语,欧美,流行....
url='http://tool.liumingye.cn/music/?page=audioPage&type=YQD&name=https%3A%2F%2Fmusic.163.com%2F%23%2Fplaylist%3Fid%3D'
lists=[]
for i in range(len(id)):
reqUrl=url+str(id[i])
proxy.new_har('lists',options={'captureHeaders':True,'captureContent':True})
driver.get(reqUrl)
time.sleep(3)
result=proxy.har
for entry in result['log']['entries']:
repUrl=entry['request']['url']
if "app.onenine.cc/m/api/search" in repUrl:
content = entry['response']['content']
text=content['text']
data=json.loads(text)['data']
lists=data['list'][:]
downloadMusic(sheetNames[i],type,lists)
#榜单,榜单比较少所以可以,直接复制data数据然后直接请求
def getMusicListSongs(listType,quality):
'''
listType:何种榜单
quality:何种音质
'''
musicLists={'飙升榜':'9a96BCVWtsdySz5JAlEM4ETawT0kPc0PKnwYwhGTCdL_ABeeIChrZMDWVoEkAy8xVORmVw_mS9xE1maSBbzV1ISsUCDTq2_sWMDY2T-KnB7cqYjoRo9EYTROqsURCA',
'新歌榜':'0eb8XS226D93TYlB6f0YRLwpd88EElQZglIn4CnZo9CUa8yqKtPDCG-pL3GKi_9UoBxJClL04dhhdgjAh-EAho2EkPBct2PF2tJl3F8p2atv3IwIxgPYE9iDGFKD',
'原创':'9cecTgCD-VsNzA2od9fsyX6c2KpOCdI1VfGRMO26vy4XgwyApkwNtsii9u2La2FS1xoBsJL-nPFpORJ1t9Vd3T0aSzg-0R2LWbS8Yj8wJeYsTVlnnbzFdMeO88OV',
'热歌榜':'bfaFw92RlNQ6e3pJQ9tIkNtitPFqTUbXZHDzE8yuiJ-nNo7gpsDldd5R6AQ83eqQCuE9Id2GiS6ycC9Q8wqeB-HNfxC-Q-Mbv-Amdir7AHal8MKsHnZYeiCWKGG',
'ACG音乐榜':'b91b2EKQBotaf_vdDg3ttFZwGBGJ_uFpbSf8oSjga2p7NKAsNCCHFdj_dywOpfalhPUQz78HAwDNqp127vWDFCP5Ie4pKJEbigRXjr0FwVgPcrhyR5A_RvbJibnGlw',
'欧美热歌榜':'10e2UIqDLgcQvg74T9Y6BU0mlxUHvstcHkV5UKHPkSDzyi3TRBORkKAKLtAspirLXvbbTwN4B8Jm_IYzis6kbq1VkFnbcpM28AV54vdGk9Trj1ycEP1FbclVuvxGAXuX',
'抖音热歌榜':'b0758Dllkk2pO4ripW44AWtSVQMHsmPgxNcVsJZmQKtNgoIi4dCd0CVRsKOIt69f6TFRffmQhJKCp6dBO9l1UGyiwUks3T5xlxHndE5oOz0NJogMrE49W6e2S8xc-sZb',
'古典音乐榜':'c6540n5sOF11X1eYySdN9elyUeEtSPKAzU0b-Pm41g5Kpt7WGD7E6pEVyNNMEsMb5OL5f5NC-bAt6Prqvesz9xIwYWDrHCbfAsWldzvzMDJCNybErloRvh98iev2oQ'
}
lists=[]
url='https://app.onenine.cc/m/api/search'
headers={'content-type':'application/x-www-form-urlencoded; charset=UTF-8','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
data={'data':'b91b2EKQBotaf_vdDg3ttFZwGBGJ_uFpbSf8oSjga2p7NKAsNCCHFdj_dywOpfalhPUQz78HAwDNqp127vWDFCP5Ie4pKJEbigRXjr0FwVgPcrhyR5A_RvbJibnGlw','v':'2'}
r=requests.post(url,headers=headers,data=data)#构造post请求
data=r.json()
print(len(data))
lists=data['data']['list']
#data=data['list']
#print(data)
downloadMusic(listType,quality,lists)
if __name__=='__main__':
signer=input("输入歌手名字:")
lists=getDownloadUrls(signer)
print('获取完成,开始下载音乐')
downloadMusic(signer,0,lists)#0表示下载流畅音质的
print('下载结束')
'''
#这个是下载歌单的
getSongsSheetSongs(0)
'''
'''
#这个是下载榜单的
getMusicListSongs('ACG音乐榜',1)
'''
# getSongsSheetSongs(1)
# getMusicListSongs('ACG音乐榜',1)
# print('end')
server.stop()
driver.quit()
效果
6.在Windows下安装Browsermob-proxy,可能比较麻烦一点,如果不会,可以找。
有其他问题也可以随时留言。