简单python爬虫爬取游戏wiki立绘
玩二次元手游是感叹美少女立绘真好看啊,可惜就是抽不到,于是看到b站wiki上有角色立绘,就写了个爬虫准备将立绘趴下来欣赏(舔)。
本人爬虫的技术只算是初学,代码大家看个乐就成^_^
例如,爬取手游碧蓝档案的游戏立绘
流程就是,首先爬取角色列表页面,获得每个角色详情页面的链接,之后进入每个角色页面,将角色立绘下载下来。
上代码:
from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error
import xlwt
import os
import time
def main():
baseurl="https://wiki.biligame.com/bluearchive/%E5%AD%A6%E7%94%9F%E5%9B%BE%E9%89%B4"
getData(baseurl)
def getData(baseurl):
html=askURL(baseurl,"utf-8")
soup=BeautifulSoup(html,"lxml")
#获取角色页面的链接
div_list=soup.select('#mw-content-text > div > div.main-line-wrap > div > div > div> div > div> div > p > a')
print(div_list