准备:
环境安装:
本文使用python,pycharm软件进行
首先在pycharm里面确保模块已经安装,本次需要使用的模块是requests模块和lxml模块
在pycharm里面点击左下角的Terminal,在里面分别输入pip install requests,pip install lxml即可
至此环境搭建完毕!!!接下来直接上代码
import requests
import os
from lxml import etree
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# 爬取多页
dirName = "GirlsLib"
if not os.path.exists(dirName):
os.mkdir(dirName)
# 定义一个通用的url模板:不可变
url = 'https://pic.netbian.com/4kmeinv/index_%d.html'
for page in range(1,6):
if page == 1:
new_url = 'https://pic.netbian.com/4kmeinv/'
else: