前言:学了python爬虫,那必须搞点好康的!
先导入需要用到的库
import requests
from bs4 import BeautifulSoup
import time
1.针对图片网,先去源代码里面,找它的网址。
我是用的wallhaven网站的网址
然后得到了一个网址:
# 待爬取网址
url = r'https://wallhaven.cc/toplist'
在字符串前面加‘r’是用于不与‘/’冲突,毕竟很多制表符都和这个有关,这个‘r’可以规避这个问题
2.用requests去获得网页的源代码
fp= {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.2.2.2.2.2"//用自己的就行
}
resp = requests.get(url,headers=fp)
这里的fp是反爬措施。因为我尝试了直接获取源代码,是不行的,网页服务器会拒绝你的请求,所以我们要伪装一下,这个"User-Agent"就是模拟一个真实用户,让服务器以为你是正常浏览网页而不是一个程序。"User-Agent"可以从浏览器右键检查中,网络抓包工具里,预览选项中请求的数据中得到。
3.调用漂亮的汤 BeautifulSoup,去获取一个包
page = BeautifulSoup(resp.text,"html.parser")
用的是"html.parser"模式
4.将主页面源代码进行筛选,只获得其中的图片链接,且建立两个列表存放链接
# 缩小范围到<a>标签
jpglist = page.findAll("a",class_="preview")
#只用href链接
jpglistbox = []
childjbglistbox = []
for i in jpglist: # 在获取的所有链接循环导出至jpg链接列表
jpglistbox.append(i.get('href'))
5.在的到的所有的图片链接里面循环获取源代码,打开子链接然后从中提取主要的高清大图下载
//用于验证前面的链接是否加载完毕
print(jpglistbox)
for a in jpglistbox:
child_resp = requests.get(a,headers=fp)
child_resp_text = child_resp.text
child_page = BeautifulSoup(child_resp_text,"html.parser")
div = child_page.find("div",class_="scrollbox")
img = div.find('img')
src = img.get('src')
#下载图片
img_resp = requests.get(src)
img_name = src.split("/")[-1]
//建立文件夹
with open (img_name,mode = "wb") as f:
f.write(img_resp.content)、
//提示文本
print("ok!",img_name)
//间隔一秒,防止网站碰壁
time.sleep(1)
print("全部下载完成!")
这里是运行后的结果
一个非常简单的控制台爬虫程序就做好了!
其实原理很简单,就是去获取网页的源代码,去提取它当前页面的图片超链接,添加到创建的list里,然后再从这个list里面遍历,循环打开超链接获取子页面代码,从子页面代码里面提取高清图的url,然后保存下载。
仅供学习,侵权联系,立马删除