爬取的是某图片网站,这个网站的特点是图片地址就在网页源代码中,当前只是爬取第一页内容并下载。学习参考网址是https://www.tupianzj.com/bizhi/weimei/
随着时间的变化,可能这个网页的html代码也会改变,如果不能达到预期效果,根据html代码修改。
# coding=utf-8
# http://www.xinfadi.com.cn/priceDetail.html
# 1.拿到源代码
# 2.使用bs4进行解析,拿到数据
import requests
import time
from bs4 import BeautifulSoup
ul = "某网址"
resp = requests.get(ul)
resp.encoding = "gb2312"
# 解析数据,把数据交给BeautifulSoup处理,生成bs对象
# 指定解析数据为html方式
page = BeautifulSoup(resp.text, "html.parser")
# 2.从bs对象中查找数据
# find(标签,属性 = 值)
# find_all(标签,属性 = 值)
# class是python关键字
# page.find("table", class_='hq_table')
table = page.find("ul", attrs={"class": "list_con_box_ul"})
# 拿到所有数据行,从第一个开始切
trs = table.find_all("img")
for tr in trs:
img_link = tr.get("src")
img_name = img_link.split("/")[-1]
img_data = requests.get(img_link) # 下载图片
with open("img/" + img_name, mode="wb") as f:
f.write(img_data.content) # 保存图片
# print(tr.get("src"))
time.sleep(1)
print("over!")
结果: