每日爬虫4

最新推荐文章于 2023-05-03 08:36:51 发布

poirotl

最新推荐文章于 2023-05-03 08:36:51 发布

阅读量84

点赞数

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/m0_52432374/article/details/123883069

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Python的requests和BeautifulSoup库，从给定的主页面开始，抓取子页面的链接并下载其中的图片。作者详细展示了如何遍历链接、提取图片URL，最后将图片保存到本地的过程。

摘要由CSDN通过智能技术生成

# 1.拿到主页面的源代码. 然后提取到子页面的链接地址, href
# 2.通过href拿到子页面的内容. 从子页面中找到图片的下载地址 img -> src
# 3.下载图片
import requests
from bs4 import BeautifulSoup
import time

url = "https://www.umei.cc/bizhitupian/weimeibizhi/"
resp = requests.get(url)
resp.encoding = 'utf-8'  # 处理乱码

# print(resp.text)
# 把源代码交给bs
main_page = BeautifulSoup(resp.text, "html.parser")
alist = main_page.find("div", class_="TypeList").find_all("a")
# print(alist)
for a in alist:
    href = a.get('href')  # 直接通过get就可以拿到属性的值
    # 拿到子页面的源代码
    child_page_resp = requests.get(href)
    child_page_resp.encoding = 'utf-8'
    child_page_text = child_page_resp.text
    # 从子页面中拿到图片的下载路径
    child_page = BeautifulSoup(child_page_text, "html.parser")
    p = child_page.find("p", align="center")
    img = p.find("img")
    src = img.get("src")
    # 下载图片
    img_resp = requests.get(src)
    # img_resp.content  # 这里拿到的是字节
    img_name = src.split("/")[-1]  # 拿到url中的最后一个/以后的内容
    with open("img/"+img_name, mode="wb") as f:
        f.write(img_resp.content)  # 图片内容写入文件

    print("over!!!", img_name)
    time.sleep(1)


print("all over!!!")