爬虫--bs4基本使用_抓取优美图库

安装bs4   pip install bs4

bs4可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解，因此可以快速地学习并掌握 BS4 的基本语法。

1.拿到页面主代码。本次实验用优美图网站（优美图 - 收录优美图片 TOPIT.ME）

import requests
from bs4 import BeautifulSoup
import time

url = "https://m.topit.pro/"
headers = {
    "User-Agent" : "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Mobile Safari/537.36"
}
resp = requests.get(url, headers=headers)
resp.encoding = "utf-8" # 处理乱码

# print(resp.text)
# 把源代码交给BeautifulSoup
main_page = BeautifulSoup(resp.text, "html.parser")

2.通过href拿到子页面的内容。由下图可以看到这些图片class属性其实都不是唯一的，故需要向外层找标签，找到该层div标签时，发现该div标签的class属性是唯一的，故使用该div标签的class 属性进行搜寻a标签（即图片），将范围第一次缩小，找到a标签以后将所有的a标签存储在一个alist变量中。因为class是python语言中的一个关键字，而在html中class是一个标签的属性，故需要在“class_="feed-section"”中的class后面加一个下划线解决该问题。

# 因为div的class很多重复，故需要在外层找到一个较少重复的标签属性，可以发现外层div标签的feed-section属性只有一个
# 所以在有feed-section属性的div标签中找到所有的a标签，把范围第一次缩小
alist = main_page.find("div", class_="feed-section").find_all('a')
# print(alist)
for a in alist:
    # 有.strip('/')  href = https://m.topit.pro/t/31990.html
    # 没有的话就是 https://m.topit.pro//t/31990.html  t前面是//
    href = url + a.get('href').strip('/') # 直接通过get就可以拿到属性的值
    # print(href)

3.从子页面找到图片的下载地址  即img标签里面的src属性。可以发现align属性为center的只有一个，故可以使用“p = child_page.find("p", align="center")”将范围缩小，然后再通过“p.find("img")”找到img标签，再通过"img.get("src")"获得img标签的src属性里面的值并保存到src变量中

for a in alist:
    # 有.strip('/')  href = https://m.topit.pro/t/31990.html
    # 没有的话就是 https://m.topit.pro//t/31990.html  t前面是//
    href = url + a.get('href').strip('/') # 直接通过get就可以拿到属性的值
    # print(href)

    # 拿到子页面的源代码
    child_page_resp = requests.get(href)
    child_page_resp.encoding = "utf-8"
    child_page_text = child_page_resp.text
    # 从子页面中拿到图片下载路径
    child_page = BeautifulSoup(child_page_text, "html.parser")
    p = child_page.find("p", align="center")
    img = p.find("img")
    src = img.get("src")
    

4.下载图片。将图片内容写入到img文件中，这里需要设置两秒延迟，因为怕网站把自己的ip封掉。

img_resp = requests.get(src)
    # img_resp.content # 这里拿到的是字节
    img_name = src.split("/")[-1] #拿到url中的最后一个/以后的内容
    with open("img/" + img_name, mode="wb") as f:
        f.write(img_resp.content) # 图片内容写入到文件中

    print("over --> ", img_name)
    time.sleep(2)

pycharm会对每一个文件进行索引，故下载图片多的时候pycham速度会相当的慢。故我们可以进行如下操作，右键选中img文件以后将其设置为Excluded。

所以建议在下载视频、图片或者不是很有用的文本文件的时候将其设置为Excluded。

以下是整个源代码

# 安装  pip install bs4
# bs4可以通过html的标签拿到数据

# 1.拿到页面主代码
# 2.通过href拿到子页面的内容
# 4.从子页面找到图片的下载地址  即img标签里面的src属性
# 3.下载图片

import requests
from bs4 import BeautifulSoup
import time

url = "https://m.topit.pro/"
headers = {
    "User-Agent" : "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Mobile Safari/537.36"
}
resp = requests.get(url, headers=headers)
resp.encoding = "utf-8" # 处理乱码

# print(resp.text)
# 把源代码交给BeautifulSoup
main_page = BeautifulSoup(resp.text, "html.parser")

# 因为div的class很多重复，故需要在外层找到一个较少重复的标签属性，可以发现外层div标签的feed-section属性只有一个
# 所以在有feed-section属性的div标签中找到所有的a标签，把范围第一次缩小
alist = main_page.find("div", class_="feed-section").find_all('a')
# print(alist)
for a in alist:
    # 有.strip('/')  href = https://m.topit.pro/t/31990.html
    # 没有的话就是 https://m.topit.pro//t/31990.html  t前面是//
    href = url + a.get('href').strip('/') # 直接通过get就可以拿到属性的值
    # print(href)

    # 拿到子页面的源代码
    child_page_resp = requests.get(href)
    child_page_resp.encoding = "utf-8"
    child_page_text = child_page_resp.text
    # 从子页面中拿到图片下载路径
    child_page = BeautifulSoup(child_page_text, "html.parser")
    p = child_page.find("p", align="center")
    img = p.find("img")
    src = img.get("src")
    # 下载图片
    img_resp = requests.get(src)
    # img_resp.content # 这里拿到的是字节
    img_name = src.split("/")[-1] #拿到url中的最后一个/以后的内容
    with open("img/" + img_name, mode="wb") as f:
        f.write(img_resp.content) # 图片内容写入到文件中

    print("over --> ", img_name)
    time.sleep(2)

print("ALL over!")

resp.close()