2021-09-04

爬虫-4K壁纸网获取图片

介绍：使用requests 模块获取网页，用BeautifuSoup解析网页，最后提取标签内容，使用wget下载图片。

适用：新手学习爬虫

代码

import re
import requests
import wget
from bs4 import BeautifulSoup as bs
import time
import os
import struct

#获取一个网页
def reback_html(url):
    headers = {
        "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
    html = requests.get(url, headers=headers)
    html.encoding = 'utf-8'
    soup = bs(html.text, 'lxml')

    return soup     #z#z
#列表表格输出
def list_show(lis):
    j=0
    for i in lis:
        print("第{}个输出:".format(j),lis[j])
        j=j+1
#正则匹配找出图片地址
def re_img(lis_soup): #lis_soup 表示查找成的一个标签列表
    lis = []
    for i in lis_soup:
        img_link = re.findall('src="(.*.jpg)"', str(i))
        if img_link :
            lis.append(img_link[0])
    print(lis)
    return  lis
#发现图片只有一部分，所以进行一个合成
def combine(url_head,lis2):
    lis = []
    for i in lis2 :
        lis.append(url_head+i)
    return lis
#requests下载图片
def wenjian1(name,lis3):
    headers = {
        "User_Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
    #创建文件夹
    if not os.path.exists('./'+name):
        os.mkdir('./'+name)
    j=0
    for i in  lis3 :
        img_data = requests.get(i,headers=headers)
        img_data_buf = struct.pack('11s',img_data.text.encode('utf-8'))
        # img_data.text.encode('utf-8')
        print(type(img_data_buf))
        img_path ='./'+name+'/'+str(j)+'.jpg'
        j=j+1
        with open(img_path,'wb') as fp :
            fp.write(img_data_buf)
            print('第{}张图片下载成功'.format(j))
#wget方法下载图片
def wget_img(name,lis3):
    #创建文件夹
    if not os.path.exists('./'+name):
        os.mkdir('./'+name)
    img_path = './'+name+'/'
    for i in  lis3 :
        wget.download(i,img_path)


if __name__ == '__main__':
    url = 'https://pic.netbian.com/4kyingshi/'
    url_head = 'https://pic.netbian.com' #头
    #做一个汤
    soup = reback_html(url)
    #查找所有a标签
    lis = soup.find_all('a')
    #对所有a标签进行二次查找
    lis2 = re_img(lis)
    #网址合成
    lis3 = combine(url_head,lis2)

    #下载
    wget_img('影视',lis3)

效果：

介绍代码

第一步
导入代码中的模块，若是没有就直接pip install 或者pip3 install
第二步
reback_html()的功能：
访问url，用get方法获取网页，对网页进行使用BeautifulSoup解析
第三步
用soup.find_all(‘a’)找到图片连接的标签位置，返回一个列表
第四步
re_img()的功能：
对a标签中的图片地址 src 采用正则匹配提取出来，返回一个列表
第五步
wget_img()的功能：
下载列表中的图片地址，保存下路