python爬图

首先,使用的是BeautifulSoup这是python自带的标准库

关于BeautifulSoup具体的,可以查看

1、https://beautifulsoup.readthedocs.io/zh_CN/latest/

2、https://cuiqingcai.com/1319.html

查看网站的编码方式:

1、进入html界面,F12

2、搜索charset,找到这个charset 后面等于的就是编码

完整代码如下:

import urllib.request
from bs4 import BeautifulSoup
import os

def Download(url, name):
    path = '/data/lyx/test/patu/man/'
    # 判断系统是否存在该路径,不存在则创建
    if not os.path.exists(path):
        os.makedirs(path)
    # 下载图片并保存在本地
    urllib.request.urlretrieve(url, '{0}{1}.jpg'.format(path, name))

#定义请求头
header = {
    "User-Agent": 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
    'Accept': '*/*',
    'Accept-Language': 'en-US,en;q=0.8',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive'
}

#网页分析
def run(targetUrl, beginNUM, endNUM):
    #创建网络请求对象
    req = urllib.request.Request(url=targetUrl, headers=header)
    response = urllib.request.urlopen(req)  # 这里的req可看成一种更为高级的URL
    #设置请求参数
    html = response.read().decode('gb2312', 'ignore')  # 解码 得到这个网页的html源代码:这个网站的编码使用的是GB2312格式,更常见的网站编码格式应该是UTF-8了吧
    soup = BeautifulSoup(html, 'html.parser')  # 将得到的HTML代码使用python自带的解析器(也可以使用lxml解析器,性能会更好,本代码从简
    # 获取图片div
    Divs = soup.find_all('div', attrs={'id': 'big-pic'})
    #当前页
    nowpage = soup.find('span', attrs={'class': 'nowpage'}).get_text()
    #所有页
    totalpage = soup.find('span', attrs={'class': 'totalpage'}).get_text()
    if beginNUM == endNUM:  # 跳出条件
        return
    for div in Divs:
        beginNUM = beginNUM + 1
        #判断是否存在图片
        if div.find("a") is None:  # 如果这张图片没有下一张图片的链接
            print("没有图片")
            return
        # 有链接,但是是 空链接
        elif div.find("a")['href'] is None or div.find("a")['href'] == "":
            print("没有图片")
            return
        #展示进度
        print("下载信息:总进度:", beginNUM, "/", endNUM, " ,正在下载组图:(",nowpage, "/", totalpage, ")")

        # 变换成下一页
        
        if int(nowpage) < int(totalpage):
            #获取下一张图片链接
            nextPageLink = "https://www.mmonly.cc/sgtp/sgmx/"+ (div.find("a")['href'])
        elif int(nowpage) == int(totalpage):
            #获取下一组图片链接
            nextPageLink = (div.find("a")['href'])
        #获取图片链接
        picLink = (div.find("a").find('img')['src'])  # 本网站大图的SRC属性是下一张图片的链接
        # 递归
        run(nextPageLink, beginNUM, endNUM)
        return

#主函数
if __name__ == '__main__':
    # http://www.mmonly.cc/mmtp/qcmn任意一个网址开始爬取,是爬取的起点()
    targetUrl = "https://www.mmonly.cc/sgtp/sgmx/46774.html"
    run(targetUrl, beginNUM=357, endNUM=2000)  # 设置下载图片数量:endNUM-beginNUM 数字相减为总数量

有一点需要注意的是

参考:https://www.cnblogs.com/raorao1994/p/10301811.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值