一个简单的爬虫程序

最新推荐文章于 2024-08-13 18:54:10 发布

侠之大者为国为民

最新推荐文章于 2024-08-13 18:54:10 发布

阅读量964

点赞数

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/sofeien/article/details/50829295

版权

这篇博客介绍了一个使用Python编写的爬虫程序，该程序能够将下载的图片按类别存放在不同的文件夹中，尽管下载速度较慢。

摘要由CSDN通过智能技术生成

分文件夹下载图片，速度比较慢

import urllib.request
import os
import re

base_path='PicDownload'
if not os.path.isdir(base_path):
    os.makedirs(base_path)

#提取子页面链接及子页面名称
def filterHTML(html):
    result=[]
    base_link='http://www.ivsky.com'
    link_re = re.compile(r'class="il_img"><a href="(.*?)" title="(.*?)"')
    for link,title in link_re.findall(html):
        link=base_link+link
        result.append((link,title))
    return result

#在子页面提取图片地址
def search_pic(html):
    base_link='http://img.ivsky.com'
    pic_re=re.compile(r"var imgURL='(.*?)'.*aid='(.*?)'")
    url,name=pic_re.findall(html)[0]
    pic_url=base_link+url
    print("pic_url:",pic_url)
    name=name+'.jpg'
    print("pic_name:",name)
    return (pic_url,name)
    

#打开网页
def openURL(web):