30行代码的爬虫Demo讲解，带你了解Python编程

最新推荐文章于 2021-01-13 17:58:01 发布

李老湿与杨叫兽

最新推荐文章于 2021-01-13 17:58:01 发布

阅读量568

点赞数 1

分类专栏： Python入门教程文章标签： python

本文链接：https://blog.csdn.net/Victor_Ink/article/details/105750305

版权

本文以一个30行代码的Python爬虫Demo为例，介绍了爬虫的基本流程，包括导入re和requests模块，解析网页获取图片URL，并通过自定义函数下载图片。Demo展示了从爬取到解析再到下载的全过程，适合Python初学者学习。

摘要由CSDN通过智能技术生成

导读：本篇文章是Python入门教程的第一个实例Demo，由于一般的入门教程过于枯燥且偏向理论，所以这里将使用实战与理论讲解结合的方式，给大家先介绍一下Python程序到底是怎么回事。

一、Demo简介

1.1 Demo下载地址

Demo项目小编已上传至Github账户，看Demo代码请点击 CodeWell Python Demo，或直接使用git clone https://github.com/CodeWell-Tech/pythonDemo.git，了解Git相关操作请点击两个代码托管平台Github与Gitee。

1.2 Demo功能简介

提到Python，很多人第一印象就是爬虫，所以这第一个Python教程Demo就从爬虫开始。
此pictureDownload Demo通过不到30行代码，实现了从百度图片中自动爬取指定名称指定数量的图片。如果你在工作中有相关的素材下载需求，不妨试一试这个爬虫功能。

1.3 Demo演示

代码如下：

import re
import requests

def downloadPic(html, keyword):

    urlList = re.findall('"objURL":"(.*?)",', html, re.S)
    print(len(urlList))

    for i, picURL in enumerate(urlList):
        try:
            pic = requests.get(picURL, timeout=10)
        except requests.exceptions.ConnectionError:
            print('当前图片无法下载')
            continue
        # suffix may be jpg, png
        suffix = picURL.split('.')[-1]
        filename = './picture/'+keyword+'_'+str(i) + '.' + suffix
        fp = open(filename, 'wb')
        fp