Python爬虫项目1-高清图自动下载器

talk is cheap show me the code!

下面切入正题将爬虫：

 

站在巨人的肩膀上，能看的更高、更远！！！

初探爬虫，用pycharm + request模块。

新知识：

1.pip:

2.用pip安装request模块

 

新发现：pycharm可以直接安装request模块！！！

制作爬虫的基本步骤

一般来说，制作一个爬虫需要分以下几个简要步骤：

1. 分析需求（需求分析非常重要）；
2. 分析网页源代码，配合F12；
3. 编写正则表达式或者XPath表达式；
4. 正式编写python爬虫代码。

 

代码

#-*- coding:utf-8 -*-

import re
import requests

def downloadPic(html,keyword):

    pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
    i = 0
    print ('找到关键词:'+keyword+'的图片，现在开始下载图片...')
    for each in pic_url:
        print ('正在下载第'+str(i+1)+'张图片，图片地址:'+str(each))
        try:
            pic= requests.get(each, timeout=10)
        except requests.exceptions.ConnectionError:
            print ('【错误】当前图片无法下载')

            continue

        string = 'pictures'+keyword+'_'+str(i) + '.jpg'

        #resolve the problem of encode, make sure that chinese name could be store
        fp = open(string,'wb')
        fp.write(pic.content)
        fp.close()
        i += 1
if __name__ == '__main__':

    word = input("Input key word: ")

    url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word='+word+'&ct=201326592&v=flip'

    result = requests.get(url)

    downloadPic(result.text,word)

 

效果：

输入：高清风景图

结果发现：