Python 爬虫从百度抓取图片

近期想完全自己动手实现一个deep learning的多分类任务,数据集直接用Python在网页上抓取,主要用到Python模块:

        --  re模块(正则表达式)

        --  requests模块

一 用到的Python模块简介

    1、 re模块

        正则表达式是一种强大的用于字符串匹配的工具,很多编程语言中(包括Python)都有正则表达式的概念,就是用预先定义好的特定字符串、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。

re 模块使 Python 语言拥有全部的正则表达式功能。

       常用的函数
        re.match()方法

  re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。

       re.search()方法

   re.search 扫描整个字符串并返回第一个成功的匹配。

       findall()方法
在字符串中找到正则表达式所匹配的所有子串,并返回一个列表,如果没有找到匹配的,则返回空列表

2 requests模块

requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到。

二 从百度图片抓取

#coding=utf-8
import re
import requests
import os


def dowmloadPic(html, keyword):
    pic_url = re.findall('"objURL":"(.*?)",', html, re.S)
    global num
    print('find:  ' + keyword + '  pictures ')
    for each in pic_url:
        print('Downloading' + str(num) + 'st  url:' + str(each))
        try:
            pic = requests.get(each, headers=headers,timeout=10)
        except requests.exceptions.ConnectionError:
            print('Error  this picture cant download')
            continue

        image_name = '%4d.jpg'%num
        dir = os.path.join(outp_dir,image_name)
        fp = open(dir, 'wb')
        fp.write(pic.content)
        fp.close()
        num += 1


if __name__ == '__main__':
    word = '猫'
    outp_dir = '/home/fangsh/projects/hashiqi'
    #url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=' + word + '&ct=201326592&v=flip'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Mobile Safari/537.36'}
    pagestart = 0
    pageend = 100
    num = 0
    '''添加代理
    proxies = {
        http:'http://...'
        https:'https://...'
    }
    '''
    for idx in range(pagestart,pageend):
        url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word='+word+'&pn=%d&gsm=3c&ct=&ic=0&lm=-1&width=0&height=0'%idx*20
        #result = requests.get(url,headers=headers,proxies=proxies)
        result = requests.get(url, headers=headers)
        dowmloadPic(result.text, word)
        if num >=1000:
            break


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值