Python之抓取动态网页

python之抓取花瓣网图片
实现方法:
1,创建一个文件夹。
2,模拟请求网络服务。
3,匹配抓取的图片。
4,保存。

#_*_coding:utf8_*_
import re
import os
import urllib,urllib2
import sys
reload(sys)
#创建保存图片文件夹
if(os.path.exists('保存图片文件的名称')==False:
     os.mkdir('保存图片文件的名称')
#模拟请求
def img():
#打开抓取的网页源代码,可以看到pin_id
    pin_id=网页中的数字
    while pin_id !=None
        url='打开网页的网址?'+str(pin_id)
        try:
           i_header={"User-Agent":"打开审查元素,切换到网络,可以看到此项内容,粘贴复制到这里。",、"Referer":'http://baidu.com/(其他浏览器)'}
           zq=urllib2.Requests(url,headers=i_header
           html=urllib2.urlopen(zq).read()
           zqd=re.compile('"user_id":(.*?),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"',re.S)
           groups=re.findall(zqd,html)
           print "start to catch"+str(len(groups))
           for att in groups:
                pin_id=att[0]
                att_url = att[1] + '_fw236'
                img_type = att[2]
                img_url='http://img.hb.aicdn.com/'+att_url
                if(urllib.urlretrieve(img_url,'保存图片的文件夹'+att_url+'.'+img_type)):
                print 'download success'
                else:
                    print 'downing fail'
           except:
                print 'Error'
img()

发布了13 篇原创文章 · 获赞 1 · 访问量 9094
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览