解决下载妹子网图片数据不全的两种方法

最新推荐文章于 2023-02-24 16:10:58 发布

小豪学长啊

最新推荐文章于 2023-02-24 16:10:58 发布

阅读量3.6k

点赞数

分类专栏： python爬虫那些坑

本文链接：https://blog.csdn.net/Alis_xt/article/details/53286884

版权

python爬虫那些坑专栏收录该内容

19 篇文章 1 订阅

订阅专栏

方法一：

# -*- coding: utf-8 -*-
"""
Created on Tue Nov 22 02:24:33 2016

@author: alis
"""

import urllib,urllib2
import time
import traceback
begin = time.clock()
x = 0
b = '/media/alis/个人文件资料/Spider/MeiZi/photo/'
with open('/media/alis/个人文件资料/Spider/MeiZi/MeiZi/output.txt') as fle:
    for url in fle.readlines():
        x += 1
        print url
        try:
            req = urllib2.Request(url, headers={'User-Agent':  r'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'})
            data = urllib2.urlopen(req, timeout=1).read()
            filename = b+'{0}.jpg'.format(x)
            with open(filename, 'wb') as fle:
                fle.write(data)            
        except:
           traceback.print_exc()
end = time.clock()
print end - begin

原理其实就是进去图片的网页获取其源码，然后把它写进去一个文件中即可。（注意添加headers）

方法二：

import requests
from PIL import Image
from io import BytesIO

url = 'http://mm.howkuai.com/wp-content/uploads/2016a/08/31/01.jpg'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
           'Host':'mm.howkuai.com'}
response = requests.get(url, headers=headers)
print response.status_code
img = Image.open(BytesIO(response.content))
img.save('/home/alis/桌面/mm.jpg')

这种方法是利用二进制读写，一位网友写的，其实不是很看得懂，具体用法可以参考廖雪峰的教学视频

‘http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431918785710e86a1a120ce04925bae155012c7fc71e000’