Python3爬虫爬取某网站美女图片

最新推荐文章于 2024-07-22 17:25:13 发布

隔壁大虾

最新推荐文章于 2024-07-22 17:25:13 发布

阅读量5.8k

点赞数 1

分类专栏：爬虫 python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/iamsamzhang/article/details/46784673

版权

这个网站和很多网站一样，对爬虫有限制，他的限制方式应该是1.请求过快的是机器人，封！2.不是浏览器发来的请求，封！所以我加了休眠，并伪装成了浏览器。代码如下：

from urllib.request import urlopen
import urllib.request
from bs4 import BeautifulSoup
import os,sys,time
import http.cookiejar

path = os.getcwd()
new_path = os.path.join(path, u'豆瓣妹子')
if not os.path.isdir(new_path):
    os.mkdir(new_path)

def makeMyOpener(head={
    'Connection': 'Keep-Alive',
    'Accept': 'text/html, application/xhtml+xml, */*',
    'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
}):
    cj = http.cookiejar.CookieJar()
    opener = urllib.request.build_opener(urllib.request.HTTPCookieProces