<20>python学习笔记——爬虫2——反反爬

最新推荐文章于 2024-04-30 16:11:10 发布
最新推荐文章于 2024-04-30 16:11:10 发布
阅读量2.8k 收藏 8
点赞数 1
分类专栏： Python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiexiecm/article/details/58692147
版权

新手参考学习了http://cuiqingcai.com/3256.html，原版写的真的很好！感谢！

会遇到网站反爬虫策略下面几点：

  1. 1 / 限制IP访问频率，超过频率就断开连接。（这种方法解决办法就是，降低爬虫的速度在每个请求前面加上time.sleep；或者不停的更换代理IP，这样就绕过反爬虫机制啦！）
  2. 2 / 后台对访问进行统计，如果单个userAgent访问超过阈值，予以封锁。（效果出奇的棒！不过误伤也超级大，一般站点不会使用，不过我们也考虑进去
  3. 3/ 还有针对于cookies的 （这个解决办法更简单，一般网站不会用）
做一个反反爬模块，需要用到下面这些模块：
requests
re (正则表达式)
random(随机选择)

————处理userAgent访问频率问题

有的网站会限制相同的User-Agent的访问频率，那我们就给他随机来一个User-Agent。
思路就是：百度一堆User-Agent回来，用随机选择来选用。
代码： 
import requests
import re
import random

#创建一个反反爬的类
class download:
    def __init__(self):
        self.user_agent_list[
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]
    
    def get(self,url):
        UA = random.choice(self,user_agent_list)##从user_agent_list中随机取出一个字符串。
        headers = {'User_Agent':UA}##构造一个完整的User_Agent
        response = requests.get(url,headers=headers)
        return response
————处理IP访问频率问题

这个要用到正则表达式！点我查看正则表达式基本教程
先要获取IP代理网站，这个很多 http://haoip.cc/tiqu.htm

_______第二阶段的全部代码
——主程序代码
导入了反反爬模块 
#导入需要的包
from bs4 import BeautifulSoup
import os
from BackClimb import request

#建立一个抓图类
class mzitu():

    #主入口函数
    def all_url(self,url):
        html = request.get(url,3) ##调用request函数吧地址传进去，返回一个response
        all_a = BeautifulSoup(html.text,'lxml').find('div',class_='all').find_all('a')##用Soup对象的find方法找标签先查找class为all的div标签，然后查找所有<a>标签。find_all是查找所有<a>标签
        for a in all_a:
            title = a.get_text()
            print(u'开始保存:',title)##提示保存XXX
            path = str(title).replace('?','_')##设置名字变量，将？替换成_
            self.mkdir(path)##调用mkdir函数创建文件夹，path代表的是标题名
            os.chdir('F:\mzitu\\'+path) ##改变工作路径
            href = a['href']##取出<a>里面的href属性
            self.html(href)##调用html函数吧href参数传递过去，href是套图的地址

    #设置一个函数处理套图地址获得图片的页面地址
    def html(self,href):
        html = request.get(href,3)##调用request函数把套图地址传进去，返回一个response
        max_span = BeautifulSoup(html.text,'lxml').find_all('span')[10].get_text()##查找所有的<span>标签获取最后一个标签中的文本也就是最后一个页面了
        for page in range(1,int(max_span)+1):##用range产生页面序列
            page_url = href + '/'+str(page)##手动拼接每一个页面地址
            self.img(page_url)##调用img函数

    #设置一个函数处理图片页面地址获得图片的实际地址
    def img(self,page_url):
        img_html = request.get(page_url,3)##调用request函数把图片页面地址传进去，返回一个response
        img_url = BeautifulSoup(img_html.text,'lxml').find('div',class_='main-image').find('img')['src']##用img_Soup对象的find方法找标签先查找class为main-image的div标签，然后查找<img>标签里面的src。
        self.save(img_url)##调用save函数保存图片，把img_url地址传递过去

    #设置一个保存图片的函数
    def save(self,img_url):
        name = img_url[-9:-4]##取url的倒数第四至第九位做图片的名字
        print('开始保存:',img_url)
        img = request.get(img_url,3)##调用request函数把图片地址传进去，返回一个response
        f = open(name+'.jpg','ab')##写入多媒体文件必须要b这个参数
        f.write(img.content)##多媒体文件要用conctent
        f.close()##关闭文件对象

    #创建一个函数用来创建文件夹
    def mkdir(self,path):
        path = path.strip() ##去除path前后空格
        isExists = os.path.exists(os.path.join('F:\mzitu',path))##join将各部分合成一个路径名。os.path.exists判断后面的路径是否存在
        if not isExists: ##如果为False，创建文件夹
            print(u'创建了一个名字叫做',path,u'的文件夹!')
            os.makedirs(os.path.join('F:\mzitu',path))##创建多层文件夹，用join合成单独的一个路径文件夹
            return True
        else:
            print(u'名字叫做',path,u'的文件夹已经存在了！')
            return False
    #
    # #创建获取网页response的函数并返回
    # def request(self,url):
    #     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}#设置浏览器请求头
    #     content = requests.get(url,headers=headers) ##使用requests中的get方法获取页面的内容，加上浏览器请求头
    #     return content

Mzitu = mzitu()  ##实例化
#这就是入口！
Mzitu.all_url('http://www.mzitu.com/all')
——反反爬代码 
import requests
import re
import random
import time

#创建一个反反爬的类
class download:
    def __init__(self):

        self.iplist = [] ##初始化一个list用来存放获取到的ip
        html = requests.get(' http://haoip.cc/tiqu.htm')##使用requests中的get方法获取页面的内容
        iplistn = re.findall(r'r/>(.*?)<b',html.text,re.S)##正则表达式，表示从html中获取所有r/><b中的内容，re.S的意思是包括匹配包括换行符，findall返回的是列表
        for ip in iplistn:
            i = re.sub('\n','',ip)##利用re.sub替换方法，将\n替换为空
            self.iplist.append(i.strip())##将两端去除空格后添加到上面的list里面

        self.user_agent_list=[
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]

    def get(self,url,timeout,proxy=None,num_retries=6):##给函数一个默认参数proxy为空,默认num_retries为6次
        UA = random.choice(self.user_agent_list)##从user_agent_list中随机取出一个字符串。
        headers = {'User_Agent':UA}##构造一个完整的User_Agent

        if proxy == None:##当代理为空时，不使用代理获取response
            try:
                return requests.get(url,headers=headers)##返回一个requests.get的页面文件，调用随机的headers，服务器以为我们是真的浏览器了
            except:##如果上面的代码执行报错则执行下面的代码
                if num_retries >0: ##num_retries是限定的重试次数
                    time.sleep(10) ##延迟10秒
                    print(u'获取网页出错，10s后将获取倒数第：',num_retries,u'次')
                    return self.get(url,timeout,num_retries-1)##调用自身，并减1，实现循环6次
                else:
                    print(u'开始使用代理')
                    time.sleep(10)
                    IP = ''.join(str(random.choice(self.iplist)).strip())##将从self.iplist中随机获取的字符串处理成需要的格式。去除两边空格后，用join拼接？
                    proxy = {'http':IP}
                    return self.get(url,timeout,proxy)##代理不为空的时候

        else: ##当代理不为空
            try:
                IP = ''.join(str(random.choice(self.iplist)).strip())##将从self.iplist中随机获取的字符串处理成需要的格式。去除两边空格后，用join拼接？
                proxy = {'http':IP}##构造成一个代理
                return requests.get(url,headers=headers,proxies = proxy,timeout=timeout)##使用代理获取response
            except:
                if num_retries >0:
                    time.sleep(10)
                    IP = ''.join(str(random.choice(self.iplist)).strip())
                    proxy = {'http':IP}
                    print(u'正在更换代理，10s后将重新获取倒数第',num_retries,u'次')
                    print(u'当前代理是：',proxy)
                    return self.get(url,timeout,proxy,num_retries-1)
                else:
                    print(u'代理也不好使！取消代理')
                    return self.get(url,3)

request = download()







xiexiecm
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
爬虫优化
qq_41534566的博客
11-08 761
1.随机休眠 在爬虫的工作过程中，自然是爬得越快越好，但是如果你的目标网站有比较完善的防爬系统，而你却只有一个对外IP地址。那么在这个时候你就应该考虑到随机休眠，而不是定时休眠。当一个真实用户在浏览某个网站的过程中，发生的每一次操作、页面跳转应该都是无时间规则的。所以我们在爬虫中应该模拟真实用户的这一特征 2.User-Agent 往往我们都会写一堆 User-Agent，然后在每次请...
python爬虫——爬虫伪装和反“反爬”
wq10_12的博客
08-11 4218
爬虫伪装和反“反爬”是在爬虫领域中非常重要的话题。伪装可以让你的爬虫看起来更像普通的浏览器或者应用程序，从而减少被服务器封禁的风险；反“反爬”则是应对服务器加强的反爬虫机制。下面将详细介绍一些常见的伪装和反反爬技巧，并提供对应的代码案例。总的来说，伪装的目的是让爬虫看起来更像人类行为，反“反爬”的目的是应对复杂的反爬虫机制。在实际爬虫项目中，需要根据具体情况选择合适的伪装和反“反爬”技巧。
Python反爬虫的四种常见方式-JS逆向方法论_python爬虫逆向(1)
m0_54853787的博客
04-29 763
首先把Chrome浏览器保存的该网站的cookie删除，按F12到Network窗口，把“preserve log”选中（Firefox是“Persist logs”），刷新网页，这样我们就可以看到历史的Network请求记录。其实它就是JS生成的。我们要写爬虫抓某个网页里面的数据，无非是打开网页，看看源代码，如果html里面有我们要的数据，那就简单了。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
Python爬虫之常见的反爬手段和解决方法
Zsanfeng的博客
11-29 2566
转载这篇文章主要是了解python反爬虫策略，帮助自己更好的理解和使用python 爬虫。
Python反爬虫的四种常见方式-JS逆向方法论
五包辣条的博客
08-18 2316
我们要写爬虫抓某个网页里面的数据，无非是打开网页，看看源代码，如果html里面有我们要的数据，那就简单了。用requests请求网址得到网页源代码然后解析提取。
你应该知道的基本反反爬措施
m0_62036306的博客
11-16 1万+
当我们刚开始学习爬虫的朋友开始学习接触爬虫做练习时，经常会发现网页结果无法爬取，或者频率过大被封ip地址等，下面就为大家介绍三种基本的反反爬手段
Python爬虫这六个最常见的反爬虫小技巧，你一定要知道!
最新发布
m0_61041374的博客
04-30 233
当我们用同一个ip多次频繁访问服务器时，服务器会检测到该请求可能是爬虫操作。因此就不能正常的响应页面的信息了。当然这种反爬虫技术可以通过使用IP代理池来反反爬虫。网上就有很多提供代理的网站。
Python学习笔记——大数据之SPARK核心
02-24
本文来自于csdn，文章讲解RDD的特点，RDD操作函数相关，穿插案例辣酱得段子，带大家理解MapReduce，通过哈姆雷特单词分析案例进行深度剖析。RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要...
Python学习笔记——运算符
12-10
Python学习笔记——运算符 运算符: 赋值运算符 算术运算符 关系运算符 逻辑运算符 位运算
Python学习笔记——大数据之Spark简介与环境搭建
02-24
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。核心组件如下：SparkCore：包含Spark的基本功能；...
Python学习笔记——输入input()
11-29
Python学习笔记——输入input()，input()使用，两个练习。
反爬虫策略反爬虫手段
01-06
反爬虫策略和手段 正所谓魔高一尺道高一丈 robots协议 反爬虫策略 反反爬虫策略
爬虫之常见的反爬手段和解决思路
IT之一小佬的博客
01-31 2065
爬虫之常见的反爬手段和解决思路 1 服务器反爬的原因 爬虫占总PV(PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv)比例较高，这样浪费钱（尤其是三月份爬虫）。 三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期，有大量的硕士在写论文的时候会选择爬取一些往网站，并进行舆情分析。因为五月份交论文，所以嘛，大家都是读过书的，你们懂的，前期各种DotA，LOL，到了三月份了，来不及了，赶紧抓数据，四月份分析一下，五月份交论文，就是这么个节奏。 公司可免费查询的资源被批
Python爬虫｜反爬初体验
二哥为啥不像程序员？
07-10 2234
前言：使用Python爬虫是当下最火的一种获取数据的方式，当我们对一些小型网站进行爬取的时候往往没什么阻碍，而当我们爬取大型网站的时候经常会遇到禁止访问、封禁IP的情况，这也是我们触发反爬机制的体现，本文二哥来带领大家了解几种简单高效的反爬对策。 目录 一、浏览器模拟（Headers） 二、IP代理 三、Cookies模拟 一、浏览器模拟（Headers） 浏览器模拟是最常用的一种反爬方式。设想一下：一个网站不停的被同一个版本的浏览器频率的访问，那大概了就要被认为是机器人了。所以上有政策.
python爬虫笔记（六）——应对反爬策略
热门推荐
菜到怀疑人生的博客
08-04 1万+
以下总结的全是单机爬取的应对反爬策略   1、设置爬取速度，由于爬虫发送请求的速度比较快，会对服务器造成一定的影响，尽可能控制爬取速度，做到文明爬取 2、重启路由器。并不是指物理上的插拔路由器，而是指模拟路由器重启时发送的表单。登陆自己的路由器，一般路由器会提供重启路由器的选项，根据路由器的重启特点进行模拟，如果觉得模拟请求麻烦，那就通过selenium+chromedriver直接点击重启...
反爬 与 反反爬
南七小僧的学海无涯
08-23 5226
了解网站的反爬机制 一般网站从以下几个方面反爬虫： 1. 通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。 如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的...
基于python的-反反爬虫手段
hs947463167的博客
03-06 320
# -*- coding:utf-8 -*- import requests # 抓包工具 # charles # fiddler # 参数1: url,填网址 # 参数2: params,网址后需要添加的参数 # 参数3: **kwargs,不定长键值对参数,一般key=value # 在参数3中,headers={}, # cookies={} 或者cookieJar #...
反爬虫的概念与定义
成都_杨洋
03-25 1542
爬虫流量是“垃圾流量” 爬虫程序的访问速率和目的与正常用户的访问速率和目的是不同的，大部分爬虫会无节制地对目标应用进行爬取，这给目标应用的服务器带来巨大的压力。爬虫程序发出的网络请求被运营者成为“垃圾流量”。 主动型反爬虫和被动型反爬虫 限制爬虫程序访问服务器资源和获取数据的行为称为爬虫。限制手段包括但不限于请求限制、拒绝响应、客户端身份验证、文本混淆和使用动态渲染技术。这些限制根据出发点可以分为...
python爬虫反反爬，你几乎可以横扫大部分 css 字体加密的网站
weixin_30363981的博客
06-26 2257
你已经知道了对方是如何自定义字体加密的了你要想去反反爬你就要先站在对方的角度去思考问题有句话这么说来着“知己知彼，才能那啥”那么对于像猫眼电影、大众点评等等那样的 css 自定义字体加密应该怎么破呢？接下来就是学习 python 的正确姿势有人说了不就是把字体通过 unicode 编码吗？那就简单了啊把每个字的编码找到然后使用字典把编码和对应的字对应起来抓取分析的时候直接替换不就得了有道理是有道理...
python学习笔记——一元二次方程的根
09-03
一元二次方程的一般形式是：ax^2 + bx + c = 0。解一元二次方程有多种方法，其中一种常见的方法是使用求根公式。 求根公式是：x = (-b ± √(b^2 - 4ac)) / (2a)。 根据上述公式，我们可以通过给定的系数 a、b 和 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值