谈谈反爬虫“政策与对策”

最新推荐文章于 2023-10-11 10:07:59 发布
最新推荐文章于 2023-10-11 10:07:59 发布
阅读量881 收藏
点赞数
分类专栏： Python

写博客，一部分是为了让自己今后能快速地复习之前学过的知识，整理下思路；另一方面是帮助到其他也遇到类似问题的童鞋。但是写博客很难坚持下来，原因嘛，各种各样。但说到底是没有“共鸣”。

高山流水，难觅知音。

其实，建立起写博客的习惯，就是那些点点滴滴的小事：每天看着博客的访问量，点赞数增加；看到自己的文章被别人评论等等。

好了，废话不多说。今天来谈谈关于刷浏览量的问题。虽然这远远的偏离了写博客的初衷，但是了解下这类问题还是不错的，毕竟“技术并不犯法！”。

反（反）爬虫机制

说到反爬虫，不得不说下爬虫了。其实这就是一个概念，爬虫就是将手动完成的事情交给了代码去自动化的实现罢了。而反爬虫就是探查用户是真实用户还是代码的一种手段。而反反爬虫就是针对反爬虫机制的一种手段。

都说“双重否定，表示肯定”，那么爬虫和反反爬虫应该是一样的了。其实不然，表面上行为是一致的，但是实际上反反爬虫做了更多的处理，而不是简单的小爬虫啦。

大体上来讲，反爬虫会从如下几个层面入手： 
- header 浏览器的请求头 
- User-Agent 用户代理，表明访问源身份的一种方式 
- Referer 访问的目标链接是从哪个链接跳转过来的（做防盗链的话，就可以从它入手） 
- Host 同源地址判断，用它会很有用 
- IP 同一个IP短时多次访问，就很有可能是爬虫，反爬虫会对此做处理。 
- 访问频率：短时多次高并发的访问，基本上就是有问题的访问。 
上面这几个都是常见的反爬虫措施，当然还有更加高深的机制，比如最恶心的验证码（使用tesseract可以处理较为简单的验证码识别），用户行为分析，等等等等。

既然了解了常见的反爬虫机制，那相对应的进行“政策-对策”实现反反爬虫也就不是那么的没有头绪了。是的，针对上面的限制，我们会有一些对策。

  • 针对User-Agent 的，可以整理一些常见的浏览器代理头，每次访问随机使用其中一个就好了。
  • 针对IP的，可以使用代理IP嘛
  • 针对频率限制的，做下访问间隙做下随机休眠就挺不错的。
  • ……

实战

之前我一直是在CSDN上写博客，它的反爬虫机制说实话，做的比较的浅，一方面必要性不是很大，二来做反爬虫经纪上不太划算，估计他们也不愿意在这上面浪费吧。

所以，在CSDN上刷浏览量还是很随意的，说下我的思路。 
- 代理IP爬取，验证清洗数据，定期更新。 
- 浏览器User-Agent整理，添加访问的随机性。 
- 随即休眠策略，日志处理，错误记录，定时重试等。

代理IP处理

# coding: utf8

# @Author: 郭 璞
# @File: proxyip.py                                                                 
# @Time: 2017/10/5                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 抓取代理IP，并保存到redis相关的key中
import requests
from bs4 import BeautifulSoup
from redishelper import RedisHelper

class ProxyIP(object):
    """
    抓取代理IP，清洗，验证。
    """
    def __init__(self):
        self.rh = RedisHelper()

    def crawl(self):
        """
        不管是http还是https统统存进去再说。
        """
        # 先处理http模式的代理ip
        httpurl = "http://www.xicidaili.com/nn/"
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
        }
        html = requests.get(url=httpurl, headers=headers).text
        soup = BeautifulSoup(html, "html.parser")
        ips = soup.find_all("tr")
        for index in range(1, len(ips)):
            tds = ips[index].find_all('td')
            ip = tds[1].text
            port = tds[2].text
            ipinfo = "{}:{}".format(ip, port)
            if self._check(ip):
                self.rh.sAddAvalibeIp(ipinfo)
            # print(ipinfo)




    def _check(self, ip):
        """
        检测代理IP的有效性
        """
        checkurl = "http://47.94.19.186/common/checkip.php"
        localip = self._getLocalIp()
        # print("Local: {}, proxy: {}".format(localip, ip))
        return False if localip==ip else True

    def _getLocalIp(self):
        """
        获取本机的IP地址, 接口方式不太靠谱，暂时用手工方式在https://www.baidu.com/s?ie=UTF-8&wd=ip 进行手动复制粘贴即可
        """
        return "223.91.239.159"

    def clean(self):
        ips = self.rh.sGetAllAvalibleIps()
        for ipinfo in ips:
            ip, port = ipinfo.split(":")
            if self._check(ip):
                self.rh.sAddAvalibeIp(ipinfo)
            else:
                self.rh.sRemoveAvalibleIp(ipinfo)

    def update(self):
        pass


if __name__ == '__main__':
    pip = ProxyIP()
    # result = pip._check("223.91.239.159", 53281)
    # print(result)
    pip.crawl()
    # pip.clean()
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77

Redis工具类

# coding: utf8

# @Author: 郭 璞
# @File: redishelper.py                                                                 
# @Time: 2017/10/5                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 涉及redis的一些操作工具方法

import redis

class RedisHelper(object):
    """
    用于保存爬取到的博客内容链接。
    保存代理IP
    """
    def __init__(self):
        self.articlepool = "redis:set:article:pool"
        self.avalibleips = "redis:set:avalible:ips"
        self.unavalibleips = "redis:set:unavalibe:ips"

        pool = redis.ConnectionPool(host="localhost", port=6379)
        self.redispool = redis.Redis(connection_pool=pool)

    def sAddArticleId(self, articleid):
        """
        添加爬取到的博客id。
        :param articleid:
        :return:
        """
        self.redispool.sadd(self.articlepool, articleid)

    def sRemoveArticleId(self, articleid):
        self.redispool.srem(self.articlepool, articleid)

    def popupArticleId(self):
        return int(self.redispool.srandmember(self.articlepool))

    def sAddAvalibeIp(self, ip):
        self.redispool.sadd(self.avalibleips, ip)
    def sRemoveAvalibeIp(self, ip):
        self.redispool.srem(self.avalibleips, ip)
    def sGetAllAvalibleIps(self):
        return [ip.decode('utf8') for ip in self.redispool.smembers(self.avalibleips)]

    def popupAvalibeIp(self):
        return self.redispool.srandmember(self.avalibleips)

    def sAddUnavalibeIp(self, ip):
        self.redispool.sadd(self.unavalibleips, ip)
    def sRemoveUnavaibleIp(self, ip):
        self.redispool.srem(self.unavalibleips, ip)



 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55

csdn博文工具类

# coding: utf8

# @Author: 郭 璞
# @File: csdn.py                                                                 
# @Time: 2017/10/5                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 爬取一个博主的全部博客链接工具类以及其他设计到的操作。
import re
import requests
from bs4 import BeautifulSoup

class BlogScanner(object):
    """
    抓取博主id下的所有文章链接id。
    """
    def __init__(self, bloger="marksinoberg"):
        self.bloger = bloger
        # self.blogpagelink = "http://blog.csdn.net/{}/article/list/{}".format(self.bloger, 1)

    def _getTotalPages(self):
        blogpagelink = "http://blog.csdn.net/{}/article/list/{}?viewmode=contents".format(self.bloger, 1)
        html = requests.get(url=blogpagelink).text
        soup = BeautifulSoup(html, "html.parser")
        # 比较hack的操作，实际开发还是不要这么随意的好
        temptext = soup.find('div', {"class": "pagelist"}).find("span").get_text()
        restr = re.findall(re.compile("(\d+).*?(\d+)"), temptext)
        # print(restr)
        pages = restr[0][-1]
        return pages

    def _parsePage(self, pagenumber):
        blogpagelink = "http://blog.csdn.net/{}/article/list/{}?viewmode=contents".format(self.bloger, int(pagenumber))
        html = requests.get(url=blogpagelink).text
        soup = BeautifulSoup(html, "html.parser")
        links = soup.find("div", {"id": "article_list"}).find_all("span", {"class": "link_title"})
        articleids = []
        for link in links:
            temp = link.find("a").attrs['href']
            articleids.append(temp.split("/")[-1])
        # print(len(articleids))
        # print(articleids)
        return articleids

    def get_all_articleids(self):
        pages = int(self._getTotalPages())
        articleids = []
        for index in range(pages):
            tempids = self._parsePage(int(index+1))
            articleids.extend(tempids)
        return articleids



if __name__ == '__main__':
    bs = BlogScanner(bloger="marksinoberg")
    # print(bs._getTotalPages())
    # bs._parsePage(1)
    articleids = bs.get_all_articleids()
    print(len(articleids))
    print(articleids)
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61

Brush工具类

# coding: utf8

# @Author: 郭 璞
# @File: brushhelper.py                                                                 
# @Time: 2017/10/5                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 开刷

import requests
import random
import time
from redishelper import RedisHelper


class FakeUserAgent(object):
    """
    搜集到的一些User-Agent，每次popup出不同的ua，减少反爬虫机制的影响。
    更多内容：http://www.73207.com/useragent
    """

    def __init__(self):
        self.uas = [
            "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
            "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
            "JUC (Linux; U; 2.3.7; zh-cn; MB200; 320*480) UCWEB7.9.3.103/139/999",
            "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0a1) Gecko/20110623 Firefox/7.0a1 Fennec/7.0a1",
            "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
            "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
            "Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/1A542a Safari/419.3",
            "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7",
            "Mozilla/5.0 (iPad; U; CPU OS 3_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B334b Safari/531.21.10",
            "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
            "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
            "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36",
            "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
            "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER) ",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
            "Mozilla/5.0 (Linux; U; Android 2.2.1; zh-cn; HTC_Wildfire_A3333 Build/FRG83D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
            "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
            "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
            "Openwave/ UCWEB7.0.2.37/28/999",
            "NOKIA5700/ UCWEB7.0.2.37/28/999",
            "UCWEB7.0.2.37/28/999",
            "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
            "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
            "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
            "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        ]

    def _generateIndexes(self):
        numbers = random.randint(0, len(self.uas))
        indexes = []
        while len(indexes) < numbers:
            temp = random.randrange(0, len(self.uas))
            if temp not in indexes:
                indexes.append(temp)
        return indexes

    def popupUAs(self):
        uas = []
        indexes = self._generateIndexes()
        for index in indexes:
            uas.append(self.uas[index])
        return uas


class Brush(object):
    """
    开刷浏览量
    """

    def __init__(self, bloger="marksinoberg"):
        self.bloger = "http://blog.csdn.net/{}".format(bloger)
        self.headers = {
            'Host': 'blog.csdn.net',
            'Upgrade - Insecure - Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36',
        }
        self.rh = RedisHelper()

    def getRandProxyIp(self):
        ip = self.rh.popupAvalibeIp()
        proxyip = {}
        ipinfo = "http://{}".format(str(ip.decode('utf8')))
        proxyip['http'] = ipinfo
        # print(proxyip)
        return proxyip


    def brushLink(self, articleid, randuas=[]):
        # http://blog.csdn.net/marksinoberg/article/details/78058279
        bloglink = "{}/article/details/{}".format(self.bloger, articleid)
        for ua in randuas:
            self.headers['User-Agent'] = ua
            timeseed = random.randint(1, 3)
            print("临时休眠: {}秒".format(timeseed))
            time.sleep(timeseed)
            for index in range(timeseed):
                # requests.get(url=bloglink, headers=self.headers, proxies=self.getRandProxyIp())
                requests.get(url=bloglink, headers=self.headers)


if __name__ == '__main__':
    # fua = FakeUserAgent()

    # indexes = [0, 2,5,7]
    # indexes = generate_random_numbers(0, 18, 7)
    # randuas = fua.popupUAs(indexes)
    # randuas = fua.popupUAs()
    # print(len(randuas))
    # print(randuas)

    # print(fua._generateIndexes())

    brush = Brush("marksinoberg")
    # brush.brushLink(78058279, randuas)
    print(brush.getRandProxyIp())

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127

入口

# coding: utf8

# @Author: 郭 璞
# @File: Main.py                                                                 
# @Time: 2017/10/5                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 入口

from csdn import *
from redishelper import RedisHelper
from brushhelper import *
import threading

def main():
    rh = RedisHelper()
    bs = BlogScanner(bloger="marksinoberg")
    fua = FakeUserAgent()
    brush = Brush(bloger="marksinoberg")

    counter = 0
    while counter < 12:
        # 开刷
        print("第{}次！".format(counter))
        try:
            uas = fua.popupUAs()
            articleid = rh.popupArticleId()
            brush.brushLink(articleid, uas)
        except Exception as e:
            print(e)
            # 待添加日志处理程序
        counter+=1


if __name__ == '__main__':
    for i in range(280):
        temp = threading.Thread(target=main)
        temp.start()
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38

运行结果

我拿了之前写过的一篇文章做了下测试。 
博文链接：http://blog.csdn.net/marksinoberg/article/details/78058279

开刷之前为301个浏览量，简单刷了下之后，访问量为下图：

简单刷了下浏览量之后

总结

大致就是这个样子啦，虽然这顶多算个原型，因为代码完成度45%左右。有兴趣的可以加我QQ1064319632， 或者在评论中留下您的建议，大家一起交流，一起学习。


转载来自：http://blog.csdn.net/marksinoberg/article/details/78168223

放肆青春的博客
关注
专栏目录
Java 那些你不知道的爬虫反爬虫套路
Knight_VIP的博客
08-16 6309
前言   爬虫与反爬虫，是一个很不阳光的行业。 这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试...
反爬虫策略反爬虫手段
01-06
反爬虫策略和手段 正所谓魔高一尺道高一丈 robots协议 反爬虫策略 反反爬虫策略
爬虫1
mydoubts的博客
11-16 159
最简单的爬虫练习 看要爬什么 之前每次爬东西都是去搜索学习，后来发现requests包太好用，太简单了。 首先看看要爬什么东西，以网贷之家为例： 为了爬取所有平台的基本信息，https://www.wdzj.com/dangan/，也就是这里平台的档案， 360浏览器鼠标右键-&gt;审查元素，点击network,然后刷新一下页面，再点击下面一栏中的xhr,谷歌浏览器要f12打开。 可以看到na...
反爬虫的方法大全
热门推荐
May女子の博客
05-08 2万+
反爬虫策略 1、封IP：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。 2、封USERAGENT：很多的爬虫请求头就是默认的一些很明显的爬虫头python-requests/2.18.4，诸如此类，当运维人员发现携带有这类headers的数据包，直接拒绝访问，返回403错误...
python爬虫自学宝典——反爬虫手段
良木
03-28 839
前文回顾 亲爱的各位看官们，看到这篇文章的时候，我们的爬虫之旅马上就要告一段落了。如果你支持我的博客，请点赞关注并分享。如果你觉得在下写的好，有钱的捧个钱场，没钱的捧个人场。我的博客都是公开的，也就是说，不要钱随便看的。当然如果阁下略微施舍点，在下也感激不尽。好了，闲言少叙，书归正文。 爬虫呢？本质上说来其实就是模仿用户，到浏览器上抓取信息的一种手段。其实每个网站或多或少的有放爬虫意识，只是强不...
结合实际_谈谈大学生学习形势与政策的重要性和必要性.doc
12-04
结合实际_谈谈大学生学习形势与政策的重要性和必要性.doc
通信与网络中的CDMA网优常见问题及对策
11-12
下面笔者就当前CDMA网络优化中存在的问题及解决对策谈谈自己的看法。 　基站硬件故障问题 　网络优化的基础在于基站设备的正常运行，一些功能模块服务质量差或者基站退服，严重影响到网络质量，导致覆盖出现盲区。...
谈谈纳税服务存在的问题及对策
08-19
2. 沟通不畅：税务干部与纳税人之间的沟通存在障碍，可能因政策更新快、纳税人配合度低等因素导致理解偏差。 3. 税收政策解读不足：宣传材料单一，解读不够深入，容易造成纳税人误解。 4. 基层服务力量薄弱：随着...
常用反爬虫方法有哪些？
m0_51713294的博客
07-26 1138
互联网对我们的生活影响巨大，手机上的功能软件众多，给我们的生活带来了巨大的便利，人们的衣食住行，分分钟可以搞定。品易HTTP拥有数量众多的HTTP代理IP，全部均为高匿名代理IP，可覆盖国内大部分城市地区，是网络营销工作人员的好帮手，一个点击，轻松改变浏览器IP。当然，所有的盈利模式都是建立在你有一定粉丝的基础上的。可以找几个大点的平台，可以注册，简单投票，每票在0.1元左右，推广还永久分润，1元起提。3.游戏代练用游戏挂机助手，用精灵挂机宝，多窗口多IP，完美突破IP限制，安全稳定，快速流畅。......
9种常见的反爬虫策略思路
xinyan023542的博客
01-13 3969
反爬虫，是指对扫描器中的网络爬虫环节进行反制，通过一些反制策略来阻碍或干扰爬虫的正常爬行，从而间接地起到防御目的。 爬虫的反制策略有很多，总体可归为基于IP的反爬虫和基于爬行的反爬虫两大类。 对于基于IP的反爬虫，主要思路就是通过人为或部分策略来识别出爬虫的IP并进行屏蔽、阻止、封禁等操作。 对基于爬行的反爬虫，其思路主要是在爬虫的爬行中设置爬行障碍，让其陷入死循环；或者用一些无意义的URL来填充其爬行队列，从而阻止其对正常URL进行后续的漏洞审计。 9种常见的反爬虫策略思路
当前反爬虫主要的技术手段
milk416666的博客
08-30 1800
例如，可以使用深度学习技术（如卷积神经网络）来识别爬虫的特征行为，从而实现对爬虫的有效识别和拦截。为了应对这些验证码，开发者可以使用OCR（光学字符识别）技术来识别图片中的文本，或者使用深度学习技术（如卷积神经网络）来识别滑动验证码中的规律。为了实现API接口调用，开发者需要先了解API接口的使用方法和参数要求，然后在代码中发送HTTP请求（如GET、POST等），并处理返回的数据。同时，随着技术的发展，反爬虫手段也在不断升级和完善，因此开发者需要保持警惕，不断学习和研究新的反爬技术和方法。
常见反爬虫手段及应对策略
bingocoder的博客
12-30 8708
网站反爬虫的手段 （1）通过User-Agent校验反爬 浏览器在发送请求的时候，会附带一部分浏览器及当前系统环境的参数给服务器，服务器会通过User-Agent的值来区分不同的浏览器。 （2）通过访问频度反爬 普通用户通过浏览器访问网站的速度相对爬虫而言要慢的多，所以不少网站会利用这一点对访问频度设定一个阈值，如果一个IP单位时间内访问频度超过了预设的阈值，将会对该IP做出访问限制...
必看！10个好用到爆的“反爬虫“措施！
白帽阿叁的博客
10-09 3493
爬虫是 Python 的一个常见应用场景，很多练习项目就是让大家去爬某某网站。爬取网页的时候，你大概率会碰到一些反爬措施。这种情况下，你该如何应对呢？本文梳理了常见的反爬措施和应对方案。
10个好用到爆的“反爬虫“措施！
最新发布
m0_48891301的博客
10-11 2313
我准备了一些非常系统的Python资料，除了为你提供一条清晰、无痛的学习路径，还甄选了最实用的学习资源以及庞大的主流爬虫案例库。短时间的学习，你就能够很好地掌握爬虫这个技能，获取你想得到的数据，需要的朋友可以扫描文末二维码即可获取。
0、爬虫
TU_JCN的博客
03-11 349
一、http 当⽤户在地址输⼊了⽹址 发送⽹络请求的过程是什么 1、http的请求⽅式 （1）get请求 优点： ⽐较便捷 缺点：不安全；明⽂；参数的⻓度有限制 （2）post请求 ⽐较安全；数据整体没有限制；上传⽂件 （3）put(不完全的) （4）delete(删除⼀些信息) 2、head(请求头) 发送⽹络请求(需要带⼀定的数据给服务器不带数据也可以) 请求头⾥⾯request...
常见反爬虫手段和高级爬虫的写法
weixin_55579895的博客
10-01 716
反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 关于反爬虫，看这一篇就够了https://segmentfault.com/a/1190000005840672 （1）传统反爬虫手段： 1、后台对访问进行统计，如果单个IP访问超过阈值，予以封锁。 有两个缺陷，一个是非常容易误伤普通用户，另一个就是，IP其实不值钱，几十块钱甚至有可能买到几十万个IP。 2、后台对访问进行统计，如果单个session访问超过阈值，予以封锁。 这个看起来更高级了一些，但是其实效果更差，因为s
爬虫 1 ：简介
panjunxiao的博客
09-24 340
1、搜索引擎(Search Engine)工作原理： 搜索引擎是指根据一定的策略、运用计算机程序从互联网上搜集信息，将信息处理后返回给检索相关信息的用户的系统。 2、通用爬虫 通用爬虫是搜索引擎的重要组成部分。 通用搜索引擎网络爬取步骤： 1.选取url爬取网页 2.数据存取。爬取到的数据存储的和普通用户看到的html一样，遇到重复内容多的停止爬取。 3.预处理。对爬取到的数据进行分析整理。 4....
Python爬虫：Selenium与PhantomJS实战教程
首先，我们来谈谈Selenium的环境搭建。为了使用Selenium，你需要在Python环境中安装它，命令行中执行`pip install selenium`即可。接着，下载对应的浏览器驱动程序，因为Selenium需要浏览器的对应驱动才能与之通信。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值