scrapy豆瓣实战反爬机制（转）

最新推荐文章于 2024-08-24 16:34:34 发布
最新推荐文章于 2024-08-24 16:34:34 发布
阅读量9.4k 收藏 41
点赞数 10
分类专栏： python爬虫

前言

scrapy是优秀的Python爬虫框架，最近在使用scrapy爬取豆瓣音乐信息时，着实被其反爬机制搞了一下。虽然豆瓣提供了各种API可以供我们提取信息，但是我就是要用爬虫爬你练手。

正文

常见的反爬机制有如下几种：

1.请求头检查，比如cookies，user-agent，refer，甚至Accept-Language等等，这也是最基本的反爬机制。

2.访问频次检查，如果一个ip在短时间内访问次服务器次数过于频繁，且cookies相同，则会被判定为机器人，你可能会被要求登录后再访问服务器或者输入验证码，甚至直接封禁你的ip。

3.验证码验证，爬虫无法轻易绕过这一关。

4.有些网页的元素是动态生成的，只有在js加载完成后才会显示。比如很多实用了Ajax的网站，都会有动态生成的元素。直接爬取页面将无法获取想要的元素。

5.表单安全措施，如服务器生成的随机变量加入字段检测，提交表单蜜罐等。所谓蜜罐简单来说就是骗机器人的一些表单，比如一下三种：

<a href='...' style='display:none;'> #看不见

<input type='hiden' ...> #隐藏

<input style='position:absolute; right:50000px;overflow-x:hidden;' ...> #右移50000像素，且隐藏滚动条，应该出电脑屏幕了，看不到

如果你有关于这些元素操作，就表明你是直接通过页面源码观察网页的，也可以说明你是机器人，至少不是正常人。
 

反反爬应对策略：

1.人为设置请求头，使用谷歌开发者工具F12查看Network可以看到Request Headers。不嫌麻烦可以把得到的请求头全部加入自己程序是request里边。

2.设置timesleep，或者download_delay等等，爬一会儿停一下，甚至可以设置随机爬取时间，使你的程序看起来更像人类，或者说不像机器人。有些网站不需要cookies，可以不设置。如果是封禁ip的话，可以设置ip代理池。

3.图像识别，文字识别，关键字OCR，多家公司都有免费产品可用。另外觉得不带劲可以自己训练一个，Google有一个开源的ocr库，就是大名鼎鼎的Tesseract，网上教程很多。

4.对于动态页面，最简单最直接的办法就是使用selenium，这本来是一个自动化测试的框架，不过用它可以真实模拟浏览器，所以可以采集js加载后的页面，配合无头浏览器PhantomJS就可以快速爬取动态页面了。（最新版本的selenium已经不支持PhantomJS了，小公司的创意终究还是倒下了，现在可以使用Headless Chrome，Headless Firefox等,或用旧版selenium）

5.还是使用selenium，因为它还可以模拟鼠标点击拖放等动作。且以真实浏览器视角观察页面，所以可以判断出蜜罐。来一个简单的判断超链接逻辑。

from selenium import webdriver

driver = webdriver.PhantomJS(executable_path='')

driver.get('http://')

links = driver.find_elements_by_tag_name('a')

for link in links:

if not link.is_display():

print('its not in the screen')

实战豆瓣

建立一个爬取豆瓣音乐评论的scrapy项目douban，命令行下：

scrapy startproject douban

douban项目__init__.py:

# -*- coding: utf-8 -*-

BOT_NAME = 'douban'

SPIDER_MODULES = ['douban.spiders']

NEWSPIDER_MODULE = 'douban.spiders'

DOWNLOAD_DELAY = 2 #控制爬取速度，而且scrapy自动设置delay为0.5*DOWNLOAD_DELAY到1.5*DOWNLOAD_DELAY之间，可以说是很方便了。

重写items.py:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

# See documentation in:

# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy



class MusicReviewItem(scrapy.Item):

review_title = scrapy.Field()

review_content = scrapy.Field()

review_author = scrapy.Field()

review_music = scrapy.Field()

review_time = scrapy.Field()

review_url = scrapy.Field()

 

spiders部分建立music_review.py:​​​​​​​

# -*- coding: utf-8 -*-

from scrapy.spiders import CrawlSpider, Rule

from scrapy.linkextractors import LinkExtractor

from douban.items import MusicItem, MusicReviewItem

from scrapy import log


import re


class ReviewSpider(CrawlSpider):

name = 'review'

allowed_domains = ['music.douban.com']

start_urls = ['https://music.douban.com/subject/26480723/']#主要是反爬，这里找个简单例子，音乐Fade

rules = (Rule(LinkExtractor(allow=r"/review/\d+/$"), callback="parse_review", follow=True),)#rule正则规定爬取的页面


def parse_review(self, response):

try:

item = MusicReviewItem()

item['review_title'] = "".join(response.xpath('//*[@property="v:summary"]/text()').extract())

content = "".join(

response.xpath('//*[@id="link-report"]/div[@property="v:description"]/text()').extract())

item['review_content'] = content.lstrip().rstrip().replace("\n", " ")

if len(item['review_content'])<1: #部分评论的html结构是多段<p>组成的

item['review_content']="".join(

response.xpath('//*[@id="link-report"]/div[@property="v:description"]/p/text()').extract())

item['review_author'] = "".join(response.xpath('//*[@property = "v:reviewer"]/text()').extract())

item['review_music'] = "".join(response.xpath('//*[@class="main-hd"]/a[2]/text()').extract())

item['review_time'] = "".join(response.xpath('//*[@class="main-hd"]/p/text()').extract())

item['review_url'] = response.url

yield item

except Exception as :

log(e)

 

新建一个ippool.py，用来添加proxies：​​​​​​​

# -*- coding: utf-8 -*-

import random

# 导入settings.py中的IPPOOL

from .settings import IPPOOL

from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware



class ippool(HttpProxyMiddleware):


def __init__(self, ip=''):

self.ip = ip


def process_request(self, request, spider):

ip = random.choice(IPPOOL)

print("当前使用IP是："+ ip)

request.meta["proxy"] = "https://"+ip

相应的。要在配置文件settings.py里边写入：​​​​​​​

DOWNLOADER_MIDDLEWARES = {


'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,

'douban.ippool.ippool' : 125,


}

IPPOOL = [

"110.72.33.3:8123"

]

另外，还要加入user-agent，直接把headers除了cookies都加上，写入settings.py:

DEFAULT_REQUEST_HEADERS = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'Accept-Encoding': 'gzip, deflate, br',

'Accept-Language':'zh-CN,zh;q=0.9',

'Cache-Control': 'max-age=0',

'Connection': 'keep-alive',

'Host': 'music.douban.com',

'Referer': 'www.baidu.com',

'Upgrade-Insecure-Requests':' 1',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}

考虑到代理ip不稳定，retry和timeout也是必须的，可以直接使用scrapy自带的中间件scrapy.downloadermiddlewares.retry.RetryMiddleware，这些都加入settings：

RETRY_ENABLE = True

RETRY_TIMES = 10

# RETRT_CODECS = /默认是500,502,503,504,408

DOWNLOAD_TIMEOUT = 10

DOWNLOADER_MIDDLEWARES = {


'scrapy.downloadermiddlewares.retry.RetryMiddleware':100, #这一行是新加的

'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,

'douban.ippool.ippool' : 125,


}

最后写一个run.py运行整个爬虫，且输出json保存：​​​​​​​

from scrapy import cmdline

cmdline.execute("scrapy crawl review -o review.json".split())

当代理连接失败，或者timeout时，运行效果如下：

当有稳定可用的代理ip时，效果如下，成功绕过反爬机制抓取到内容：

不够有一个小问题，最后不会正常结束，会有SSL报警：

关于这个问题，可以参考StackOverflow的一篇回答，点击查看。

在douban项目下新建context.py，内容如下：

from OpenSSL import SSL

from scrapy.core.downloader.contextfactory import ScrapyClientContextFactory

class CustomContextFactory(ScrapyClientContextFactory):

"""

Custom context factory that allows SSL negotiation.

"""

def __init__(self,method=SSL.SSLv23_METHOD):

# Use SSLv23_METHOD so we can use protocol negotiation

self.method = method

然后在settings里边加入：

DOWNLOADER_CLIENTCONTEXTFACTORY = 'douban.context.CustomContextFactory'

然后再运行就不会报错了。

最后settings.py汇总起来如下：

# -*- coding: utf-8 -*-


# Scrapy settings for douban project

#

# For simplicity, this file contains only settings considered important or

# commonly used. You can find more settings consulting the documentation:

#

# https://doc.scrapy.org/en/latest/topics/settings.html

# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html

# https://doc.scrapy.org/en/latest/topics/spider-middleware.html


BOT_NAME = 'douban'


SPIDER_MODULES = ['douban.spiders']

NEWSPIDER_MODULE = 'douban.spiders'


RETRY_ENABLE = True

RETRY_TIMES = 10

# RETRT_CODECS = /默认是500,502,503,504,408

DOWNLOAD_TIMEOUT = 10


DOWNLOAD_DELAY = 2


# Override the default request headers:

DEFAULT_REQUEST_HEADERS = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'Accept-Encoding': 'gzip, deflate, br',

'Accept-Language':'zh-CN,zh;q=0.9',

'Cache-Control': 'max-age=0',

'Connection': 'keep-alive',

'Host': 'music.douban.com',

'Referer': 'www.baidu.com',

'Upgrade-Insecure-Requests':' 1',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}



DOWNLOADER_MIDDLEWARES = {


'scrapy.downloadermiddlewares.retry.RetryMiddleware':100,

'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,

'douban.ippool.ippool' : 125,

}


DOWNLOADER_CLIENTCONTEXTFACTORY = 'douban.context.CustomContextFactory'


# 设置IP池

IPPOOL = [

"110.72.33.3:8123"

]

这时候我们看下提取的json文件，看起来是unicode保存的，在线转码查看一下：

 

成功！

总结

scrapy框架为我们定义好了许多非常实用的功能，多多练习，在发现错误解决问题的过程中才能更好掌握。大家在不知道网站有什么反爬机制的情况下一定要小心，不然被封了ip就很糟心了。源码已上传我的github，欢迎来吐槽~

蒲公英上的尘埃
关注
专栏目录
scrapy反反爬虫策略和settings配置解析
LDC，公众号【轻松学编程】
07-13 3248
反反爬虫相关机制 Some websites implement certain measures to prevent bots from crawling them, with varying degrees of sophistication. Getting around those measures can be difficult and tricky, and may some...
从豆瓣的反爬说说自建代理池
简书博客搬家测试账号
03-08 578
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 作者：强哥，现供职于一家大型全球电子商务网站，多年Python程序员，热爱数...
scrapy实战之与豆瓣反爬抗争
Fourierrr_的博客
04-07 7619
前言scrapy是优秀的Python爬虫框架，最近在使用scrapy爬取豆瓣音乐信息时，着实被其反爬机制搞了一下。虽然豆瓣提供了各种API可以供我们提取信息，但是我就是要用爬虫爬你练手。正文常见的反爬机制有如下几种：1.请求头检查，比如cookies，user-agent，refer，甚至Accept-Language等等，这也是最基本的反爬机制。2.访问频次检查，如果一个ip在短时间内访问次服务...
scrapy框架--快速了解
最新发布
金灰的博客
08-24 630
Scrapy是一个开源的Python框架，用于抓取网站数据并进行数据处理。Scrapy是一个快速、高效的框架，可以用来构建快速、可扩展的爬虫。Scrapy框架的主要组件包括：1-引擎：Scrapy引擎负责处理数据流，包括调度、下载、解析、存储等。(包工头,大心脏)2-调度器：Scrapy调度器负责管理URL请求，并将请求发送给下载器。--过滤器和请求队列3-spider：Spider是爬虫的主要组件，负责解析网页并提取数据。parse()方法：用于解析网页并提取数据。
豆瓣的反爬虫
m0_67147703的博客
05-30 813
可以观察到，电影名“肖申克的救赎”就在id为“content”的div节点中；分析短评的源代码可以发现，用户主页的url存在“comment-info”的a节点中，评论存在class为“short”的span节点中。在用户广播页面，由于我需要爬取到用户喜爱的电影，因此筛选出标签为“看过”且用户对其的评分在四分及以上的电影，并爬取电影的名称，例如这个“少年派的奇幻漂流”。获取短评用户的主页url后，我们可以增加"“/statuses”后缀，得到其“广播”的url，但未登录的情况下进入该页面会显示需要登录。
被豆瓣反爬虫制裁实记录——温柔小薛的第一个小爬虫
温柔小薛的博客
07-04 2659
写在前面 最近的课设是用python写一个简单爬虫，然而不让用使用起来便捷的第三方模块和爬虫框架，要求基于socket来写，死磕了好几天，结果还只能爬一丢丢啦，最后才查资料找到了问题所在，其实是遇到了简单的蜜罐，听了好久蜜罐，还真让我遇上一次，不用第三方真的绕不过去啊，还好老师没太难为人，不过自己也是挺生气哦，留个坑吧，以后抽时间再写一个功能强的说啥也得绕过了！ 不多说了，报告整上，做这个爬虫需要一些web端知识哦，整体思路就是模拟浏览器发送request，接受返回的数据，再进行储存，之后解析抽离出自己需要
Python爬虫实战：Scrapy豆瓣电影爬取
04-26
**Python爬虫实战：Scrapy框架爬取豆瓣电影** Python是一种强大的编程语言，尤其在数据处理和网络爬虫领域有着广泛的应用。Scrapy是一个用Python编写的高效爬虫框架，它设计精巧，功能强大，适合进行大规模的数据...
Scrapy实战- Scrapy框架爬取豆瓣电影top250
qq_42803848的博客
01-05 4588
scrapy框架 爬取豆瓣电影排名，数据保存至MySQL数据库中
python爬虫基础知识、爬虫实例、反爬机制等资源.docx
05-25
### 反爬机制 1. **User-Agent伪装**：设置合适的User-Agent，模拟浏览器行为，防止被网站识别为爬虫。 2. **IP代理**：使用IP代理池，避免在短时间内发送过多请求到同一网站。 3. **请求频率限制**：控制爬取...
python爬虫反爬机制_Python Scrapy突破反爬虫机制（项目实践）
weixin_39640024的博客
11-27 282
对于 BOSS 直聘这种网站，当程序请求网页后，服务器响应内容包含了整个页面的 HTML 源代码，这样就可以使用爬虫来爬取数据。但有些网站做了一些“反爬虫”处理，其网页内容不是静态的，而是使用 JavaScript 动态加载的，此时的爬虫程序也需要做相应的改进。使用 shell 调试工具分析目标站点本项目爬取的目标站点是 https://unsplash.com/，该网站包含了大量高清、优美的图片...
爬取豆瓣电影TOP250(增加反爬方法)
qq_40905132的博客
05-08 3855
爬取豆瓣电影TOP250 网上找的爬虫例子练手，这好像是最简单的写法，不知道是不是年代有点点久远，例子无法正常运行，后来查才知道是豆瓣加了反爬机制。 所以我就在原基础上加了反爬方法，做了一点点小改动。因为新接触Python，所以写法可能不是很好哈哈哈哈哈哈哈哈哈哈哈 # 爬取豆瓣电影Top250 import os import re import time import request...
Python scrapy 爬虫入门（七）突破反爬虫技术
12-21
1 反爬虫技术及突破措施 1.1 降低请求频率 降低请求频率以模仿人类用户，而不是机器。 settings.py中设置DOWNLOAD_DELAY即可 # 即两次请求间隔为 3 秒 DOWNLOAD_DELAY = 3 另外，为了防止请求过于规律，可以使用RANDOMIZE_DOWNLOAD_DELAY设置一个介于0.5* DOWNLOAD_DELAY和1.5 *DOWNLOAD_DELAY之间的随机延迟时间。 RANDOMIZE_DOWNLOAD_DELAY = TRUE 1.2 修改请求头 伪装用户进行爬虫时，一定不要忘记设置请求头以表示自己是人形用户。特别是警觉性比较高的网站，请求头
浅谈Scrapy框架普通反爬虫机制的应对策略
09-20
主要介绍了浅谈Scrapy框架普通反爬虫机制的应对策略，具有一定借鉴价值,需要的朋友可以参考下
爬取豆瓣TOP250-避免反爬虫（2021-10-09）
qh_aichun的博客
10-09 6237
前言 不适合没有爬虫基础的，自己写着玩玩，其中的IP地址，也是爬取下来的，实时在变 注意：没有对IP地址进行校验 爬取豆瓣电影，豆瓣电影现在都有反爬虫机制，我们采用2种方法： 不同浏览器标识：User_agent（模拟不同的浏览器） 不同的IP地址：proxies（防止IP地址被封） 爬取间隔2秒：防止网页扫描频繁操作 导入需要的库 import pandas as pd import requests from bs4 import BeautifulSoup import random import
破豆瓣网验证码反爬机制
Doraemon_meow_meow的博客
08-21 1026
from selenium import webdriver import time import requests from lxml import etree import base64 #获取登陆页面的页面信息和Url driver = webdriver.Chrome() url = "https://accounts.douban.com/login?alias=doraemon_me...
Python 爬虫 scrapy 反 反爬虫策略
IT_arookie的博客
10-19 1199
转载自https://blog.csdn.net/mouday/article/details/80777256 爬虫策略: 1、动态User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）,使用中间件 class RandomUserAgentMiddleware(object): def process_request(self, request, spider...
scrapy项目反爬虫策略
weixin_33976072的博客
04-06 194
2019独角兽企业重金招聘Python工程师标准>>> ...
Scrapy应对反爬虫策略
TINANP的博客
05-25 3158
一、设置用户代理 设置User Agent模拟浏览器，在Scrapy框架中，有四种方法设置User Agent。 1、在settings.py中·直接设置User Agent。 2、在settings.py中设置Scrapy的默认请求headers。 3、直接在爬虫代码中为scrapy.Request添加headers参数。 4、在中间件自定义headers。 二、设置下载延迟、Cookies及使用代理ip 1、设置下载延迟 在settings.py中找到#DOWNLOAD_DELAY = 3,去掉注释。D
scrapy反爬虫与反反爬虫总结
qq_27109535的博客
07-10 360
scrapy反爬虫与反反爬虫文章比较多，都简谈不全，现在搜集好多资料，梳理一下思路，总结了一下内容。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值