Python爬虫技术之cfscrape库的相关知识（绕过5秒机器人检测）

一、关于cfscrape库

cfscrape准确来说是用来绕过机器人协议及检测的，有些网站会在机器人协议里表明哪些网址可以爬，哪些不能爬，当然作为君子协议，本身是没有太大约束的，但是对于新手而言，却十分痛苦，因为协议的原因，导致网站不能正常爬取，所以就发现了一个宝藏模块cfscrape，当然就算绕过机器人协议，后续也会遇到更多的反爬手段，因为一般网站不会详细设置机器人协议的，如果设置了，大概率会增加很多反爬措施，不然没理由就设置个机器人协议，咳咳咳，懂得都懂。当然现在仅此讲cfscrape库。

1、机器人协议

1.1 基本概念

一般爬虫开始，返回的状态码是200，代表目前是正常的，可以继续爬取，但如果机器人协议恰好把你的网址某一段给禁止的话，估计就会报503错误。

1.2 查看机器人协议

1.2.1 格式

网址+.robots.txt

1.2.2 例如百度的机器人协议

https://www.baidu.com/robots.txt

等等。。。。
因此为了绕过机器人协议及五秒检测。便有了cfscrape模块

2、cfscrape的安装及使用

2.1 官方文档网址

链接: cfscrape 2.1.1文档
其实官方文档写得很详细。

2.2 操作命令

（1）直接安装库

pip install cfscrape

（2）如果用pycharm或IDEA做的话，让软件自动导入就可以了。

2.3 python版本要求

Python versions 2.6 - 3.7 ，其它的都用不了

二、使用cfscrape库

1、相关代码

# 绕过机器人验证
scraper = cfscrape.create_scraper()

# 抓取网站的URL地址，设置最大响应时间为60
rsp = scraper.get(url, timeout=60)

#查看状态码
print("状态码是：" + str(rsp.status_code))

#获取网站源码
webdata = scraper.get("http://somesite.com").content

后续再配合Beautiful Soup库 或者 Selenium库都可以爬取，之后就看自己能力了。

2、注意

爬虫归爬虫，我们一定要遵纪守法，不给相关网站人员添麻烦，找trouble，遵守底线。