nodejs爬虫与python爬虫_爬虫知多少-（NodeJS 爬虫）

不久前在公司做了一个关于爬虫的分享，简单介绍了网络爬虫的基础知识、爬虫的运作方式、抓取策略、攻防方式以及如何使用 NodeJS 进行爬虫开发， 在这里分享给各位同学分享一下~

一、爬虫简介

二、爬虫的运作方式

三、抓取策略

（1）深度优先搜索

（2）广度优先搜索

四、爬虫攻防之爬虫与反爬虫

1、校验用户户请求的Headers

反爬虫策略：对Headers的User-Agent进行检测

对Referer进行检测

应对方式：将浏览器的User-Agent复制到爬虫的Headers中

将Referer值修改为目标网站域名

2、基于用户行为反爬虫

反爬虫策略：监控同一IP短时间内多次访问同一页面

监控同一账户短时间内多次进行相同操作

应对方式：使用IP代理，每请求几次更换一个 ip

控制请求的速率，增加时间间隔

黑科技：Baiduspider+

3、动态页面的反爬虫

反爬虫策略：验证码

ajax 加密

应对方式：phantomJS（无界面 webkit 内核浏览器）

Headless Chrome （无界面 chrome 浏览器）

五、如何使用 NodeJS 进行爬虫开

1、请求request

superagent

2、分析cheerio

3、url处理url (Node.js 标准库包含了该模块)

4、控制并发eventproxy目标源较少，用于汇总数据

async目标源较多或者不确定，需要使用队列，并且控制并发数

5、数据存储sqlite

neo4j

其他关系型、非关系型数据库

看完上面的 PPT和介绍，对爬虫可以说是有了一个简单的了解了，如果有同学想继续深入研究使用 NodeJS 进行爬虫开发，或者说想跟我一样，用 NodeJS 写一些好玩的东西的话，可以随时来找我交流哦，我们互相学习，共同进步，欢迎来撩~

本文同步发布于同名微信公众号：WeCode365，欢迎来撩。