不久前在公司做了一个关于爬虫的分享,简单介绍了网络爬虫的基础知识、爬虫的运作方式、抓取策略、攻防方式以及如何使用 NodeJS 进行爬虫开发, 在这里分享给各位同学分享一下~
一、爬虫简介
二、爬虫的运作方式
三、抓取策略
(1)深度优先搜索
(2)广度优先搜索
四、爬虫攻防之爬虫与反爬虫
1、校验用户户请求的Headers
反爬虫策略:对Headers的User-Agent进行检测
对Referer进行检测
应对方式:将浏览器的User-Agent复制到爬虫的Headers中
将Referer值修改为目标网站域名
2、基于用户行为反爬虫
反爬虫策略:监控同一IP短时间内多次访问同一页面
监控同一账户短时间内多次进行相同操作
应对方式:使用IP代理,每请求几次更换一个 ip
控制请求的速率,增加时间间隔
黑科技:Baiduspider+
3、动态页面的反爬虫
反爬虫策略:验证码
ajax 加密
应对方式:phantomJS(无界面 webkit 内核浏览器)
Headless Chrome (无界面 chrome 浏览器)
五、如何使用 NodeJS 进行爬虫开
1、请求request
superagent
2、分析cheerio
3、url处理url (Node.js 标准库包含了该模块)
4、控制并发eventproxy目标源较少,用于汇总数据
async目标源较多或者不确定,需要使用队列,并且控制并发数
5、数据存储sqlite
neo4j
其他关系型、非关系型数据库
看完上面的 PPT和介绍,对爬虫可以说是有了一个简单的了解了,如果有同学想继续深入研究使用 NodeJS 进行爬虫开发,或者说想跟我一样,用 NodeJS 写一些好玩的东西的话,可以随时来找我交流哦,我们互相学习,共同进步,欢迎来撩~
本文同步发布于同名微信公众号:WeCode365,欢迎来撩。