爬虫概念
爬虫概念
爬虫,又称网页蜘蛛或网络机器人. 爬虫是模拟人操作客户端(浏览器,APP)向服务器发起网络请求 抓取数据的自动化程序或脚本
模拟: 不让服务器发现我们是爬虫
客户端: 浏览器和APP, 其是用户与服务器之间进行数据交互的通道, 或者说是桥梁
自动化: 针对于大数据量的
自动化,数量较小时可以人工获取数据,但往往公司中爬取的量都在百万级,所以要程序自动化获取数据
爬虫分类
通用爬虫: 通用爬虫,为搜索引擎提供检索服务。
聚焦爬虫: 聚焦爬虫是针对待定领域,抓取特定数据的爬虫程序
聚焦爬虫又分为增量式
原创
2020-09-03 10:43:51 ·
184 阅读 ·
0 评论