爬虫的基本原理
爬虫的基本原理1.什么是爬虫?2.爬虫的基本流程a.发起请求b.获取响应内容c.解析内容d.保存数据3.
1.什么是爬虫?
爬虫, 即网络爬虫. 若将互联网比作一个大网, 那么爬虫就类似于一只在这张大网上爬行的蜘蛛, 若遇到了一些网络资源, 就会对资源进行抓取. 简单来说, 爬虫就是用来请求网站并提取数据的自动化程序.
2.爬虫的基本流程
a.发起请求
通过HTTP库向目标站点发起请求, 即发送一个Request, 请求可以包含额外的headers等信息, 等待服务器响应.
b.获取响应内容
如果服务器能正
原创
2020-10-04 15:07:35 ·
696 阅读 ·
0 评论