2.2.1知识概述
网络爬虫究竟是怎么运行的？
单个页面是如何运行的？
* 1）指定一个url
* 2）使用技术发送get请求
* 3）获得服务端的响应
* 4）将二进制的数据，转化成HTML文档
网络爬虫一般会爬取很多很多很多的页面
for（）{
* 1）指定一个url
* 2）使用技术发送get请求
* 3）获得服务端的响应
* 4）将二进制的数据，转化成HTML文档
}
2.2.2视频详情
本文介绍了网络爬虫的工作流程，从单个页面的抓取到大规模网页的爬取。首先，通过指定url，发送get请求获取服务端响应，然后将二进制数据转化为HTML文档。在网络爬虫中，通常需要一个容器保存待爬url，模拟http请求技术，将数据解析并可能存储到数据库中。此外，还需处理url队列中可能的重复元素，并根据需求决定是否爬取页面中发现的其他url。
最低0.47元/天 解锁文章
扫一扫
377
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
