爬虫原理和网页构造 网络连接 爬虫原理 多页面爬虫流程 跨页面爬虫流程 网页构造 网络连接 爬虫需要了解关于网络连接的知识不多,只需要知道最基本的连接原理即可。 如下图所示: 在客户端点开一个连接就会向服务器发送出一个请求,服务器就会向客户端返回相应的文件。 比如上网买东西。你下单了,就是发送一个请求(请求里携带着你的地址信息)给仓库,仓库就会发送相应的货物给你。而爬虫就是可以模拟你下单的动作,并且会自动处理仓库发送过来的货物。 爬虫原理 爬虫的原理就是模拟浏览器对目标网站发送请求,然后从网站返回的数据中提取有用的数据,并将有用的数据存放于数据库或文件中。 即如下三大步骤: