网络爬虫基本原理

首先精心选择一些URL，把这些精心选择的URL放入URL队列中，从对列中捉取代取的URL读取URL之后开始解析DNS，把这些URL下载下来放入网页库中。

基本流程就是：发送请求－获取响应内容－解析内容－保存数据。

从网络爬虫的角度可以把互联网分为五种

１；已下载未过期网页

２；已下载过期网页

３；待下载网页

４；可知网页

５；不可知网页

网页抓取的基本原理

常见的叫法是网页抓屏，数据挖掘，网络收割，

其理论上网页抓取是一种经过由多种方法手机网络的数据方式，不仅是有与API交互的方式。

最常用的方法是确定抓取URL书费你随路的存储格式，写一个自动化程序向网络服务器请求数据，而后对数据进行解析，汲取需要的信息并存入数据库。