2020-11-28下

网络爬虫

把url地址中指定的网络资源从网络流中读取出来，保存到本地
请求网站
HTTP协议简介:超文本传输协议是一种用于分布协作式和超媒体信息系统的应用层协议，HTTP是万维网。
HTTP是一个客户端终端(用户)和服务器端(网站)请求和应答的标准。
默认端口为80。
工作过程:1.客户端与服务端建立连接
2.发送HTTP请求
3.服务器接到请求后，给予相应的响应信息
4.释放链接TCP链接
5.客户端接收服务器所返回的信息，浏览器解析并显示网页。

爬虫过程:
1.发起请求:通过HTTP库向目标站点发送请求，即发送一个Response。
2.获取响应内容:如果服务器正常响应，会得到一个Reponse。
3.解析内容
4:保存数据:可以存为文本，也可以保存至数据库。

Request:浏览器就发送信息给网址所在的服务器，这个过程叫做HTTP Request
GET:请求指定的页面信息并返回实体主体。
POST:向指定资源提交数据进行处理请求
用？分割URL和传输数据。
用&连接参数之间相连
GET提交的数据大小有限制，POST无限制

HTTP状态码:
2XX:成功状态码，请求正常处理完毕。
4XX:客户端，客户端错误
5XX:服务器错误状态码，服务器本身错误。

url:统一资源定位系统，有协议，主机名，域名，端口，目录，文件名。
域名一定和一个ip地址绑定。
爬虫合法性:如果网站有rebots，txt文档，就要判断是否有加密。