-与服务器建立链接:URL/URI
-服务器返回对象:超文本(网页源代码)数据的主干
-网络传输超文本数据的协议:HTTP
-认证用户和服务器,加密,维护数据:SSL
-请求:
-
请求头: Request.headers:(服务器判断是否返回数据)
-
服务器判断依据:UA,Cookie,Host,Referer,
-
指定服务器返回数据类型:Accept,Accept-Encoding,Accept-Language;
-
请求体:
-
POST:表单数据 data={}
-
GET:空
-响应:
-
响应头: (响应数据类型属性)
-
响应时间:Date: Tue, 26 Jan 2022 05:55:55 GMT
-
资源修改时间
-
内容编码:content-encoding: gzip
-
文档类型:Content-Type: text/html; charset=utf-8
-
设置Cookies
-
Cookies过期时间:Expires/
-
响应体:
-
请求网页时:网页源码
-
请求图片时:二进制数据
网页基础
-网页的组成
-
HTML
-
CSS
-
JavaScript
-网页的结构
-
html标签
-
head标签:网页选项卡
-
body标签:网页正文
-
div标签:定义网页中区块
-节点间的关系与节点树
-
层级关系
-
父节点与子节点
-
互为兄弟节点
-
节点树
-
各个节点由于层级关系组成的结构
-选择器(定位节点)
-
CSS选择器
-
.开头指代class 例: .title–>>选择class='title’的所有节点
-
#开头指代id 例: #2333–>>选择id='2333’的所有节点
-
space 表示 层级关系
爬虫的基本原理
-爬虫流程
-
获取网页:
-
对服务器发请求
-
提取信息:
-
利用网页结构(标签)与lxml等库
-
存储数据
-
本地(TXT文本,JSON文本)
-
数据库(MYSQL,MongoDB等)
-
远程服务器(SFTP)
-
自动化程序:可进行异常处理,并沿着网页爬取其他网页的理想数据
-可获取的数据 -
有对应基于https协议的url的数据
-Javascript渲染页面(无法直接获取完整网页页面) -
分析AJax接口
-
使用Selenium,Splash 模拟渲染
会话与Cookies
**-会话:由服务器创建的记录用户状态的对象
-Cookies:服务器发送给用户的与某一会话对应的数据
-Cookies属性结构**
- Max-Age:决定Cookies失效时间
- HTTP字段:该Cookies信息只存于HTTP头
- Domain:限定域名
- Secure:Cookies是否使用其他协议(非安全协议)传输
- Name:名字,不可改
- Value:值
- Path:设置域名下的可访问路径
- Size字段:大小
代理的基本原理
-基本原理
- 在用户与服务期间插入一个代理服务器,在服务器看来其为用户,在用户看来其相当于服务器
-代理的作用
- 突破自身ip访问限制(使用未受限制的IP)
- 访问某单位内部资源(使用该单位ip)
- 隐藏真实ip(假ip)
- 提高访问速度(缓冲区大)
-代理分类
-
匿名程度
-
高度匿名代理
-
普通匿名代理
-
透明代理
-
间谍代理:代理服务器监视,记录用户传输的数据
-
协议区分
-
FTP代理服务器
-
HTTP代理服务器
-
SSL/TLS代理
-
RTSP代理
-
Telnet代理
-
POP3/SMTP代理
-
SOCKS代理
-常见代理设置
-
网上免费代理(X)
-
付费代理(√)
-
ADSL拨号(√)