2019.7.17
实习第十六天
今天一整天没有新的活,继续学HTTP
1.代理与网关的不同在于,代理连接的是两个或者多个相同的协议,网关一般会做协议转换,但是一些商业化的代理也会加上网关功能
2.WPAD(Web Proxy Auto-Discovery Protocol)的作用是找到代理PAC的URL,并下载PAC,配置好
3.参与签名评审
4.拦截代理需要处理当客户端第一次请求就被拦截,客户端此时以为服务器存在,而所请求的服务器可能不在线的情况
5.爬虫需要考虑的问题:环路,记录
|
–解决方法:规范化URL,广度优先搜索,节流,限制URL大小,站点黑名单,模式检测,内容指纹,人工监视等
6.robots.txt文件disallow,allow均没有匹配的URL视为可被访问的
7.HTML的标签也可以限制机器人的行为
8.了解了摘要认证的概念
9.SSL握手的过程:①客户端发送可选密码并请求证书 ②服务器返回选中的密码和证书 ③客户端发送保密信息,两端生成密钥 ④两端互相告知,开始加密过程
10.了解了SMTP的常用命令