网络协议丨学习HTTP时需要理解的概念

HTTP本质是一个端对端协议，分为请求方和应答方。

请求方一方是客户端，客户端一般使用浏览器进行HTTP协议的数据传输，应答方一般指目标服务器，进行接收和应答。

爬虫：“爬虫”（Crawler），实际上是一种可以自动访问 Web 资源的应用程序。

绝大多数的爬虫是由各大搜索引擎“放”出来的，不停得在互联网上到处游走，抓取网页存入庞大的数据库，再建立关键字索引，这样我们才能够在搜索引擎中快速地搜索到互联网角落里的页面，可以在搜索引擎界面看到最受关注的关键词/新闻/热点。

爬虫的负面影响是，它会过度消耗网络资源，占用服务器和带宽，影响网站对真实数据的分析，甚至导致敏感信息泄漏。所以，又出现了“反爬虫”技术，通过各种手段来限制爬虫。其中一项就是“君子协定”robots.txt，约定哪些该爬，哪些不该爬。

而不管是爬虫还是反爬虫，需要掌握的是两个技术，一个是HTTP，一个是HTML。

HTML/WebService/WAF

HTML 学过前端的人都再熟悉不过，它是 HTTP 协议传输的主要内容之一，它描述了超文本页面，用各种“标签”定义文字、图片等资源和排版布局，最终由浏览器“渲染”出可视化页面。

Web Service 是一种由 W3C 定义的应用服务开发规范，使用 client-server 主从架构，通常使用 WSDL 定义服务接口，使用 HTTP 协议传输 XML 或 SOAP 消息，也就是说，它是一个基于 Web（HTTP）的服务架构技术，既可以运行在内网，也可以在适当保护后运行在外网。

因为采用了 HTTP 协议传输数据，所以在 Web Service 架构里服务器和客户端可以采用不同的操作系统或编程语言开发。例如服务器端用 Linux+Java，客户端用 Windows+C#，具有跨平台跨语言的优点。

WAF 是近几年比较“火”的一个词，意思是“网络应用防火墙”。与硬件“防火墙”类似，它是应用层面的“防火墙”，专门检测 HTTP 流量，是防护 Web 应用的安全技术。

WAF 通常位于 Web 服务器之前，可以阻止如 SQL 注入、跨站脚本等攻击，目前应用较多的一个开源项目是 ModSecurity，它能够完全集成进 Apache 或 Nginx。

此文章为2月Day8学习笔记，内容来源于极客时间《透视HTTP协议》，强烈推荐该课程！