Web知识

Web基础知识

URL地址

URL地址俗称网页地址，简称网址，是用于完整地描述Internet上网页和其他资源地址的字符串，主要用在各种WWW客户程序和服务器程序上；一个完整的URL地址包括协议部分、网址、文件地址部分。

协议有http、file、ftp、https等，这是一个完整的URL地址：https://(协议)m.php.cn（网址）/article/414430.html

域名系统（DNS）

DNS是Internet上解决网络上机器命名的一种系统，是将域名和IP地址相互映射的一个分布式数据库。
eg:微软公司IP地址：207.46.230.229域名：www.microsoft.com,通过两种方式都可以访问其Web网络。
域名由因特网域名与地址管理机构（ICANN）管理，.cn为中国顶级域名，.com和.top用于企业，.edu用于教育机构，.gov用于政府机构，.mil用于军事部门，.net用于互联网络及信息中心，.org用于非盈利性组织。

Robots协议（爬虫协议）

网站通过Robots协议告诉搜索引擎那些页面能否抓取，在网址后面加上robots.txt即可查询。
承载这些协议的文件就是robots.txt文件。
网络爬虫又称网页蜘蛛，检查该网站点根目录下是否存在robots.txt文件，文件存在，爬虫按照文件 中的内容确定爬行范围；不存在，能够访问网站上所有没有被口令保护的页面。
robots.txt文件的作用：保护隐私、调节页面抓取量。

禁止百度索引你的网站。
User-agent:Baiduspider
Disallow:/
禁止除百度以外的一切搜索引擎索引你的网站。
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/

HTTP教程

HTTP/HTTPS简介

HTTP 协议是 Hyper Text Transfer Protocol（超文本传输协议）的缩写，是用于从万维网（ WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。

HTTP 是一个基于 TCP/IP 通信协议来传递数据（HTML 文件、图片文件、查询结果等）。

HTTPS 协议是 HyperText Transfer Protocol Secure（超文本传输安全协议）的缩写，是一种通过计算机网络进行安全通信的传输协议。

HTTPS 经由 HTTP 进行通信，但利用 SSL/TLS 来加密数据包，HTTPS 开发的主要目的，是提供对网站服务器的身份认证，保护交换资料的隐私与完整性。

HTTP 的 URL 是由 http:// 起始与默认使用端口 80，而 HTTPS 的 URL 则是由 https:// 起始与默认使用端口443。

http与https的关系: 图片

HTTP工作原理

HTTP 协议工作于客户端——服务端架构上，浏览器作为 HTTP 客户端通过 URL 向 HTTP 服务端即 WEB 服务器发送所有请求。

Web 服务器有：Apache 服务器，IIS 服务器（Internet Information Services）等。

Web 服务器根据接收到的请求后，向客户端发送响应信息。

HTTP 默认端口号为 80，但是你也可以改为 8080 或者其他端口。
HTTP协议通信流程：

HTTPS作用

HTTPS 的主要作用是在不安全的网络上创建一个安全信道，并可在使用适当的加密包和服务器证书可被验证且可被信任时，对窃听和中间人攻击提供合理的防护。

Google Chrome、Internet Explorer 和 Firefox 等浏览器在网站含有由加密和未加密内容组成的混合内容时，会发出警告。
例如：http://www.runoob.com上述浏览器浏览时就会报错

HTTP状态码

下面是常见的 HTTP 状态码：

200 - 请求成功
301 - 资源（网页等）被永久转移到其它URL
404 - 请求的资源（网页等）不存在
500 - 内部服务器错误