爬虫基础--HTTP基本原理

1.URl和URL

        什么是URl,URL

                如 : https://fanyi.baidu.com/langdetect

                再如:https://www.baidu.com/s?ie=utf-8&mod=1&isbd=1&isid=9dc6b534002464e3&ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E7%BE%8E%E5%A5%B3&fenlei=256&oq=%25E7%25BE%258E%25E5%25A5%25B3&rsv_pq=9dc6b534002464e3&rsv_t=3ed9D1jz%2BGlrvN9blmDLEq%2BQd9pHtlXD9Cn5Pg5JGE1NYaXtniN%2FS4Ch3Yo&rqlang=cn&rsv_dl=tb&rsv_enter=0&rsv_btype=t&prefixsug=%25E7%25BE%258E%25E5%25A5%25B3&rsp=5&rsv_sug=1&bs=%E7%BE%8E%E5%A5%B3&rsv_sid=36175_31253_36019_34813_36167_34584_36120_35979_36125_36296_36260_26350_22157_36061&_ss=1&clist=97e06ebf59e9c29f&hsug=%E7%BE%8E%E5%A5%B3&f4s=1&csor=2&_cr1=38940https://www.baidu.com/s?ie=utf-8&mod=1&isbd=1&isid=9dc6b534002464e3&ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E7%BE%8E%E5%A5%B3&fenlei=256&oq=%25E7%25BE%258E%25E5%25A5%25B3&rsv_pq=9dc6b534002464e3&rsv_t=3ed9D1jz%2BGlrvN9blmDLEq%2BQd9pHtlXD9Cn5Pg5JGE1NYaXtniN%2FS4Ch3Yo&rqlang=cn&rsv_dl=tb&rsv_enter=0&rsv_btype=t&prefixsug=%25E7%25BE%258E%25E5%25A5%25B3&rsp=5&rsv_sug=1&bs=%E7%BE%8E%E5%A5%B3&rsv_sid=36175_31253_36019_34813_36167_34584_36120_35979_36125_36296_36260_26350_22157_36061&_ss=1&clist=97e06ebf59e9c29f&hsug=%E7%BE%8E%E5%A5%B3&f4s=1&csor=2&_cr1=38940                他们即是URL，也是URl。

        URL格式规范:

                协议://[用户名:密码@]主机地址[:端口][/路径][;参数][?查询][#片段]

                协议：常用的协议有http，https，ftp等

                用户名和密码：再某些情况下URL需要提供用户名和密码才能访问

                主机地址：域名/ip地址

                端口：服务器设定的服务端口

                路径：

                参数：指定访问某个资源时的附加信息，非常罕见

                查询：用来查询某类资源，如果有多个查询，则用&分割。很多人把这一部分称为参数

                片段：1.用作html的锚点        2.单页面路由

2.http和https协议

                http：服务器和客户端进行数据交互的形式

                https：安全版的http，即再http下加入了ssl层

                                        ssl的作用

                                                        1.建立一个信息安全的通道，保证数据传输的安全性

                                                        2.确认网站的真实性

                http的请求过程

                        浏览器先向网站所在的服务器发送请求，网站服务器接收到请求后对请求进行处理和解析，然后返回给客户端一个响应，接着传回浏览器。

                请求

                        1.请求方法(客户端请求服务器的方式)

                                get/post请求

                                        区别:get请求中的参数在URL中可以看到，post参数在请求体中

                                                get请求提交的数据最多只有1024字节，而post没有限制

                        2.请求的网址：URL

                        3.时间原因，在下一篇文章发布