http协议及抓包工具

最新推荐文章于 2024-02-11 21:45:00 发布

半日闲12138

最新推荐文章于 2024-02-11 21:45:00 发布

阅读量542

点赞数 2

分类专栏：爬虫文章标签：爬虫学习

本文链接：https://blog.csdn.net/feiYu12138/article/details/102514001

版权

爬虫专栏收录该内容

17 篇文章 0 订阅

订阅专栏

http协议
    网站的工作原理：见图形
    url介绍：
        一个完整的url：
        http://www.baidu.com:80/index.html?username=goudan&password=123#lala
        协议   主机           端口  请求资源  参数（query_string）   锚点
        http默认就是80
        https默认是443
        mysql : 3306
        redis : 6379
        mongodb : 27017   ftp : 21   ssh : 22
        锚点：实现本页面的跳转
    http和https有什么区别和联系
    https://www.cnblogs.com/wqhwe/p/5407468.html
    HTTPS和HTTP的区别主要如下：
        目前绝大多数网站都是https的，也支持http的访问
    　　1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。
    　　2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。
    　　3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。
    　　4、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。
    公钥-私钥  成对出现，用公钥加密的数据只能通过私钥解密，用私钥加密的数据，只能通过公钥解密
    http协议，https协议，
    详细深入的学习http协议，图解http协议
    http是基于tcp的，
    tcp：面向连接的    打电话   可靠    三次握手
    udp：面向无连接的  写信     不可靠
    https://www.cnblogs.com/10158wsj/p/6762848.html
    http请求：请求行，请求头，请求体
    请求行：请求方式、请求资源、协议版本号
    get和post的区别是什么？
        （1）get是明文，post是密文
        （2）get长度有限制，post没有限制
        （3）get请求参数放在url的后面，post放在请求体里面
        （4）get一般用获取数据，post是用来提交数据
        浏览器写url发送，点击发送都是get，如果想发送post，需要写一个表单发送

    常见的请求头
        accept:浏览器通过这个头告诉服务器，它所支持的数据类型
    　　Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
            经常接触的字符集：utf8、gbk
    　　Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式
    　　Accept-Language：浏览器通过这个头告诉服务器，它的语言环境
    　　Host：浏览器通过这个头告诉服务器，想访问哪台主机
    　　If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
    　　Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的  防盗链
    　　Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接
            了解：发送请求-百度首页过来，请求发送了多少个？是不是1个？一个网页要想出现在你面前，需要15-30个请求。<img src=xxx>  <link href=xxx>
            基于tcp的，建立连接。
        User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36
            客户端类型
    
    http响应
    响应行
        状态码（重要）
    响应头（了解）
        Location: 服务器通过这个头，来告诉浏览器跳到哪里
    　　Server：服务器通过这个头，告诉浏览器服务器的型号
    　　Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格式
    　　Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
    　　Content-Language: 服务器通过这个头，告诉浏览器语言环境
    　　Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
    　　Refresh：服务器通过这个头，告诉浏览器定时刷新
    　　Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
    　　Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
    　　Expires: -1  控制浏览器不要缓存
    　　Cache-Control: no-cache  
    　　Pragma: no-cache
    响应体
        响应的内容，都是字符串
        html格式，json格式数据，<div></div>，js代码，二进制格式
        <html></html>

在这里插入图片描述

为什么抓包？因为要通过代码模拟浏览器发送请求
    抓包：抓的是什么包，http请求、http响应
    （1）谷歌浏览器自带抓包工具
        右键==检查==network  （Name）

（2）fiddler
（3）青花瓷  charles  max\linux\windows   收费软件，免费试用30天
  （4）wireshark   抓包工具

半日闲12138

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
http协议及抓包工具

http协议网站的工作原理：见图形 url介绍：一个完整的url： http://www.baidu.com:80/index.html?username=goudan&password=123#lala 协议主机端口请求资源参数（query_string）锚点 h...
复制链接

扫一扫