HTTP编码杂谈

最新推荐文章于 2024-03-26 20:55:12 发布
最新推荐文章于 2024-03-26 20:55:12 发布
阅读量581 收藏
点赞数
文章标签： url编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzj_110/article/details/131020808
版权

一  HTTP编码杂谈

①  知识铺垫

1) 编码的英文叫'encode' --> 常见'HTTP URL'编码、'Base64'编码等

   目的： 转变为'二进制的stream(字节流)',便于'网络传输'

   备注： 一般都是基于'utf-8'编码

2) 解码叫'decode'

3) 乱码的根源： '编码'和'解码'的方式不一致

4) 'url编码'和我们'日常所说编码'不是一回事

5) 写这篇文章最初的灵感： 想从'图裂'探究'url编码',稍微有点'偏'题了哈

URI

URI编码  URL编码

BASE64编码

字符编码

编码和转义的区别

Java中字符编码相关的问题解析

如何在URL中传递中文

编码、解码、序列化及反序列化的含义与区别

②  URL编码

浏览器的URL编码原理   说说http协议中的编码和解码

1) 爱宝的妍  --> "原始中文"

2) %E7%88%B1%E5%AE%9D%E7%9A%84%E5%A6%8D --> 'UTF-8编码','ASCII 2进制'转化为16进制

备注： 一个'中文'字符[charset]'UTF-8'编码对应'3个字节[bytes]',一个字节对应'8[bit]位'

特点： 每个'字节8bit',前面用%表示是'16进制'

3) %B0%AE%B1%A6%B5%C4%E5%FB             --> 'GBK 编码'

备注： 一个'中文'字符[charset]'GBK'编码对应'2个字节[bytes]',一个字节对应'8[bit]位'

备注： xdd -u  --> 十六进制输出时使用'大写'字母,'默认'是'小写'字母

强调： URL默认是用'UTF-8'编码

ngx_http_charset_module

对比：不同的'客户端'测试现象不一样,'curl'和'浏览器'

思考： 同时设置这种'行为'? --> "推荐分开设置"

default_type 'text/html;charset=utf-8';  --> 指的是'自己回传数据的编码'      
  
charset utf-8;  --> 指的是'nginx'的编码

关注点: Java中用于URL编解码的'类'有java.net包中的'URLEncoder'、'URLDecoder'

补充： 浏览器有一个'独特'的现象,'utf-8'编码后的字符放到浏览器中会'自动解析'

curl解码技巧 

③  从前端裂图探究URL编码

++++++++++++++ "裂图的常见原因" ++++++++++++++

1) 本质上是'资源无法访问','裂图'只是'表像'

2) 无法访问的若干'原因'：

  [1]、域名无法解析、网络或防火墙不通                    --> "直接访问资源形式验证"

  [2]、资源'不完整(有损)',比如格式'被破坏',丢失'部分'数据

  [3]、层层转发导致'url'发生变化,不是对应资源的'uri'     --> "直接访问资源形式验证"

  [4]、URL编码'导致'  --> "常见"  --> "下面案例讲解"

  [5]、资源确实'不存在':可能是'上传错'地方或者'访问错'地方,或者被'误'删除  --> "常见"

  [6]、权限'不足'导致

  [7]、盗链被'发现',也即引入'第三方'资源被发现,然后被加入到'黑名单'导致

  [8]、Content-Security-Policy 响应头'限制'导致

对象存储服务OBS的基本概念

  

背景和现象：

  1) 上传带'中文'名称的'图片资源'后,上传到'OBS对象存储桶'里面是'中文字符'的图片资源

  备注： 上传'英文名称'的图片无此现象

  2) 同时将'图片'的文件名以'utf-8'编码形式保存在'数据库'

  2) Java代码从数据库中查询该'昵称'对应关联的'图片资源名称'

  3) 将该名称['utf-8'编码]作为查询字符串形式'?name=xxx'形式'发起'请求,发现是'裂图'

验证方式： 直接'访问资源[中文名称]','不通过'数据库的方式  --> ok

原因： Java代码在发起'url'请求的时候,会主动进行'url'编码,导致'资源名称被二次'编码

解决方式： Java代码通过数据库查询的'资源名称',进行'decode'解码

遗留： minio与S3的'区别'?  -->同一个租户的'ak/sk'一致,obsutils'访问'需要这些信息

windows上传资源到linux服务器上导致乱码   S3的中文编码问题及修复方案 

form表单上传文件指定编码   表单上传中文文件乱码   form表单上传中文文件乱码

python请求multipart/form-data上传文件名含中文报错  文件上传全过程

<form action="/upload" method="post" enctype="multipart/form-data">
  选择文件：
  <input type="file" name="picture">
  <input type="submit" value="提交">
</form>

Content-Disposition: form-data; name="file"; filename="chrome.png"   

备注：关于'文件名',抓包'观察'

Content-Type: image/png 

常见： form表单'上传'文件的时候,上传的'文件名称'是'乱码'  --> "编码和解码"不一致​

需求： linux下查看'文件内容'编码,也即'文件编码'

  file  -i  文件名    #可查看到文件编码格式

细节点： 利用'form'表单上传文件名为'中文'的图片,暂时没有发现'中文文件名字符被utf-8'编码场景

当时一个'奇怪'现象: '图片.png通过'file'上传后,显示的是'utf-8编码'.png,而'不是'下面的

思考： 可能是在'上传文件'前,'前端'做了'utf-8特殊'处理导致'文件名'被utf-8编码

④  base64编码 

分析： 使用 base64 对'图片'进行编码和解码的过程

'编码'流程：  --> 编码的目的是为了'网络传输'

  1) 先对图片进行 'utf-8 编码' 生成 '二进制'

  2) 然后 base64 再对 二进制进行编码,生成 'base64' 字符串

  3) linux下 常见 'base64 wzj.jpg' 来实现'图片的base64'编码

  其它： 

    [1]、echo -n 'string' | base64                          --> "base64编码"

    [2]、echo -n `echo -n 'string' | base64` | base64 -d    --> "base64解码"

'解码'流程： --> 编码的目的是为了'可读性展示'

  1) 先对 base64字符串 解码 生成 '二进制'

  2) 然后使用 utf-8 解码生成'图片'

备注： Java中用于Base64编解码的类有java.util包下的'Base64类'

data:协议  Data URL资源base64编码

Data URL scheme 支持的类型 

⑤  base64案例

案例1： '基本认证'   --> 'Authorization: Basic xxx'

案例2： 'html中嵌入资源'  --> "本文讲解复杂的案例"

逻辑： 代码'base64'编码传输,然后'客户端'base64解码执行

玩转图片Base64编码 

++++++++++++++++++  "分割线"  ++++++++++++++++++

备注： www.google.com 的首页'搜索框右侧的搜索小图标'使用的就是'base64'编码

补充： 迅雷'thunder://'的"专用地址"也是用 Base64 加密的

说明： 这里假定'图片'使用'相对路径'

+++++++++ "相关说明" +++++++++

1) 由于使用'internal'内部重定向,产生的'结果'

  [1]、在'9s'内不主动点击,地址栏没有'跳转'

  [2]、返回了预期的'公告'页面

2) 时间'到了'或者用户'主动点击'进入,产生的'效果'
  
  [1]、前端发起了网络请求,地址栏'发生'变化,也即'域名'跳转重新发起请求

3) ceshi3.html页面在'root'下,内容粗略如下

  备注： 这里应该用'随机的字符[不可被碰撞]'代替,然后文件名同该'独一无二'的字符

 

 

测试说明： 做好'a1.wzj.com、a2.wzj.com'域名解析,大致效果如下:

 

⑥  转义 

1) 编码与转义有时容易'混淆',但其实是'不同'的

2) 转义的英文叫'escape';反转义叫unescape

  [1]、如C语言中的\n、\t

  [2]、以及 HTML、XML 中'特殊符号转义成实体' --> "重点讲解Html中的转义"

  强调： html转义是'将特殊字符或html标签'转换为与之对应的浏览器'(HHTP规范)'能识别的'字符'

  常见： HTML中将'空格、>、<、&'等符号转换成对应的'HTML实体',称为 'HTML escape' 

  说明： 实体有实体'名称'和实体'编号'两种形式，它们都是'以&开头','以;结尾'

    1、实体名称的形式为'&str;',其中str为字母串  --> "常见"
   
      优点: 易于理解与记忆;

      缺点: 浏览器支持'不太好'.如空格的实体名称是&nbsp;,>的实体名称是&lt;

    2、实体编号的形式为'&#num;',其中num为十进制数字

      优点: 是浏览器的支持好,但是不太容易记忆.如空格的实体编号是&#160;，>的实体名称是&#62;

  [3]、mysql的`反引号`转义、正则转义

3) 转义是为了'削除歧义'

为什么要转义字符串   html转义字符大全

⑦  开胃小菜

ps -ef 不显示自己

从抄书到开源之巅：章亦春的程序人生 

wzj_110
关注
再谈Http协议中消息的编码
smstong的成长轨迹
11-27 7328
HTTP协议报文编码彻底详解。
amd编码器 hevc_HEVC/H.265硬件编码器实现杂谈
weixin_42355256的博客
12-24 2562
国际视频编码标准HEVC已经发布两年有余，市场上关于支持HEVC的硬件也日益涌现，本文借鉴了各方面资源做了综合与概述，给出了HEVC硬件编码器实现的基本方法等重要网络资源。一、系统设计要点对于HEVC/H.265视频编码而言，采用了比以往视频标准更加先进和灵活的编码方法，在性能上有比较明显的优势，但对硬件实现也是一个很大的挑战，其实现复杂度和计算量几倍于H.264标准，这对基于FPGA/ASIC/...
http编码
Emperor_huanzi 的博客
05-13 476
//http编码 - (NSString *)encodeToPercentEscapeString: (NSString *) input{ NSString *outputStr = (__bridge NSString *)CFURLCreateStringByAddingPercentEscapes(
HTTP编码
weixin_30284355的博客
11-23 104
HTTP编码 不仅仅URL需要编码，HTTP header也需要编码，HTTP body 无特殊要求 一般采用百分号编码；比如一个字节的ascii码值是 0x89 那使用百分号编码之后 输出是 %89这个字符串，也就是一个字节编码成3个字节了 本质 HTTP协议要求，在URL中，除了HTTP保留字，其他部分只能是 "非保留字符子集"(包括大写字母、小写字母、数字、-_.~ 等...
HTTP 内容编码，也就这 2 点需要知道 | 实用 HTTP
weixin_34410662的博客
07-04 176
Hi，大家好，我是承香墨影！ HTTP 协议在网络知识中占据了重要的地位，HTTP 协议最基础的就是请求和响应的报文，而报文又是由报文头（Header）和实体组成。大多数 Http 协议的使用方式，都是依赖设置不同的 HTTP 请求/响应 的 Header 来实现的。 本系列《实用 HTTP》就抛开常规的 Header 讲解式的表述方式，...
http协议传输编码
赶路人儿
07-18 3296
1、什么是传输编码? 传输编码在 HTTP 的报文头中，使用 Transfer-Encoding 首部进行标记，它就是指明当前使用的传输编码。 Transfer-Encoding 会改变报文的格式和传输的方式，使用它不但不会减少内容传输的大小，甚至还有可能会使传输变大，看似是一个不环保的做法，但是其实是为了解决一些特殊问题。 简单来说，传输编码必须配合持久连接去使用，为了在一个持久连接中，将数据分块传输，并标记传输结束而设计的，后面会详细讲解。 在早年间的设计里，和内容编码使用 Accept-Enc
HEVC/H.265硬件编码器实现杂谈
成长Bar的博客专栏
03-15 6694
国际视频编码标准HEVC已经发布两年有余，市场上关于支持HEVC的硬件也日益涌现，本文借鉴了各方面资源做了综合与概述，给出了HEVC硬件编码器实现的基本方法等重要网络资源。 一、系统设计要点 对于HEVC/H.265视频编码而言，采用了比以往视频标准更加先进和灵活的编码方法，在性能上有比较明显的优势，但对硬件实现也是一个很大的挑战，其实现复杂度和计算量几倍于H.264标准，这对基于FPGA/A
Maven杂谈
最新发布
iranw的专栏
03-26 297
Maven 下载 jar 包默认访问境外的中央仓库，而国外网站速度很慢。改成阿里云提供的镜像仓库，访问国内网站，可以让 Maven 下载 jar 包的时候速度更快。部署 war 包：借助相关 Maven 插件（例如 cargo），将 war 包部署到 Tomcat 服务器上。3）学习的目的：学习及使用maven可以让开发从繁琐的包管理&构建等模板工作中解放出来。1、什么是Maven，为什么要学习Maven以及Maven的优势。Maven使用 x、y、z 三个『向量』作为空间的坐标系。Web工程：war包。
WebView杂谈——源码
08-19
这里，`null`表示没有基础URL，`"text/html"`表示数据类型，`"UTF-8"`是字符编码。 然而，如果只是简单地加载JavaScript代码，而不是整个HTML页面，我们可以使用`evaluateJavascript()`方法（API 19及以上版本可用...
web杂谈
yin_wuzhe的专栏
04-23 3075
前言：本人作为一个前端小白，梳理一下这段时间开发前端一个页面的过程，希望对自己起到备忘并思考的作用，希望我的经验对于别人也有一点帮助的作用。由于本文碎碎念的部分过长，导致本文过长。还请读者见谅。—更新中（更新周期大概还会持续一个月）前端框架现如今，前端框架也越来越多了，比如ember,angular,以及这里要说到的vuejs.。下面的内容首先要介绍vue.js的原理。Vue.js ？ 原理 vue
Http协议(3)—HTTP实体和编码
02-15 3186
HTTP实体实现目标         .可以被正确识别(通过Content-Type和Content-Launage)         .可以被正确解包(通过Content-Lenght首部和Content-Encoding首部)         .是最新的(通过实体验证码和缓存过期控制)         .符合用户需要(基于Accept系列的内容协商首部)
HTTP中的编码问题
paozixiaopu的博客
01-23 2068
Http 简介 http 是一种基于tcp/ip 的应用层协议，全称HyperText Transfer Protocol，超文本传输协议。Http 是客户端和服务端请求和应答的标准，对于来自客户端的每一个请求都会有一个与之对应的响应。 Http协议包含两部分，一是请求体，另一个是响应体。请求体包含请求行、请求头、主体。响应体包含状态行、消息报头和响应正文。 请求： 响应： 了解了Http基本...
说说http协议中的编码和解码
weixin_30512785的博客
07-30 204
一、字符集与文字编码简介　 　　1.计算机如何显示文字 　　我们知道，计算机是以二进制的“形式”来保存和处理数据的，也就是说，不管我们使用键盘进行输入，还是让计算机去读取一个文本文件，计算机得到的原始内容是一些二进制序列，当需要对这些二进制序列进行显示时，计算机会依照某种“翻译机制”（也就是编码方式），取到这些二进制序列所表示的每个文字的“轮廓描述”（点阵或者矢量图），知道了轮廓，计算机便可...
Http的内容编码机制
you are sherlocked by me!
11-12 945
Http报文分为报文首部和报文主体 请求报文首部包括请求行(包括方法,URL和客户端的HTTP协议的版本)、请求首部字段、通用首部字段、实体首部字段。 响应报文首部包括状态行(Http版本和状态码)、响应首部字段、通用首部字段、实体首部字段。 在请求首部字段中有Accept-Encoding为优先的内容编码,在通用首部字段中有Content-Encoding为实体使用的编码方式
Http的编解码
tuhuolong的专栏
10-23 847
客户端: urlencode或者不urlencode   |   |   |  \/ 服务器端->urldecode->上层path: space->%20 +queryString: space->+/%20 +->%2B
HTTP内容编码与传输编码
皮皮狗
09-23 2384
HTTP报文与实体 报文：HTTP通信的基本单位，由字节流组成 实体：请求或者响应的有效载荷数据，由实体首部和实体主题组成。 一般来说，实体主体作为HTTP报文的主体进行传输。 内容编码 在实体进行传输前，先将实体进行编码，然后在进行传输。常见的内容编码有： gzip（GNU zip） compress（UNIX系统的标准压缩） deflate（zlib） identity...
HTTP编码和解码与基本认证
Cdreamfly的博客
06-15 221
咱们在计算机屏幕上看到的是实体化的文字，而在计算机存储介质中存放的实际是二进制的比特流。那么在这二者之间的转换规则就须要一个统一的标准，不然把计算机上文档就乱码了；因而为了实现转换标准，各类字符集标准就出现了。简单的说字符集就规定了某个文字对应的二进制数字存放方式（编码）和某串二进制数值表明了哪一个文字（解码）的转换关系。......
HTTP协议中的数据编码方式
caooooooooooo的博客
01-02 672
数据编码用于在网络传输中处理特殊字符、压缩数据或分块传输数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值