网络安全-WEB中的常见编码

目录

简介

ASCII编码

URL与URL编码

URL详解

URL编码

Unicode编码

HTML编码

Base编码

参考

---

简介

编码(encode)和解码(decode)是相当广泛的话题，设计计算机对信息处理的方式，常见于加解密中，当然学习WEB也要了解一些常见的编码，可在攻击中使用编码绕过。

ASCII编码

ASCII (American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是最通用的信息交换标准，并等同于国际标准ISO/IEC 646。

到目前为止共定义了128个字符：

ASCII码表

二进制	八进制	十进制	十六进制	缩写/字符	解释
0000 0000	00	0	0x00	NUL(null)	空字符
0000 0001	01	1	0x01	SOH(start of headline)	标题开始
0000 0010	02	2	0x02	STX (start of text)	正文开始
0000 0011	03	3	0x03	ETX (end of text)	正文结束
0000 0100	04	4	0x04	EOT (end of transmission)	传输结束
0000 0101	05	5	0x05	ENQ (enquiry)	请求
0000 0110	06	6	0x06	ACK (acknowledge)	收到通知
0000 0111	07	7	0x07	BEL (bell)	响铃
0000 1000	010	8	0x08	BS (backspace)	退格
0000 1001	011	9	0x09	HT (horizontal tab)	水平制表符
0000 1010	012	10	0x0A	LF (NL line feed, new line)	换行键
0000 1011	013	11	0x0B	VT (vertical tab)	垂直制表符
0000 1100	014	12	0x0C	FF (NP form feed, new page)	换页键
0000 1101	015	13	0x0D	CR (carriage return)	回车键
0000 1110	016	14	0x0E	SO (shift out)	不用切换
0000 1111	017	15	0x0F	SI (shift in)	启用切换
0001 0000	020	16	0x10	DLE (data link escape)	数据链路转义
0001 0001	021	17	0x11	DC1 (device control 1)	设备控制1
0001 0010	022	18	0x12	DC2 (device control 2)	设备控制2
0001 0011	023	19	0x13	DC3 (device control 3)	设备控制3
0001 0100	024	20	0x14	DC4 (device control 4)	设备控制4
0001 0101	025	21	0x15	NAK (negative acknowledge)	拒绝接收
0001 0110	026	22	0x16	SYN (synchronous idle)	同步空闲
0001 0111	027	23	0x17	ETB (end of trans. block)	结束传输块
0001 1000	030	24	0x18	CAN (cancel)	取消
0001 1001	031	25	0x19	EM (end of medium)	媒介结束
0001 1010	032	26	0x1A	SUB (substitute)	代替
0001 1011	033	27	0x1B	ESC (escape)	换码(溢出)
0001 1100	034	28	0x1C	FS (file separator)	文件分隔符
0001 1101	035	29	0x1D	GS (group separator)	分组符
0001 1110	036	30	0x1E	RS (record separator)	记录分隔符
0001 1111	037	31	0x1F	US (unit separator)	单元分隔符
0010 0000	040	32	0x20	(space)	空格
0010 0001	041	33	0x21	!	叹号
0010 0010	042	34	0x22	"	双引号
0010 0011	043	35	0x23	#	井号
0010 0100	044	36	0x24	$	美元符
0010 0101	045	37	0x25	%	百分号
0010 0110	046	38	0x26	&	和号
0010 0111	047	39	0x27	'	闭单引号
0010 1000	050	40	0x28	(	开括号
0010 1001	051	41	0x29	)	闭括号
0010 1010	052	42	0x2A	*	星号
0010 1011	053	43	0x2B	+	加号
0010 1100	054	44	0x2C	,	逗号
0010 1101	055	45	0x2D	-	减号/破折号
0010 1110	056	46	0x2E	.	句号
0010 1111	057	47	0x2F	/	斜杠
0011 0000	060	48	0x30	0	字符0
0011 0001	061	49	0x31	1	字符1
0011 0010	062	50	0x32	2	字符2
0011 0011	063	51	0x33	3	字符3
0011 0100	064	52	0x34	4	字符4
0011 0101	065	53	0x35	5	字符5
0011 0110	066	54	0x36	6	字符6
0011 0111	067	55	0x37	7	字符7
0011 1000	070	56	0x38	8	字符8
0011 1001	071	57	0x39	9	字符9
0011 1010	072	58	0x3A	:	冒号
0011 1011	073	59	0x3B	;	分号
0011 1100	074	60	0x3C	<	小于
0011 1101	075	61	0x3D	=	等号
0011 1110	076	62	0x3E	>	大于
0011 1111	077	63	0x3F	?	问号
0100 0000	0100	64	0x40	@	电子邮件符号
0100 0001	0101	65	0x41	A	大写字母A
0100 0010	0102	66	0x42	B	大写字母B
0100 0011	0103	67	0x43	C	大写字母C
0100 0100	0104	68	0x44	D	大写字母D
0100 0101	0105	69	0x45	E	大写字母E
0100 0110	0106	70	0x46	F	大写字母F
0100 0111	0107	71	0x47	G	大写字母G
0100 1000	0110	72	0x48	H	大写字母H
0100 1001	0111	73	0x49	I	大写字母I
01001010	0112	74	0x4A	J	大写字母J
0100 1011	0113	75	0x4B	K	大写字母K
0100 1100	0114	76	0x4C	L	大写字母L
0100 1101	0115	77	0x4D	M	大写字母M
0100 1110	0116	78	0x4E	N	大写字母N
0100 1111	0117	79	0x4F	O	大写字母O
0101 0000	0120	80	0x50	P	大写字母P
0101 0001	0121	81	0x51	Q	大写字母Q
0101 0010	0122	82	0x52	R	大写字母R
0101 0011	0123	83	0x53	S	大写字母S
0101 0100	0124	84	0x54	T	大写字母T
0101 0101	0125	85	0x55	U	大写字母U
0101 0110	0126	86	0x56	V	大写字母V
0101 0111	0127	87	0x57	W	大写字母W
0101 1000	0130	88	0x58	X	大写字母X
0101 1001	0131	89	0x59	Y	大写字母Y
0101 1010	0132	90	0x5A	Z	大写字母Z
0101 1011	0133	91	0x5B	[	开方括号
0101 1100	0134	92	0x5C	\	反斜杠
0101 1101	0135	93	0x5D	]	闭方括号
0101 1110	0136	94	0x5E	^	脱字符
0101 1111	0137	95	0x5F	_	下划线
0110 0000	0140	96	0x60	`	开单引号
0110 0001	0141	97	0x61	a	小写字母a
0110 0010	0142	98	0x62	b	小写字母b
0110 0011	0143	99	0x63	c	小写字母c
0110 0100	0144	100	0x64	d	小写字母d
0110 0101	0145	101	0x65	e	小写字母e
0110 0110	0146	102	0x66	f	小写字母f
0110 0111	0147	103	0x67	g	小写字母g
0110 1000	0150	104	0x68	h	小写字母h
0110 1001	0151	105	0x69	i	小写字母i
0110 1010	0152	106	0x6A	j	小写字母j
0110 1011	0153	107	0x6B	k	小写字母k
0110 1100	0154	108	0x6C	l	小写字母l
0110 1101	0155	109	0x6D	m	小写字母m
0110 1110	0156	110	0x6E	n	小写字母n
0110 1111	0157	111	0x6F	o	小写字母o
0111 0000	0160	112	0x70	p	小写字母p
0111 0001	0161	113	0x71	q	小写字母q
0111 0010	0162	114	0x72	r	小写字母r
0111 0011	0163	115	0x73	s	小写字母s
0111 0100	0164	116	0x74	t	小写字母t
0111 0101	0165	117	0x75	u	小写字母u
0111 0110	0166	118	0x76	v	小写字母v
0111 0111	0167	119	0x77	w	小写字母w
0111 1000	0170	120	0x78	x	小写字母x
0111 1001	0171	121	0x79	y	小写字母y
0111 1010	0172	122	0x7A	z	小写字母z
0111 1011	0173	123	0x7B	{	开花括号
0111 1100	0174	124	0x7C	|	垂线
0111 1101	0175	125	0x7D	}	闭花括号
0111 1110	0176	126	0x7E	~	波浪号
0111 1111	0177	127	0x7F	DEL (delete)	删除

常见ASCII码的大小规则：0~9<A~Z<a~z。

1）数字比字母要小。如 “7”<“F”；

2）数字0比数字9要小，并按0到9顺序递增。如 “3”<“8” ；

3）字母A比字母Z要小，并按A到Z顺序递增，如“A”<“Z” ；同理，字母a比字母z要小，“a”<“z”；

4）同个字母的大写字母比小写字母要小32。如“A”<“a” ；

几个常见字母的ASCII码大小： “0”为 48“、A”为65、“a”为97

当然，不在ASCII码表上的也可以转为ASCII码，例如，汉字，一般汉字是由两个ASCII码表示的，例如，下图的“好”，对应的ASCII码表的十六进制为"0x597d"。

ASCII与中文互转

使用网站：Jsons.cn

URL与URL编码

URL详解

URL(Uniform Resource Locator，统一资源定位器、定位地址，俗称网页地址，简称网址)，是因特网上标准的资源地址，如同在网络上的门牌。

完整格式如下：

scheme:[//[user[:password]@]host[:port]][/path][?query][#fragment]

博主翻译为：

[协议类型]://[用户名[:密码]]@[服务器地址]:[端口号]/[资源层级UNIX文件路径][文件名]?[查询]#[片段ID]

• 协议类型：常见的有http、https，还有ftp、file、mailto、data等。
• 用户名、密码：这没什么好解释的，就是字面意思。
• 服务器地址：有的时候你在URL上看到的是域名，其实会通过DNS转为IP地址，所以还是服务器IP地址。
• 端口号：常见80、443、21、22等。
• 资源层级文件路径：大部分会隐藏，就是服务器的目录路径，使用"/"区别每一层。
• 文件名：如访问网页，可能是xxx.htm、xxx.html、xxx.php等，例如，index.html。
• 查询：使用"&"连接
• 片段ID：有的时候被称为“锚点”，一般是指CSS中的id，就是使用浏览器调试时看到的id属性，有时也可通过这个进行XSS或sql注入。

其中[用户名[：密码]]、[端口号]、[查询]、[片段ID]都属于选填项。

举例，百度搜索“URL”

https://www.baidu.com/s?wd=URL&rsv_spt=1&rsv_iqid=0x9301a681000886a5&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=monline_3_dg&rsv_enter=1&rsv_dl=tb&oq=%25E7%25BD%2591%25E9%25A1%25B5%25E5%25B8%25B8%25E8%25A7%2581%25E7%25AB%25AF%25E5%258F%25A3&rsv_btype=t&inputT=1261&rsv_t=9e6dxJCpWcKjLXQJUgMddsJJuii8ZyY1DWVJyg09VRMhI1GnlLa2iQbChZqeHUrnLbDW&rsv_pq=951e43e1001401fa&rsv_sug3=200&rsv_sug1=120&rsv_sug7=100&rsv_sug2=0&rsv_sug4=1821

https：协议类型

www.baidu.com：域名，会转为ip。

ping百度

更换为a.shifen.com

本质上都是转为IP，我们修改为前面的110.242.68.3。

转为ip访问

s：文件名

wd=URL&...：查询，使用key=value形式。可以直接修改URL为LadyKiller9，再访问。可以看到值传过去了。

URL直接改为LadyKiller9

端口的话，在IP后面加 :443 即可，但是访问后会隐藏掉。

片段ID可自己添加一个：

找到一个id

https://110.242.68.3/s?wd=LadyKiller9&rsv_spt=1&rsv_iqid=0x9301a681000886a5&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=monline_3_dg&rsv_enter=1&rsv_dl=tb&oq=%25E7%25BD%2591%25E9%25A1%25B5%25E5%25B8%25B8%25E8%25A7%2581%25E7%25AB%25AF%25E5%258F%25A3&rsv_btype=t&inputT=1261&rsv_t=9e6dxJCpWcKjLXQJUgMddsJJuii8ZyY1DWVJyg09VRMhI1GnlLa2iQbChZqeHUrnLbDW&rsv_pq=951e43e1001401fa&rsv_sug3=200&rsv_sug1=120&rsv_sug7=100&rsv_sug2=0&rsv_sug4=1821#foot

访问上方URL

可以看到右侧滑块在最下方，浏览器直接显示到后面。CSDN的目录也是这个原理，鼠标放在文章的目录上，会显示文章的URL#tx，x从0开始编号。

URL编码

任何URL编码的字符都以%作为前缀，有时也称URL编码为百分号编码。

URL编码表

URL编码表

backspace %08	I %49	v %76	ó %D3
tab %09	J %4A	w %77	Ô %D4
linefeed %0A	K %4B	x %78	Õ %D5
creturn %0D	L %4C	y %79	Ö %D6
space %20	M %4D	z %7A	Ø %D8
! %21	N %4E	{ %7B	ù %D9
" %22	O %4F	| %7C	ú　 %DA
# %23	P %50	} %7D	Û %DB
$ %24	Q %51	~ %7E	ü %DC
% %25	R %52	￠ %A2	Y %DD
& %26	S %53	￡ %A3	T %DE
' %27	T %54	￥ %A5	ß %DF
( %28	U %55	| %A6	à %E0
) %29	V %56	§ %A7	á %E1
* %2A	W %57	« %AB	a %E2
+ %2B	X %58	¬ %AC	ã %E3
, %2C	Y %59	ˉ %AD	ä %E4
- %2D	Z %5A	o %B0	å %E5
. %2E	[ %5B	± %B1	æ %E6
/ %2F	\ %5C	a %B2	ç %E7
0 %30	] %5D	, %B4	è %E8
1 %31	^ %5E	μ %B5	é %E9
2 %32	_ %5F	» %BB	ê %EA
3 %33	` %60	¼ %BC	ë %EB
4 %34	a %61	½ %BD	ì %EC
5 %35	b %62	¿ %BF	í %ED
6 %36	c %63	à %C0	î %EE
7 %37	d %64	á %C1	ï %EF
8 %38	e %65	Â %C2	e %F0
9 %39	f %66	Ã %C3	ñ %F1
: %3A	g %67	Ä %C4	ò %F2
; %3B	h %68	Å %C5	ó %F3
< %3C	i %69	&AElig; %C6	&ocirc; %F4
= %3D	j %6A	&Ccedil; %C7	&otilde; %F5
> %3E	k %6B	è %C8	&ouml; %F6
? %3F	l %6C	é　 %C9	÷　 %F7
@ %40	m %6D	ê %CA	&oslash; %F8
A %41	n %6E	&Euml; %CB	ù %F9
B %42	o %6F	ì　 %CC	ú　 %FA
C %43	p %70	í %CD	&ucirc; %FB
D %44	q %71	&Icirc; %CE	ü %FC
E %45	r %72	&Iuml; %CF	y %FD
F %46	s %73	D %D0	t %FE
G %47	t %74	&Ntilde; %D1	&yuml; %FF
H %48	u %75	ò %D2

一些常见的编码在上表加粗，红色显示，%20是空格。对于汉字也可以进行编码。

 对”你好“进行URL编码，得到“%E4%BD%A0%E5%A5%BD”，汉字一般是三个百分号编码，将上访url中的“你好”换为“%E4%BD%A0%E5%A5%BD”会得到同样的页面。在进行攻击，比如sql注入时，可能会过滤and、select等sql关键字，有时可通过URL编码绕过。

URL编码

使用网站：Jsons.cn

Unicode编码

Unicode编码，又称万国码、国际码、统一码，是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。Unicode 编码共有三种具体实现，分别为utf-8,utf-16,utf-32，其中utf-8占用一到四个字节，utf-16占用二或四个字节，utf-32占用四个字节。

• UTF-8的特点是对不同范围的字符使用不同长度的编码。
• UTF-16编码以16位无符号整数为单位。我们把Unicode编码记作U。前缀写为\u、%u。
• UTF-32编码以32位无符号整数为单位。

Unicode编码与ASCII编码不兼容，但可以转换。

汉字转Unicode编码

“你好”转为Unicode为“\u4f60\u597d”。 下为Python代码：

>>> s = u"\u4f60\u597d"
>>> print(s)
你好

 Unicode转ASCII

你好的ASCI编码

HTML编码

使用标签<meta>，例如

<meta charset="utf-8">

除了utf-8，常见的还有

GB2312

发布于1980年，基本集共收入汉字6763个和非汉字图形字符682个。整个字符集分成94个区，每区有94个位。每个区位上只有一个字符，一个字符占两个字节。

GBK

GBK全称《汉字内码扩展规范》（GBK即“国标”、“扩展”汉语拼音的第一个字母，英文名称：Chinese Internal Code Specification），发布于1995年，GBK 向下与 GB2312 编码兼容。

没找到合适的网站，这个网站也只能一个字，还不如自己敲代码呢。

汉字进行GBK和Unicode编码

>>> s='你好'
>>> s.encode('gbk')
b'\xc4\xe3\xba\xc3'
>>> s.encode('unicode_escape')
b'\\u4f60\\u597d'

HTML特殊符号编码表（部分）

字符	实体	十进制	十六进制	描述
&	&	&	&	& 符号（ampersand）
<	&lt;	&#60;	&#x3C;	小于号（less than）
>	&gt;	&#62;	&#x3E;	大于号（greater than）
	&nbsp;	&#160;	&#xA0;	不换行空格（no-break space = non-breaking space）
:	&colon;	&#58;	&#x3A;	冒号
(	&lpar;	&#40;	&#x28;	左括号
)	&rpar;	&#41;	&#x29;	右括号

Base编码

Base16

Base16编码表

索引	字符	索引	字符
0	0	8	8
1	1	9	9
2	2	10	A
3	3	11	B
4	4	12	C
5	5	13	D
6	6	14	E
7	7	15	F

汉字的Base16编码

编码原理，先转为ASCII，两个一组，转为2进制，4个一组，转为10进制，查表即可。

使用网站：一个工具箱-Base16

Base32

Base32编码表

汉字的Base64编码

使用网站：一个工具箱-Base32

Base64

Base64是一种基于64个可打印字符来表示二进制数据的表示方法。3个字节相当于24个比特，对应于4个Base64单元，即3个字节可由4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9，这样共有62个字符，另外两个一般为“+”、"/"。使用“=”作为后缀，如果不够三个字节，即“=”个数为0、1、2。

Base64 编码表

索引	字符	索引	字符	索引	字符	索引	字符
0	A	17	R	34	i	51	z
1	B	18	S	35	j	52	0
2	C	19	T	36	k	53	1
3	D	20	U	37	l	54	2
4	E	21	V	38	m	55	3
5	F	22	W	39	n	56	4
6	G	23	X	40	o	57	5
7	H	24	Y	41	p	58	6
8	I	25	Z	42	q	59	7
9	J	26	a	43	r	60	8
10	K	27	b	44	s	61	9
11	L	28	c	45	t	62	+
12	M	29	d	46	u	63	/
13	N	30	e	47	v
14	O	31	f	48	w
15	P	32	g	49	x
16	Q	33	h	50	y

标题

使用网站：jsons.cn

可尝试“你好”、“i love you too”，观察“=”的个数

还有一些，Base 58、Base 62、Base 85、Base 91、Base 100。例如，比特币使用的是Base58，即123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz，去除了容易混淆的0、o、I（大写的i）、l（小写的L）。

参考

rfc1738-URL

rfc2045-Base 64

更多内容查看：网络安全-自学笔记

喜欢本文的请动动小手点个赞，收藏一下，有问题请下方评论，转载请注明出处，并附有原文链接，谢谢！如有侵权，请及时联系。如果您感觉有所收获，自愿打赏，可选择支付宝18833895206（小于），您的支持是我不断更新的动力。