表示不同文件类型的魔术数字

最新推荐文章于 2023-04-09 16:40:43 发布
最新推荐文章于 2023-04-09 16:40:43 发布
阅读量322 收藏
点赞数
分类专栏： 安全 文章标签： java photoshop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_11305/article/details/82678016
版权

这里所说的表示不同文件类型的魔术数字，指的是文件的最开头的几个用于唯一区别其它文件类型的字节，有了这些魔术数字，我们就可以很方便的区别不同的文件，这也使得编程变得更加容易，因为我减少了我们用于区别一个文件的文件类型所要花费的时间。

比如，一个JPEG文件，它开头的一些字节可能是类似这样的”ffd8 ffe0 0010 4a46 4946 0001 0101 0047 ……JFIF…..G“，这里”ffd8“就表示了这个文件是一个JPEG类型的文件，”ffe0“表示这是JFIF类型结构。

以下例出的是一些我们常见的文件类型，以及它用于判断这种文件的类型的几个开始字节及所对尖的ASCII数字：

图片文件

文件类型扩展名16进制数字
xx这里表示变量		Ascii数字
. = 不是Ascii字符
Bitmap format.bmp42 4dBM
FITS format.fits53 49 4d 50 4c 45SIMPLE
GIF format.gif47 49 46 38GIF8
Graphics Kernel System.gks47 4b 53 4dGKSM
IRIS rgb format.rgb01 da..
ITC (CMU WM) format.itcf1 00 40 bb….
JPEG File Interchange Format.jpgff d8 ff e0….
NIFF (Navy TIFF).nif49 49 4e 31IIN1
PM format.pm56 49 45 57VIEW
PNG format.png89 50 4e 47.PNG
Postscript format.[e]ps25 21%!
Sun Rasterfile.ras59 a6 6a 95Y.j.
Targa format.tgaxx xx xx…
TIFF format (Motorola – big endian).tif4d 4d 00 2aMM.*
TIFF format (Intel – little endian).tif49 49 2a 00II*.
X11 Bitmap format.xbmxx xx 
XCF Gimp file structure.xcf67 69 6d 70 20 78 63 66 20 76gimp xcf
Xfig format.fig23 46 49 47#FIG
XPM format.xpm2f 2a 20 58 50 4d 20 2a 2f/* XPM */

压缩文件

文件类型扩展名16进制数字
xx这里表示变量		Ascii数字
. = 不是Ascii字符
Bzip.bz42 5aBZ
Compress.Z1f 9d..
gzip format.gz1f 8b..
pkzip format.zip50 4b 03 04PK..

存档文件

文件类型扩展名16进制数字
xx这里表示变量		Ascii数字
. = 不是Ascii字符
TAR (pre-POSIX).tarxx xx(a filename)
TAR (POSIX).tar75 73 74 61 72ustar (offset by 257 bytes)

可执行文件

文件类型扩展名16进制数字
xx这里表示变量		Ascii数字
. = 不是Ascii字符
MS-DOS, OS/2 or MS Windows 4d 5aMZ
Unix elf 7f 45 4c 46.ELF

其它文件

 

 

文件类型扩展名16进制数字
xx这里表示变量		Ascii数字
. = 不是Ascii字符
pgp public ring 99 00..
pgp security ring 95 01..
pgp security ring 95 00..
pgp encrypted data a6 00¦.

 

-------------------------------

 通常，在WEB系统中，上传文件时都需要做文件的类型校验，大致有如下几种方法：

1. 通过后缀名，如exe,jpg,bmp,rar,zip等等。

2. 通过读取文件，获取文件的Content-type来判断。

3. 通过读取文件流，根据文件流中特定的一些字节标识来区分不同类型的文件。

4. 若是图片，则通过缩放来判断，可以缩放的为图片，不可以的则不是。

然而，在安全性较高的业务场景中，1，2两种方法的校验会被轻易绕过。

1. 伪造后缀名，如图片的，非常容易修改。

2. 伪造文件的Content-type，这个稍微复杂点，为了直观，截图如下：

 

 

3.较安全，但是要读取文件，并有16进制转换等操作，性能稍差，但能满足一定条件下对安全的要求，所以建议使用。

  但是文件头的信息也可以伪造，截图如下，对于图片可以采用图片缩放或者获取图片宽高的方法避免伪造头信息漏洞。

 

                                                      被伪装成gif的恶意图片文件

对应的Java代码如下：

 

[java]  view plain  copy
 
 
 
 
  1. package apistudy;    
  2.     
  3. import java.awt.image.BufferedImage;  
  4. import java.io.File;  
  5. import java.io.FileInputStream;  
  6. import java.io.FileNotFoundException;  
  7. import java.io.IOException;  
  8. import java.io.InputStream;  
  9. import java.util.HashMap;  
  10. import java.util.Iterator;  
  11. import java.util.Map;  
  12. import java.util.Map.Entry;  
  13. import javax.imageio.ImageIO;  
  14. import javax.imageio.ImageReader;  
  15. import javax.imageio.stream.ImageInputStream;  
  16.     
  17. public class FileTypeTest    
  18. {    
  19.     public final static Map<String, String> FILE_TYPE_MAP = new HashMap<String, String>();    
  20.         
  21.     private FileTypeTest(){}    
  22.     static{    
  23.         getAllFileType();  //初始化文件类型信息    
  24.     }    
  25.         
  26.     /**  
  27.      * Created on 2010-7-1   
  28.      * <p>Discription:[getAllFileType,常见文件头信息]</p>  
  29.      * @author:[shixing_11@sina.com]  
  30.      */    
  31.     private static void getAllFileType()    
  32.     {    
  33.         FILE_TYPE_MAP.put("jpg", "FFD8FF"); //JPEG (jpg)    
  34.         FILE_TYPE_MAP.put("png", "89504E47");  //PNG (png)    
  35.         FILE_TYPE_MAP.put("gif", "47494638");  //GIF (gif)    
  36.         FILE_TYPE_MAP.put("tif", "49492A00");  //TIFF (tif)    
  37.         FILE_TYPE_MAP.put("bmp", "424D"); //Windows Bitmap (bmp)    
  38.         FILE_TYPE_MAP.put("dwg", "41433130"); //CAD (dwg)    
  39.         FILE_TYPE_MAP.put("html", "68746D6C3E");  //HTML (html)    
  40.         FILE_TYPE_MAP.put("rtf", "7B5C727466");  //Rich Text Format (rtf)    
  41.         FILE_TYPE_MAP.put("xml", "3C3F786D6C");    
  42.         FILE_TYPE_MAP.put("zip", "504B0304");    
  43.         FILE_TYPE_MAP.put("rar", "52617221");    
  44.         FILE_TYPE_MAP.put("psd", "38425053");  //Photoshop (psd)    
  45.         FILE_TYPE_MAP.put("eml", "44656C69766572792D646174653A");  //Email [thorough only] (eml)    
  46.         FILE_TYPE_MAP.put("dbx", "CFAD12FEC5FD746F");  //Outlook Express (dbx)    
  47.         FILE_TYPE_MAP.put("pst", "2142444E");  //Outlook (pst)    
  48.         FILE_TYPE_MAP.put("xls", "D0CF11E0");  //MS Word    
  49.         FILE_TYPE_MAP.put("doc", "D0CF11E0");  //MS Excel 注意：word 和 excel的文件头一样    
  50.         FILE_TYPE_MAP.put("mdb", "5374616E64617264204A");  //MS Access (mdb)    
  51.         FILE_TYPE_MAP.put("wpd", "FF575043"); //WordPerfect (wpd)     
  52.         FILE_TYPE_MAP.put("eps", "252150532D41646F6265");    
  53.         FILE_TYPE_MAP.put("ps", "252150532D41646F6265");    
  54.         FILE_TYPE_MAP.put("pdf", "255044462D312E");  //Adobe Acrobat (pdf)    
  55.         FILE_TYPE_MAP.put("qdf", "AC9EBD8F");  //Quicken (qdf)    
  56.         FILE_TYPE_MAP.put("pwl", "E3828596");  //Windows Password (pwl)    
  57.         FILE_TYPE_MAP.put("wav", "57415645");  //Wave (wav)    
  58.         FILE_TYPE_MAP.put("avi", "41564920");    
  59.         FILE_TYPE_MAP.put("ram", "2E7261FD");  //Real Audio (ram)    
  60.         FILE_TYPE_MAP.put("rm", "2E524D46");  //Real Media (rm)    
  61.         FILE_TYPE_MAP.put("mpg", "000001BA");  //    
  62.         FILE_TYPE_MAP.put("mov", "6D6F6F76");  //Quicktime (mov)    
  63.         FILE_TYPE_MAP.put("asf", "3026B2758E66CF11"); //Windows Media (asf)    
  64.         FILE_TYPE_MAP.put("mid", "4D546864");  //MIDI (mid)    
  65.     }    
  66.     
  67.     public static void main(String[] args) throws Exception    
  68.     {    
  69.         File f = new File("c://aaa.gif");    
  70.         if (f.exists())    
  71.         {    
  72.             String filetype1 = getImageFileType(f);    
  73.             System.out.println(filetype1);    
  74.             String filetype2 = getFileByFile(f);    
  75.             System.out.println(filetype2);    
  76.         }    
  77.     }    
  78.     
  79.     /**  
  80.      * Created on 2010-7-1   
  81.      * <p>Discription:[getImageFileType,获取图片文件实际类型,若不是图片则返回null]</p>  
  82.      * @param File  
  83.      * @return fileType  
  84.      * @author:[shixing_11@sina.com]  
  85.      */    
  86.     public final static String getImageFileType(File f)    
  87.     {    
  88.         if (isImage(f))  
  89.         {  
  90.             try  
  91.             {  
  92.                 ImageInputStream iis = ImageIO.createImageInputStream(f);  
  93.                 Iterator<ImageReader> iter = ImageIO.getImageReaders(iis);  
  94.                 if (!iter.hasNext())  
  95.                 {  
  96.                     return null;  
  97.                 }  
  98.                 ImageReader reader = iter.next();  
  99.                 iis.close();  
  100.                 return reader.getFormatName();  
  101.             }  
  102.             catch (IOException e)  
  103.             {  
  104.                 return null;  
  105.             }  
  106.             catch (Exception e)  
  107.             {  
  108.                 return null;  
  109.             }  
  110.         }  
  111.         return null;  
  112.     }    
  113.     
  114.     /**  
  115.      * Created on 2010-7-1   
  116.      * <p>Discription:[getFileByFile,获取文件类型,包括图片,若格式不是已配置的,则返回null]</p>  
  117.      * @param file  
  118.      * @return fileType  
  119.      * @author:[shixing_11@sina.com]  
  120.      */    
  121.     public final static String getFileByFile(File file)    
  122.     {    
  123.         String filetype = null;    
  124.         byte[] b = new byte[50];    
  125.         try    
  126.         {    
  127.             InputStream is = new FileInputStream(file);    
  128.             is.read(b);    
  129.             filetype = getFileTypeByStream(b);    
  130.             is.close();    
  131.         }    
  132.         catch (FileNotFoundException e)    
  133.         {    
  134.             e.printStackTrace();    
  135.         }    
  136.         catch (IOException e)    
  137.         {    
  138.             e.printStackTrace();    
  139.         }    
  140.         return filetype;    
  141.     }    
  142.         
  143.     /**  
  144.      * Created on 2010-7-1   
  145.      * <p>Discription:[getFileTypeByStream]</p>  
  146.      * @param b  
  147.      * @return fileType  
  148.      * @author:[shixing_11@sina.com]  
  149.      */    
  150.     public final static String getFileTypeByStream(byte[] b)    
  151.     {    
  152.         String filetypeHex = String.valueOf(getFileHexString(b));    
  153.         Iterator<Entry<String, String>> entryiterator = FILE_TYPE_MAP.entrySet().iterator();    
  154.         while (entryiterator.hasNext()) {    
  155.             Entry<String,String> entry =  entryiterator.next();    
  156.             String fileTypeHexValue = entry.getValue();    
  157.             if (filetypeHex.toUpperCase().startsWith(fileTypeHexValue)) {    
  158.                 return entry.getKey();    
  159.             }    
  160.         }    
  161.         return null;    
  162.     }    
  163.         
  164.     /** 
  165.      * Created on 2010-7-2  
  166.      * <p>Discription:[isImage,判断文件是否为图片]</p> 
  167.      * @param file 
  168.      * @return true 是 | false 否 
  169.      * @author:[shixing_11@sina.com] 
  170.      */  
  171.     public static final boolean isImage(File file){  
  172.         boolean flag = false;  
  173.         try  
  174.         {  
  175.             BufferedImage bufreader = ImageIO.read(file);  
  176.             int width = bufreader.getWidth();  
  177.             int height = bufreader.getHeight();  
  178.             if(width==0 || height==0){  
  179.                 flag = false;  
  180.             }else {  
  181.                 flag = true;  
  182.             }  
  183.         }  
  184.         catch (IOException e)  
  185.         {  
  186.             flag = false;  
  187.         }catch (Exception e) {  
  188.             flag = false;  
  189.         }  
  190.         return flag;  
  191.     }  
  192.       
  193.     /**  
  194.      * Created on 2010-7-1   
  195.      * <p>Discription:[getFileHexString]</p>  
  196.      * @param b  
  197.      * @return fileTypeHex  
  198.      * @author:[shixing_11@sina.com]  
  199.      */    
  200.     public final static String getFileHexString(byte[] b)    
  201.     {    
  202.         StringBuilder stringBuilder = new StringBuilder();    
  203.         if (b == null || b.length <= 0)    
  204.         {    
  205.             return null;    
  206.         }    
  207.         for (int i = 0; i < b.length; i++)    
  208.         {    
  209.             int v = b[i] & 0xFF;    
  210.             String hv = Integer.toHexString(v);    
  211.             if (hv.length() < 2)    
  212.             {    
  213.                 stringBuilder.append(0);    
  214.             }    
  215.             stringBuilder.append(hv);    
  216.         }    
  217.         return stringBuilder.toString();    
  218.     }    
  219. }  

  

这样，不管是传入的文件有后缀名，还是无后缀名，或者修改了后缀名，真正获取到的才是该文件的实际类型，这样避免了一些想通过修改后缀名或者Content-type信息来攻击的因素。但是性能与安全永远是无法同时完美的，安全的同时付出了读取文件的代价。本人建议可采用后缀名与读取文件的方式结合校验，毕竟攻击是少数，后缀名的校验能排除大多数用户，在后缀名获取不到时再通过获取文件真实类型校验，这样来适当提高性能。

iteye_11305
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
不同类型文件的魔术数字
shenshaoming的博客
09-02 2186
前言 在Web项目中,用户上传的文件可能是用户恶意篡改的病毒文件,所以为了避免这种情况,需要对文件的后缀名进行过滤. 通过对后缀名的判断只能够简单的验证文件,如果用户恶意更改了文件的后缀名,这种判断就不起作用了.所以还需要对文件的字节进行验证,每一个文件都有自己的魔术数字.也就是在一个文件的开头部分的字节码,用winhex-19.8(下载下来之后有个木马文件,删除掉就可以,不影响使用)查看一个...
魔数与文件类型
野生码农
11-06 3584
电脑里很多文件，例如，word，excel，txt，jpg，应用软件怎么区分文件类型呢？ 即使word文档，也是分为doc和docx，编码格式都不一样，office也需要区分不同的类型，再进行解码。 如果把一个word文档的后缀改成jgp，图片软件打开的时候就会报错。但是文件后缀是可以随便更改的，为了规范化，除了文件后缀之外，还需要一个方法来表示文件真正的类型。 魔数（magic numbe...
表示不同文件类型的魔术数字【整理】
热门推荐
码农的田园
08-03 1万+
这里所说的表示不同文件类型的魔术数字，指定是文件的最开头的几个用于唯一区别其它文件类型的字节，有了这些魔术数字，我们就可以很方便的区别不同的文件，这也使得编程变得更加容易，因为我减少了我们用于区别一个文件的文件类型所要花费的时间。 比如，一个JPEG文件，它开头的一些字节可能是类似这样的”ffd8 ffe0 0010 4a46 4946 0001 0101 0047 ……JFIF…..G“，
whether:通过文件魔术数字识别文件类型
05-10
无论 通过文件魔术数字识别文件类型。 关于魔术数字 幻数是文件的头几位，可唯一标识文件的类型。 。 入门指南 安装 npm install whether 检查图像是否正好是给定的类型。 var whether = require ( 'whether' ) . create ( ) ; whether ( 'path/to/image' ) . is ( 'jpg' ) ; // will return boolean // or async way whether ( 'path/to/image' ) . is ( 'jpg' , callback ) ; // check whether the file content type is matched with the file extension. whether ( 'path/to/image.
Misc第八篇——功夫再高也怕菜刀（数据恢复、报文分析）
robacco的博客
03-16 2759
题目描述：菜狗决定用菜刀和菜鸡决一死战 附件是一个.pcapng文件，使用wireshark打开文件查看报文查找flag信息， 输入表达式http contains flag查看http协议的报文是否包含flag的信息， 追踪筛选出的报文追踪tcp流，第1150个报文中发现一串十六进制的流信息， 其中，FFD8是jpg文件头标志，FFD9是结束标志 然后将这部分信...
go --- 根据文件头判断文件类型
my_miuye的博客
06-05 4115
通常我们会选择通过文件后缀来判断文件类型，对于一些类型被重命名的文件，就会判断失误。因此，通过文件头来进行判断会更准确些。
常见的文件的文件头
qq_43275516的博客
03-31 7230
常用文件的文件头如下(16进制)： JPEG (jpg)，文件头：FFD8FFE0或FFD8FFE1或FFD8FFE8 GIF (gif)，文件头：47 49 46 38PNG (png)，文件头：89 50 4E 47 TIFF (tif)，文件头：49 49 2A 00 Windows Bitmap (bmp)，文件头：42 4D C0 01 CAD (dwg)，文件头：41 43 31 30...
魔术数字游戏
02-12
1. **基本数据类型与变量**：游戏可能会使用整型（int）来存储数字，浮点型（float或double）处理分数，布尔型（bool）表示条件状态等。 2. **流程控制**：通过if-else语句、switch-case结构来实现游戏逻辑判断，...
根据头信息判断文件类型
04-22
根据头信息判断文件类型是计算机科学中的一个常见技术，它基于这样一个事实：大多数文件格式在开始部分都会包含一些特定的字节序列，这些序列被称为“魔术数字”或“文件签名”，用于标识文件的类型。这种方法在很多...
PHP中类型转换 ,常量,系统常量,魔术常量的详解
12-20
在字符串拼接操作中，不同类型的值会被转换为字符串，如`NULL`会变成空字符串，布尔值`true`会转换为字符串`'1'`，`false`转换为空字符串。 - **强制类型转换**：可以使用类型转换函数如`intval`、`strval`和`...
php通过文件头判断格式的方法
10-22
这些序列称为魔术数字或文件签名。例如，一个PNG图片文件的头两个字节通常是0x89 0x50（在十进制中是137 80），它们被用来唯一地识别PNG文件。 在PHP中，我们可以使用标准的文件处理函数来读取文件的头部信息。具体...
php笔记之常用文件操作
10-28
例如，权限`0777`表示文件所有者、组和其他用户都有可读、可写和可执行权限。 ### 文件打开与读写 在PHP中，`fopen()`函数用于打开文件，并根据访问模式进行读取或写入。例如： - `"r"`：只读，文件指针在文件开头...
MNIST手写数字数据集
03-22
- **图像文件（idx3-ubyte）**：以二进制格式存储，前16个字节是元数据，包括魔术数字（用于识别文件类型）、图像数量、宽度、高度和颜色通道数。MNIST中的图像为单通道（灰度），所以颜色通道数为1。接下来的数据...
php数据类型判断函数有哪些
10-26
这里的数字包括整数和浮点数，以及表示数字的字符串。需要注意的是，is_numeric()能识别的数字字符串不会包含任何非数字字符，否则结果会是false。例如，"123abc"会被认为不是数字字符串，而"123"则会被认为是数字...
文件上传漏洞
qq_63969018的博客
04-09 1040
文件上传漏洞姿势
File Header文件头，通过检查文件头来判断文件类型
Luis
07-12 2445
<br />各种类型文件头<br />由这些文件头即使文件后缀被乱改也可以通过查看二进制文件查出文件的匹配格式,当然这就是一些播放器识别文件的方法<br />1、从Ultra－edit-32中提取出来的<br /><br />JPEG (jpg)，文件头：FFD8FF <br />PNG (png)，文件头：89504E47 <br />GIF (gif)，文件头：47494638 <br />TIFF (tif)，文件头：49492A00 <br />Windows Bitmap (bmp)，文件头：42
通过文件头标识判断图片格式
allen5200的专栏
12-01 1587
<br />最近在做东西的时候遇到了点问题，在加载图片的时候，加载失败，后缀都是jpg格式，但换个图片就可以了，为此，怀疑图片格式有问题，遂拖到UE里面查看它的16进制，果然，两个图片的文件头根本就不一样，这不是欺负人嘛，害我白白浪费了半天的时间，差点要重新编译内核。 <br />然后到网上找了一些资料，查看不同格式图片的文件头是怎样的。下面转帖是不同图片的文件头标志：<br /> <br /> <br />图片的格式很多，一个图片文件的后缀名并不能说明这个图片的真正格式什么，那么如何获取图片的格式呢？我
matlab 魔术公式文件、
最新发布
07-08
MATLAB的魔术公式文件是一种特殊的MATLAB程序文件，扩展名为".m"。它包含了一系列的MATLAB语句和命令，可以用于执行各种数学运算和数据处理任务。魔术公式文件是MATLAB的一个重要特性，为用户提供了一种方便的方式来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值