在计算机视觉领域ä¸ï¼Œæˆ‘们ç»�常会é�‡åˆ°ä¸€ç§�问题:如何è®ç»ƒå‡ºå…·æœ‰æ›´å¥½æ³›åŒ–性能的模å�‹ï¼Ÿä¼ 统的机器å¦ä¹ 方法å�¯èƒ½ä¼šå‡ºç�°è¿‡æ‹Ÿå�ˆæˆ–æ¬ æ‹Ÿå�ˆç‰é—®é¢˜ï¼Œè€ŒçŸ¥è¯†è’¸é¦�(Knowledge Distillation)则是一ç§�有效的解决方案。
知识蒸é¦�的基本æ€�路是在已有的大å�‹æ¨¡å�‹ï¼ˆæ•™å¸ˆæ¨¡å�‹ï¼‰çš„基础上,通过让å°�å�‹æ¨¡å�‹ï¼ˆå¦ç”Ÿæ¨¡å�‹ï¼‰å¦ä¹ 教师模å�‹çš„知识æ�¥æ��å�‡æ¨¡å�‹çš„性能。具体æ�¥è¯´ï¼ŒçŸ¥è¯†è’¸é¦�å�¯ä»¥åˆ†ä¸ºä¸¤ä¸ªæ¥éª¤ï¼šé¦–先,在教师模å�‹ä¸Šè¿›è¡Œæ�¨ç�†ï¼Œç„¶å��将其输出作为å¦ç”Ÿæ¨¡å�‹çš„ç›®æ ‡æ ‡ç¾ï¼›æ�¥ç�€ï¼Œåœ¨å¦ç”Ÿæ¨¡å�‹ä¸Šè¿›è¡Œè®ç»ƒï¼Œå�Œæ—¶æœ€å°�åŒ–é¢„æµ‹æ ‡ç¾å’Œç›®æ ‡æ ‡ç¾ä¹‹é—´çš„差异(也就是所