眸思MouSi：“听见世界” — 用多模态大模型点亮盲人生活

让盲人听见世界，复旦眸思大模型打破视觉界限，用科技点亮新生活

1. Introduction

在这个世界上，视力­­是探索万物之美、与有灵万物互动的重要感官。而在中国，约有1700多万视力障碍者，相当于每100人中就有一名视障者。这些坚强的心灵，在黑暗中寻觅着生活的曙光，用触摸勾勒出文字的轮廓，借助耳畔的回声感知四周的世界。当光与色彩被遮盖，无论是在熟悉的家中还是陌生的外界，视障朋友们不得不面对日常生活的举步维艰和远超想象的各种挑战。

1.1 APP细节展示

听见世界APP设计了三种模式。开启街道行走模式，外出时，眸思如一位忠实的向导，它细致扫描道路情况，用语音智能地指引视障者安全通行，及时提醒潜在危险，成为最可靠的伙伴。开启自由问答模式，走进博物馆或公园等各式场所，眸思透过描述四周景象的每个细节，用声音构建丰富画面，让视障朋友们亦能体验与世界的互动之美。利用眸思大模型，电视节目不再是听觉的单一体验。眸思捕捉画面动态，将视觉内容转译为故事的声音，让视障人士在每个剧情波澜中同样感同身受。打开寻物模式，被移动的手杖、最爱口味的牛奶……在寻觅日常物件的过程中，眸思协助定位，让日常成为一场无压力的轻松追寻。