山东大学软件学院创新项目实训开发日志——第七周

山东大学软件学院创新项目实训开发日志——第7周

项目名称：ModuFusion Visionary：实现跨模态文本与视觉的相关推荐

-------项目目标：

• 本项目旨在开发一款跨模态交互式应用，用户可以上传图片或视频，并使用文本、点、框等提示，精确分割出图片或视频中指定的物体，或者无提示地分割出所有物体。
• 基于分割出的物体，用户可以选择生成感兴趣的其他图片或视频。
• 内置推荐算法可以自动根据分割结果，推荐与之相关的信息。

1、本周完成任务：

• 优化了快速体验界面的响应逻辑，支持对走马灯中的图片进行查看。

• 补充了快速体验界面的图像分割入口，现在可以点击快速体验界面的图片直接进入分割界面，快速进行分割。

• 优化了后端调用模型进行分割时前端的等待体验，添加了等待时的加载动画。
  

• 添加了图片分割新功能：支持通过对图片中的物体进行框选分割，精度高于点击分割。
  

• 添加了图片分割新功能：支持通过简单的文本描述对图片中的物体进行分割。
  

• 优化了分割界面，为不同的分割方式提供了不同的tips提示。

• 优化了点击分割时后端的响应逻辑，数据库的查找返回方式修改为按照mask的面积升序，提高了分割精度。

• 添加了图片分割新功能：全分割！
  

• 优化了前端分割体验：为分割出的物体边缘增加了荧光效果。

• 添加了图片分割新功能：对分割出的物体进行精确展示，不再依附于原图像。

• 优化了前端分割体验，当鼠标悬停在图片上方时，将变为准星的形状。

• 优化了前端分割体验，点击分割时，将会在点击处留下一个淡蓝色的点。

• 增加了AIGC功能：图像风格迁移。支持对分割出的物体或原图片进行各种风格迁移，比如将原图片切换为梵高艺术风格等，处理时间取决于图像分辨率大小。
  
  

2、问题记录：

• Aside中引入request后，异常导致前端无法显示侧边栏，后修改了调用逻辑，通过修改store中的upload状态，在其他组件中调用request来曲线解决这个bug。
• 后端处理待分割图像时，前端加载动画无限阻塞线程的问题，原因是使用while循环来一直等待后端返回分割完成的信号，占用了主线程。后通过修改调用后端的位置到加载动画中，通过异步函数调用来实现正常的加载动画。
• 修复了侧边栏点击栏目时高亮显示不对应的bug。
• 修复了当侧边栏切换选项时，分割出的物体的mask持续覆盖的bug。
• 修复了当进行语义分割后，再次上传图片时后端处理失效的bug。
• 修复了项目启动时自动定位到“快速体验”界面的bug，现在重定向到登陆界面。

3、下阶段任务

• 1、实现视频分割区域的所有基本功能。
• 2、优化后端分割速度。
• 3、预计时间：1 - 2周。