软件工程实践——软件评测作业

这个作业属于哪个课程	2302软件工程社区
这个作业要求在哪里	软件工程实践——软件评测作业
这个作业的目标	调研，评测，分析，建议和规划
其他参考文献	《构建之法》

第一部分 调研，评测

1.1文心一言

1.1.1 使用体验

1.1.1.1 介绍软件

文心一言是由百度公司开发的先进人工智能对话模型，基于深度学习技术，能够精准理解并高效回答用户提出的问题，为学术研究、知识探索等提供智能化支持，助力推动科技进步与创新发展。

1.1.1.2 使用软件

初始主界面，可以在中间的输入框进行文字输入提问，或者上传照片或文件。左下角有显眼的会员标志。
在左侧可以看到历史聊天窗口记录。最左侧有对话、百宝箱、指南等选择。

在输入框有插件选择，不同的插件有各种功能。进行基础的文字输入提问。对于回答的答案，可以选择复制内容或复制成Markdonw格式，比较便利。
这里可以看到，在要求进行ai画图后，文心一言会在结尾继续引诱用户进行其他功能的ai画图，有一种浓厚的商业气息。

左侧的百宝箱里有每日精选、场景、职业等选择。也可以在右上角的输入框中进行文字搜索。

1.1.1.3 优点

• 整合许多插件，可以自主进行选择安装和卸载。
• 百宝箱中有各种场景和职业，可以快速让ai进入对应的场景中，不需要用户用语言进行调教。
• 有今日热门等，更具时效性。

1.1.1.4 缺点

• 百宝箱的UI有些臃肿，会员图标做得太显眼。
• 进行ai绘图的要求时，会在回答的结尾进行“推销”一样的回答。
• 百宝箱里的选项虽然很多，但是实际有用的很少。
• 对数学问题的回答不够准确。

1.1.1.5 改进建议

• 改进百宝箱的ui设计，更加简洁化，删除无效信息。
• 去除左下角的开通会员图标。
• 进行ai绘图时，不要进行多余的“推销”式回答。
• 对模型的语言理解能力和数学能力进行改进提升。

1.1.1.6 其他用户体验

• 采访对象：电子科技大学大三学生 测控技术与仪器专业
• 采访原因：有过ChatGPT的使用经历，平时会使用ai解决一些问题
• 需求：解答一些数学问题和一些日常问题
• 采访记录：

1.1.2 BUG描述

bug量化标准

星级	说明
⭐⭐ ⭐⭐⭐	所有用户都遇到整个问题，使用体验极差。引发致命性系统故障与致命性安全性漏洞。
⭐⭐ ⭐⭐	多数用户都会遇到的问题，会严重影响用户的体验，引发严重系统故障。
⭐⭐ ⭐	部分用户在使用会可能遇到的错误，但是对用户体验和程序运行的影响没有特别严重。
⭐⭐	在及其特定的情况下会发生的错误，正常使用很难遇见，对用户体验和程序运行影响不大。
⭐	软件细节有不足之处，但不影响用户体验和程序运行。

1.1.2.1 Bug发生时的测试环境

浏览器：Microsoft Edge
浏览器版本：版本 123.0.2420.81 (正式版本) (64 位)
操作系统：Windows 11 家庭中文版
操作系统版本：22631.3447

1.1.2.2 Bug具体情况描述

Bug 1: 先提问一个简单的数学问题，比如4+7等于几。之后在提问较大数值的字节转换问题，文心一言就会给予错误的答案。但是再次提问就会恢复正常答案。

Bug 2：进行连续的中止回答和快速提问时，发生了问题生成卡住的情况，点击中止回答也无反应，也无法继续提问。

1.1.2.3 Bug的可复现性及具体复现步骤

Bug1复现：

• 步骤：1.现输入一个简单的数学问题，比如4+7等于几？
  2 . 输入一个较大数值的字节转换问题，比如：62277025792字节转换GB。
• 复现可能性：在新开一个窗口的情况下，触发几率极高，几乎为百分百。
  
  Bug2复现：
• 步骤：1.随便输入一个问题，然后在回答结束之前点击停止生成。
  2.快速再发送问题，重复上述操作。
• 复现可能性：极低，可能跟网络质量和当时的访问量有关。

1.1.2.4 Bug分析

BUG1

• 可能性：上一个问题的回答影响了下一次的计算。
• 严重程度：⭐⭐ ⭐ 几乎所有用户都会遇到这个问题，但发生需要特定条件，正常使用时可能会偶发触发，不严重影响总体的体验。

BUG2

• 可能性：由于高峰时期用户过多，同时网络质量不好，使网页卡住。
• 严重程度：⭐⭐ 多数情况下不会遇见，刷新网页就可解决，但遇到就会影响体验。

1.1.2.5 Bug的预期及改进建议

• Bug1：加强模型的训练程度，接受的训练和数据还不够，尤其是对数学问题方面的训练和数据应该重点加强。
• Bug2：提高服务器抗压能力，增加服务器资源，改进算法和数据处理流程以提高效率。

1.1.3 结论

• 定性结论：b) 不推荐

• 原因：不论是语义理解还是数学问题等的回答，都明显不如其他产品。同时又有推销自己会员的嫌疑。
  如果有一些特殊场景的需求时，可以使用百宝箱里的预设。

• 定量结论：80分

• 评分表参考连接

类别	描述	评分
核心功能	分析核心功能，功能设计和质量。	8
细节	有什么为用户考虑的细节?	8
用户体验	当用户完成功能时，不干扰用户	8
辅助功能	一些辅助功能	9
差异化功能	软件独特的功能， 它对用户的吸引力有多大?	9
软件的效能	占用内存, 启动速度, 内存泄漏情况	9
软件的适应性	在联网/断网, 大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作	6
成长性	记住用户的选择, 适应用户的特点，用户越用越方便	9
用户有控制权	系统状态有反馈，等待时间要合适。关键操作有确认提示，有明确的错误信息。	7
内容正确率	生成的回答的正确性、权威性、及时性	7
最终得分		80

1.2 讯飞星火

1.2.1 使用体验

1.2.1.1 介绍软件

讯飞星火认知大模型是由科大讯飞自主研发的认知智能大模型，通过学习海量的文本、代码和图像，具备跨领域的知识和语言理解能力，能基于自然对话方式理解和执行任务。

1.2.1.2 使用软件

初始主界面，可以在中间的输入框进行文字输入提问，或者上传照片或语音。同时在左侧栏还有助手中心和发现友伴的选项。也可以在左侧新建对话、管理显有的对话。
在下面输入框上，有插件可以选择，相比文心一言，插件数量较少，且不能展开选择，只能在横选框里选。

助手中心，和文心一言的百宝箱很相似，有各种预设好的情景，以及今日热榜等。

在发现友伴里，可以选择很多热门动漫、游戏以及历史人物，与其进行聊天对话。但其中一些人物似乎并没有得到版权方的授权，有构成侵权的嫌疑。

以文字输入的形式进行提问，对于回答的答案，可以选择复制内容，也可以进行语音输出，十分便利。

进行ai画图，理解了问题的含义并进行了输出。

1.2.1.3 优点

• 有许多插件，可以自主进行选择。
• 助手中心有许多可以选择的预设。
• 有ai友伴可以进行聊天对话。

1.2.1.4 缺点

• 助手中心里的选择虽然很多，但是实际有用的很少。
• 对一些问题的理解还不够准确，回答无法让人满意。
• 历史对话列表中，对话的管理无法批量删除，不方便。

1.2.1.5 改进建议

• 改进助手中心的设计，减少无用选项。
• 对模型的语言理解能力和数学能力进行改进提升。
• 历史对话管理进行改进，增加批量处理功能。

1.2.1.6 其他用户体验

• 采访对象：江苏商贸职业学院大三学生 软件工程专业
• 采访原因：有过ChatGPT的使用经历，平时会使用ai解决编程上的问题
• 需求：解答一些编程代码问题和一些数学问题
• 采访记录：

1.2.2 BUG描述

bug量化标准

星级	说明
⭐⭐ ⭐⭐⭐	所有用户都遇到整个问题，使用体验极差。引发致命性系统故障与致命性安全性漏洞。
⭐⭐ ⭐⭐	多数用户都会遇到的问题，会严重影响用户的体验，引发严重系统故障。
⭐⭐ ⭐	部分用户在使用会可能遇到的错误，但是对用户体验和程序运行的影响没有特别严重。
⭐⭐	在及其特定的情况下会发生的错误，正常使用很难遇见，对用户体验和程序运行影响不大。
⭐	软件细节有不足之处，但不影响用户体验和程序运行。

1.2.2.1 Bug发生时的测试环境

浏览器：Microsoft Edge
浏览器版本：版本 123.0.2420.81 (正式版本) (64 位)
操作系统：Windows 11 家庭中文版
操作系统版本：22631.3447

1.2.2.2 Bug具体情况描述

Bug1：在同一个问题的多次提问的情况下，回答的复读现象严重，多次回答都一摸一样。


Bug 2: 先提问一个简单的数学问题，比如4+7等于几。之后在提问较大数值的字节转换问题，讯飞星火就会给予错误的答案。但是再次提问就会恢复正常答案。

正确答案是58GB

1.2.2.3 Bug的可复现性及具体复现步骤

Bug1复现：

• 步骤：1.选择一个尽可能主观的问题，进行提问。
  2.多次重复提问。
• 复现可能性：在同一个问题多次提问的情况下，复现可能性较高。

Bug2复现：

• 步骤：1.现输入一个简单的数学问题，比如4+7等于几？
  2 . 输入一个较大数值的字节转换问题，比如：62277025792字节转换GB。
• 复现可能性：在新开一个窗口的情况下，触发几率极高，几乎为百分百。

1.2.2.4 Bug分析

BUG1

• 可能性：1、星火为了增加响应速度，加了缓存，在一定时间内，只要同样的问题，直接从缓存取，不用代入大模型计算。
  2、温度参数设得比较低，可能是为了保证准确性和可预测性。
  3、训练语料不够，导致一个问题只有比较有限的回答。

• 严重程度：⭐⭐ ⭐ 几乎所有用户都会遇到这个问题，但并不严重影响总体的体验。

BUG2

• 可能性：上一个问题的回答影响了下一次的计算。
• 严重程度：⭐⭐ ⭐ 几乎所有用户都会遇到这个问题，但发生需要特定条件，正常使用时可能会偶发触发，不严重影响总体的体验。

1.2.2.5 Bug的预期及改进建议

• Bug1：多次提问时，不适用缓存里的数据，而是重新生成答案。大语言推理模型参数temperature（温度）设置调高。相关训练较少，增加相关语料的训练量。
• Bug2：加强模型的训练程度，接受的训练和数据还不够，尤其是对数学问题方面的训练和数据应该重点加强。

1.2.3 结论

• 定性结论：c) 一般

• 原因：回答的速度比文心一言要快，同时数学问题的准确率也比文心一言稍高，但还是有时会犯错。temperature疑似有些低，对于一些文学等创造性问题回答不如文心一言。ui相对来说更直观，总体而言比文心一言体验要好。

• 定量结论：85分

• 评分表参考连接

类别	描述	评分
核心功能	分析核心功能，功能设计和质量。	8
细节	有什么为用户考虑的细节?	8
用户体验	当用户完成功能时，不干扰用户	9
辅助功能	一些辅助功能	9
差异化功能	软件独特的功能， 它对用户的吸引力有多大?	9
软件的效能	占用内存, 启动速度, 内存泄漏情况	9
软件的适应性	在联网/断网, 大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作	7
成长性	记住用户的选择, 适应用户的特点，用户越用越方便	9
用户有控制权	系统状态有反馈，等待时间要合适。关键操作有确认提示，有明确的错误信息。	8
内容正确率	生成的回答的正确性、权威性、及时性	8
最终得分		85

第二部分 分析

2.1 开发时间估计

开发一个类似于文心一言和讯飞星火的AI网站需要考虑多个因素，包括算法开发、系统架构设计、前端和后端开发等。

1. 算法开发和训练：这是整个项目中最耗时的部分之一。如果你打算从头开始设计和训练一个像ChatGPT这样的语言模型，可能需要数月甚至更长的时间来完成。但如果使用已有的模型作为基础，并对其进行微调和定制，时间可以大大缩短，大约需要1-3个月。

2. 系统架构设计：团队需要花费一些时间来设计整个系统的架构，包括前端和后端的架构设计、数据流设计等。这通常需要1-2个月的时间。

3. 前端开发：由于有专业UI支持，这一部分的工作可能会更高效。但是，开发一个交互式的前端界面仍然是一项挑战，需要考虑用户体验、界面设计等因素。预计需要2-4个月的时间。

4. 后端开发：包括服务器端逻辑、数据库设计与开发等。这个部分通常需要2-4个月的时间。

5. 集成测试和优化：在开发完成后，需要进行系统整体的测试和优化工作，以确保系统的稳定性和性能。这个阶段可能需要1-2个月的时间。

综合考虑以上因素，整个项目可能需要大约7-15个月的时间来完成。因为团队规模只有6人左右，因此会对时间产生影响。更大的团队可能能够并行开发多个模块，从而加快开发进度。

2.2 分析优劣

文心一言与讯飞星火相比：

• 讯飞星火在答案的生成速度上比文心一言更快一点。
• 在文学等人文问题的回答上，文心一言生成的答案更让人满意。
• 在数学问题的回答上，讯飞星火的回答速度更快，答案更准确，过程逻辑更清晰。
• 在ui界面上，讯飞星火更加简介直观。
• 在功能上，文心一言稍多一些。

排名： ChatGPT>讯飞星火>文心一言

2.3 软件工程方面的建议

文心一言：

• ui界面可以更加简直直观，同时去掉左下角的充值会员图标
• 提高模型对数学问题的解答能力
• 增强网站的负载能力，提高同时服务的用户数量
• 优化算法，提高回答问题的速度

讯飞星火：

• 优化对话窗口的管理，增加批量管理功能
• 增加预料的训练，减少出现回答复读的情况
• 插件没有单独管理界面，能改增加一个插件的选择、卸载界面
• 对ai友伴的版权问题进行重视

2.4 Bug不修复的可能原因

• 过于着急发布抢占国内市场，没有进行足够的质量测试
• 测试把关不严，没有在足够的高压环境下测试次数，忽略了高峰期时的用户数量过多带来的影响
• 对用户需求掌握不好，过分追求额外功能的数量，忽视了最重要的模型质量
• 一些Bug的修复可能带来其他问题，所以暂时放着不修

2.5 软件团队的问题

讯飞星火团队太过注重回答的正确率，temperature和top p的参数可能调得有点低，对于解数学题、代码题等问题可能会有更好的效果，但是对于头脑风暴，文学创造等问题相对来说弱了一些。我觉得讯飞星火可以多重视一些日常类问题的回答质量，同时对一些插件的管理、历史对话的管理功能上改进一下。


文心一言的团队对于ui的设计秉承着百度团队一贯的臃肿和混乱，同时对氪金要素十分显眼。百度的团队应该更站在用户的角度上思考ui交互的设计，而不是一股脑的把所有功能全部碓切。同时在进行ai绘图的要求是，竟然在回答里“推销”自己，这种操作真是太降低用户好感度了。至于文心一言的语言模型则没有太大的问题，总体体验肯定还是不如ChatGPT。

第三部分 建议和规划

3.1 市场概况

国内大语言模型市场具有广阔的潜力，中国是世界上人口最多的国家之一，拥有超过15亿人口。这意味着在教育、娱乐、商业和其他领域，有大量的个人和机构需要各种形式的智能预测和自然语言处理技术来解决问题、提供服务。同时，中国经济的不断增长为创新和技术投资提供了强大的基础。随着经济的发展，各行各业对于提高效率、降低成本、提供个性化服务等需求日益增长，这为预测模型的市场提供了广阔的机会。

直接用户是那些直接与语言模型互动并使用服务的人，比如：

• 个人用户：这包括普通用户、学生、教师、作家等，他们可能使用我进行写作、学习、创作等各种目的。

• 开发人员：开发人员可以利用我提供的 API 或 SDK 将我的功能集成到他们的应用程序中，以实现自然语言处理功能，比如智能聊天机器人、文本分析工具等。

• 企业用户：企业可以利用我来改善客户服务、自动化流程、生成内容等，涉及各种行业和应用场景。

• 创意产业：广告公司、媒体机构和创意工作室可以利用我进行广告文案创作、内容生成等。

而潜在用户群体非常广泛，涵盖了各个领域和行业，比如：

• 学生和教育机构：学生可以利用我进行学习辅助、文档撰写、作业帮助等。教育机构可以将我用于在线教育平台、智能辅导系统等。

• 开发人员和科技公司：开发人员可以将我的技术集成到他们的应用程序中，提供智能聊天机器人、文本分析工具等。科技公司可以利用我进行产品创新、技术研发等。

• 医疗保健领域：医生和医疗机构可以利用我进行疾病诊断、医学文档生成、健康咨询等。

• 政府和非营利组织：政府部门可以利用我进行政策研究、舆情监测等。非营利组织可以利用我进行社会调查、公共意见收集等。

3.2 市场现状

3.2.1 同类产品

• 目前市场上最具竞争力的就是ChatGPT，由OpenAI开发的语言模型，基于GPT（生成式预训练）技术，具有超越国内大预言模型的能力，以及ChatGPT具有简洁的UI。

3.2.2 市场定位

• 讯飞星火和文心一言的市场定位是一个多功能的语言模型，旨在为用户提供广泛的语言处理和生成功能。可以作为一个智能助手，回答问题、提供信息、解决问题；也可以作为一个创意合作伙伴，帮助用户生成内容、开发创意；此外，还可以作为一个学习工具，辅助学生、教师和专业人士获取知识、进行培训。总的来说，上述产品的定位是一个多功能、灵活应用的语言模型，旨在为用户提供智能、个性化的语言处理解决方案。

3.2.3 优势

• 讯飞星火和文心一言的具有多样的功能可供用户选择，可以选择场景、职业、对话友伴等多种功能，方便用户直接选取。
• 讯飞星火和文心一言具有原生的文本的语音播放功能。
• 相比ChatGPT，讯飞星火和文心一言的时效性更高，会定期更新今日热门、热门助手榜等。
• 相比ChatGPT，具有更强的娱乐性，比如讯飞星火可以选择各种人物进行对话。两者也都可以选择主题进行AI绘画等。
  
  （具有很多AI友伴可供选择，但感觉有些版权很成问题，不愧是中国互联网公司…）

3.2.4 劣势

• 讯飞星火和文心一言的劣势则是，相比ChatGPT，UI具有国内IT的通病，想要把所有功能都做出来，然后全部塞进去，使得UI十分臃肿。功能虽然多，但是真正好用的很少，问答相比ChatGPT的精确度相比较低，。
• 讯飞星火其中一些AI友伴出自热门的动画、游戏等，不知是否取得了相应版权，可能构成侵权问题。
• 只能使用中文和英文进行回答，不够国际化的同时，对于国内的外语学习者也不够友善。
  

3.3 市场与产品生态

核心用户群与典型用户

3.3.1 核心用户群

• 学生：需要帮助完成作业、论文写作、学习辅导。
• 教育工作者：用于教学辅助、教材编写、学生评估。
• 研究人员：数据分析、文献检索、科研写作。
• 企业专业人士：市场分析、报告生成、客户服务。
• 编程开发者：代码生成、问题解决、技术文档撰写。
• 日常使用者：信息查询、娱乐互动、生活助手。

3.3.2 典型用户特征

• 学历：从高中生到博士研究生不等，但以大学生和研究生为主。
• 年龄：主要集中在16岁到60岁之间，以青少年和成年人为主。
• 专业：涵盖各个专业领域，但以科技、教育、商业和管理等领域为主。
• 爱好：可能对科技、编程、文学、艺术等多种领域有兴趣。
• 收入：用户的收入水平多样，从学生到高收入专业人士都有可能。
• 表面需求：快速准确的信息获取、作业辅导、语言翻译、文本生成等。
• 潜在需求：持续的知识更新、个性化服务、高效的工作辅助、情感交流。

3.3.3 用户群体间的关系与生态构建

• 用户群体之间可能存在知识共享和信息交流的关系，例如学生之间互相帮助解决问题，教育工作者和企业专业人士可能在研究和实践中相互借鉴。
• 存在利用用户相互作用二次构成特定用户生态的可能性，例如通过社区论坛或专业网络平台，用户可以分享经验、提供反馈、协作解决问题。

3.3.4 子产品与其他产品间的关系与生态构建

• 子产品可能针对不同的应用场景或用户需求，例如专门的教育辅导工具、编程辅助软件等。
• 相关产品可能包括其他类型的AI服务，如图像识别、语音交互系统等。
• 利用各个产品特性之间的相互关系二次构成产品生态的可能性是存在的，例如将语言模型与图像识别结合，提供更全面的多媒体信息服务。

3.4 产品规划

3.4.1 新功能设计

在讯飞星火和文心一言的基础上，设计的新功能是“智能会议纪要生成器”。这个功能旨在自动将会议的语音内容转写为文字纪要，并进行关键点总结。

• 为何选择此功能：

  • 当前市场上缺少能够实时、准确转写并总结会议内容的智能工具。
  • 随着远程工作的普及，对于高效会议记录的需求增加。
  • 减少手动记录的时间和劳动，提升工作效率。

• 用户使用理由：

  • 用户可以节省时间，专注于会议讨论而非记录。
  • 提高会议纪要的准确性和可用性。
  • 方便后续查阅和分享会议要点。

• 创新点：

  • 利用先进的语音识别技术和自然语言处理（NLP）进行内容理解和关键信息提取。
  • 提供定制化模板，根据不同行业和会议类型优化纪要格式。

3.4.2 NABCD分析

• Needs（需求）: 用户需要一款能够帮助他们记录和整理会议内容的工具。
• Approach（方法）: 开发一个集成语音识别和自然语言处理的软件模块，实现实时转写和关键点标记。
• Benefit（好处）: 用户能够更加高效地进行会议记录，减少人力成本，提高工作质量。
• Competition（竞争）: 对比现有的笔记应用和语音转写服务，提供更准确、更智能的会议纪要解决方案。
• Delivery（交付）: 通过云服务提供API接口，允许用户在任何设备上访问和使用该功能。

3.4.3 团队配置与角色分配

• 开发人员: 4人

  • 前端开发：1人，负责界面设计和用户交互实现。
  • 后端开发：2人，负责服务器端逻辑和数据库管理。
  • AI/NLP工程师：1人，负责语音识别和自然语言处理模块的开发。

• 测试人员: 1人

  • 负责整个产品的测试，包括功能测试、性能测试和用户体验测试。

• 美工/UI设计师: 1人

  • 负责整体视觉设计和用户界面的优化。

3.4.4 16周详细规划

• 第1-2周：

  • 项目启动和团队构建
  • 组建团队，分配角色。
  • 确立项目目标、时间表和关键里程碑。
  • 进行项目启动会议，确保团队成员理解目标和期望。
  • 制定详细项目计划，包括任务分解和风险评估。

• 第3-4周：

  • 需求分析和设计规划
  • 与利益相关者沟通以确认和细化产品需求。
  • 完成需求规格说明书并由所有相关方审阅。
  • 开始产品设计工作，包括技术架构和用户界面草图。

• 第5-6周：

  • 开发阶段一
  • 前端开发负责搭建UI框架。
  • 后端开发开始基础API的开发。
  • AI/NLP工程师开始语音识别和自然语言处理的基础算法研究。

• 第7-8周：

  • 开发阶段二
  • 前端开发实现具体的用户交互功能。
  • 后端开发继续完善API并开始数据库设计。
  • AI/NLP工程师进行初步的算法测试和调优。

• 第9-10周：

  • 中期检查和迭代开发
  • 对已开发的功能进行代码审查和初步测试。
  • 根据测试结果进行必要的调整。
  • 完善项目文档，准备中期交付物。

• 第11-12周：

  • 功能完善和集成
  • 完成剩余功能的详细设计和开发。
  • 开始进行前后端的集成工作。
  • 完善AI/NLP功能，整合到主应用中。

• 第13-14周：

  • 全面测试和优化
  • 进行全面的系统测试，包括功能测试、性能测试和安全性测试。
  • 根据测试反馈优化系统性能和修复发现的问题。
  • 美工/UI设计师根据反馈调整最终的用户界面和用户体验细节。

• 第15周：

  • 用户验收测试和最终准备
  • 发布候选版本供内部用户验收测试。
  • 收集并整理用户反馈，确定必须修复的问题列表。
  • 着手准备发布所需的营销材料及更新说明文档。

• 第16周：

  • 发布和后续支持
  • 修复最紧迫的问题，完成最终的版本构建。
  • 正式发布新版本，并提供下载和安装支持。
  • 监控用户的反馈，准备后续的支持和修补程序。