软件工程实践——软件评测作业

这个作业属于哪个课程	2302软件工程社区
这个作业要求在哪里	软件工程实践-软件评测作业
这个作业的目标	评测现有网站
其他参考文献	构建之法

第一部分：调研、评测

kimi

使用体验

网站：https://kimi.moonshot.cn/

Kimi Chat是月之暗面科技推出的智能聊天机器人APP。 它拥有大容量知识库,可以进行智能闲聊、解答问题、提供生活助手服务等,具有极高的智能交互能力。 用户可以随时随地与Kimi聊天寻找乐趣,它的回复丰富多样,使聊天更加有趣。 Kimi Chat完全免费,可以通过扫码或在手机上搜索直接使用。

界面首先非常的简洁有力，参考了部分 OpenAI-ChatGPT 的页面，直观告诉用户这个产品是做什么的

这个产品支持接入互联网，同时支持文件上传等功能

我们可以直接要求其进行论文分析

使用效果非常直接，使用 MD 格式输出这篇论文的分析，在结尾还有复制、再试一次和分享的功能

但是功能十分的有限，没有针对个人用户提供针对性的产品

（2）优缺点可以总结为如下

优点：

1. UI 界面简洁大方有力，突出了重点功能，用户使用门槛低
2. 支持联网搜索、文件解析等实用功能
3. 可以设置常用语，针对个人定制自己的 AI 助手

缺点：

1. 界面功能单一，没有类似于 OpenAI-ChatGPT 的应用插件商店功能，商业化程度地

（3）改进意见

建议针对个人提供一些个性化功能，例如：历史记录拓展、我的收藏、发现（发现其他人的问答）等，也可以支持一定的商业化功能

（4）用户采访

• 对象背景：高校老师
• 选择原因：该 AI 侧重于学术圈
• 对象需求：可以满足快速的阅读论文文献，提供核心文本描述
• 问题：无
• 亮点：支持 pdf 上传，界面非常简洁，提供的文档阅读结果具有实用性
• 建议：增加更多个性功能

BUG 描述

BUG 严重程度	程度说明
五星级	致命错误，对系统功能有严重程度的影响，严重影响安全，极其影响用户使用
四星级	严重错误，对系统功能有很大程度的影响，影响安全性，非常影响用户使用
三星级	一般错误，对系统功能有一般程度的影响，不影响安全性，比较影响用户使用
二星级	界面问题，对系统功能有较小的影响，不影响安全性，稍微影响用户使用
一星级	建议型问题，对系统功能几乎没有什么影响，不影响安全性，也不影响用户使用

1. 测试环境

macOS14.4 + Chrome

2. 可复现性及具体复现步骤

可复现性：必然发生

复现步骤

1. 删除历史会话至只剩一条记录
2. 删除当前会话
3. 当前会话页面仍保留，且页面处于卡顿状态，按钮点按没有反应，需要刷新才可使用

跳出确认框后会话仍然保留，且页面卡死

（4）BUG 分析

• 可能成因：前端页面逻辑失效，没有正确的跳转回首页，仍然在会话详情页
• 严重性：二星级（轻微级别）
  • 系统功能：页面会卡死，影响系统功能
  • 安全性：不涉及安全性
  • 用户体验：用户体验下降，无法正常操作页面
• 改进建议：检查前端页面跳转逻辑

结论

• c) 一般

这款 AI 助手目前广告较多，比较热门，以简洁和学术性为优势

类别	描述	评分**（满分 10 分, 良好 6 分, 及格 4 分，聊胜于无 1 分, 很差 -3 分）**
核心功能	分析三个核心功能，功能设计和质量。	7
细节	有什么为用户考虑的细节?	6
用户体验	当用户完成功能时，不干扰用户 (例如: 是否不断弹出不相关广告)。	8
辅助功能	一些辅助功能如皮肤等	4
差异化功能	这个软件独特的功能. 它对用户的吸引力有多大?	4
软件的效能	占用内存, 启动速度, 内存泄漏情况	8
软件的适应性	在联网/断网, 大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作	8
成长性	记住用户的选择, 适应用户的特点，用户越用越方便	8
用户有控制权	系统状态有反馈，等待时间要合适。关键操作有确认提示，有明确的错误信息。 让用户方便地从错误中恢复工作, 快捷操作键可调整。	8
博客质量	审核筛选垃圾信息博客，博客对用户是否有帮助。	6
总分		75

文心一言

文心一言*（英文名：ERNIE Bot）*是百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动、回答问题、协助创作，高效便捷地帮助人们获取信息、知识和灵感。文心一言从数万亿数据和数千亿知识中融合学习，得到预训练大模型，在此基础上采用有监督精调、人类反馈强化学习、提示等技术，具备知识增强、检索增强和对话增强的技术优势。

使用体验

相较于 kimiai，文心一言的商业化明显多了很多

（2）优缺点分析

优点：

1. 文心一言是国内 LLM 模型做的最好的，在知识储备、逻辑分析部分成绩优异
2. 文心一言的商业化做的很成功，个人功能丰富

缺点：

1. 文心一言的理解能力不如 OpenAI 的 ChatGPT3.5
2. 文心一言有抄袭 OpenAI 的部分，例如把模型叫做文心大模型 3.5

（3）改进意见

1. 规避部分抄袭色彩的内容
2. 继续训练提升模型能力

（4）用户采访

• 对象背景：高校教师
• 选择原因：对人工智能有一定研究
• 对象需求：可以简单协助处理日常办公内容
• 问题：无
• 亮点：中国制造，回答很全面
• 建议：在学术领域上不如 kimiai，其应该专注一部分内容

BUG描述

BUG 严重程度	程度说明
五星级	致命错误，对系统功能有严重程度的影响，严重影响安全，极其影响用户使用
四星级	严重错误，对系统功能有很大程度的影响，影响安全性，非常影响用户使用
三星级	一般错误，对系统功能有一般程度的影响，不影响安全性，比较影响用户使用
二星级	界面问题，对系统功能有较小的影响，不影响安全性，稍微影响用户使用
一星级	建议型问题，对系统功能几乎没有什么影响，不影

1. BUG 发生时的测试环境

macOS14.4 + Chrome

2. 可复现性及具体步骤

可复现性：经常发生

步骤：

1. 问一个涉及学术的内容
2. 让其论证内容
3. 其能够自圆其说（即使观点是错误的）

例如：我们询问“一个半小时是几个半小时”，其回复如下：

实际上这是一个语言逻辑问题，一个半小时还有一种结论值得就是一个半小时，而不是三个半小时

BUF 分析

可能成因：文心一言逻辑理解能力有待提升

严重性：三星级（中等级别）

• 系统功能：这个 BUG 不涉及系统功能
• 安全性：无安全性问题
• 用户体验：用户体验较差，因逻辑回复错误
• 改进建议：迭代大模型功能

结论

• c) 一般

文心一言作为国内数一数二的大模型，其功能是可以的，但是在具体的语义分析上仍然有提升空间

类别	描述	评分**（满分 10 分, 良好 6 分, 及格 4 分，聊胜于无 1 分, 很差 -3 分）**
核心功能	分析三个核心功能，功能设计和质量。	7
细节	有什么为用户考虑的细节?	6
用户体验	当用户完成功能时，不干扰用户 (例如: 是否不断弹出不相关广告)。	8
辅助功能	一些辅助功能如皮肤等	4
差异化功能	这个软件独特的功能. 它对用户的吸引力有多大?	4
软件的效能	占用内存, 启动速度, 内存泄漏情况	8
软件的适应性	在联网/断网, 大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作	8
成长性	记住用户的选择, 适应用户的特点，用户越用越方便	8
用户有控制权	系统状态有反馈，等待时间要合适。关键操作有确认提示，有明确的错误信息。 让用户方便地从错误中恢复工作, 快捷操作键可调整。	8
博客质量	审核筛选垃圾信息博客，博客对用户是否有帮助。	6
总分		75

第二部分：分析

开发时间估计

开发一个类似网站难点不在于网站开发，目前我们假设模型已经开发完毕，剩余部分为网站内容，则实践如下

• 需求分析和规划（1-2 周）：规划该网站的实现功能与目标用户群体
• 系统设计（1-3 周）：包含架构设计、数据库设计、API 设计，要求在开始写代码之前先完成该部分内容
• 开发（4-8 周）：包含前端开发与后端开发，在系统设计完毕后，前后端根据需求文档分别同时开发，提升开发效率
• 集成和测试（2-4 周）：所有组件开发完后，我们进行集成和测试。要求所有功能模块能够无缝集成，并进行全面的测试来发现和修复 bug
• 部署和优化（1-2 周）：包含部署到服务器，进行性能调优等。

同类产品的优劣对比

• kimi：kimi 语言处理能力优秀，支持 200 万字长token 输入，在限定范围（如学术圈）使用优秀，但通用性不强
• 文心一言：文心一言和 kimi 相反，其通用性较强，支持较广范围的模型输入输出，但是在特定细节（如学术圈）内使用强度不高

优化建议

• kimi：继续立足发展方向进行 code review，加强代码质量审计
• 文心一言：继续强化模型训练，以达到更加通用的效果

BUG可能原因

• kimi：开发过程中的前端测试覆盖率不全，导致简易漏洞的出现
• 文心一言：模型训练不周

团队的潜在问题

• kimi

问题：测试用例不全

改进：加强测试用例编写和自动化测试的实施，需要在团队的自动化（CICD）部分进行努力

• 文心一言

问题：商业化过重

改进：减轻部分的商业化功能，回归模型本质——帮助用户

第三部分：建议和规划

市场概况

市场规模

随着人工智能技术的不断进步和应用场景的日益丰富，AI大模型在中国得到了广泛的关注和应用。据数据，2023年，我国AI大模型行业市场规模为147亿元，预计2024年将增长至216亿元。随着技术的不断进步和应用场景的拓展，相信AI大模型将在未来发挥更加重要的作用，推动中国人工智能产业的持续发展和创新。

直接用户

• 内容创作者：博客作者、新闻记者、小说家等，他们可以使用AI来辅助写作，提高效率。
• 学术研究者：学者和研究人员可能会使用AI来撰写或编辑论文、报告。
• 学生：作业编写、报告撰写、学习资料整理等。
• 商业用户：市场营销人员、广告文案撰写者、公关人员等，他们可能会使用AI来生成或优化文案。

潜在用户

• 非英语母语者：希望提高英文水平的用户，可能会使用AI工具来改进他们的写作。
• 编辑和校对专业人士：他们可能会使用AI工具来辅助校对和编辑工作，提高工作效率和质量。
• 企业内部沟通：企业内部报告、邮件撰写等，可以使用AI来提高沟通效率。

市场现状

市场产品

OpenAI 的 GPT-4、ChatGPT，国内的通义千问、文心一言、寥寥数百个

产品定位，优劣势

多个产品的定位类似，竞争激烈，但是又出现了“一超多强”的局面，国内的模型优势在于掌握核心科技，但是其能力不足国外模型

产品关系

多个产品之间的关系错综复杂，可以理解为裙带关系

领域所处阶段

风口阶段

市场与产品生态

核心用户群

学生、教师、企业用户等

用户群体关系与生态构建

产品和用户群体之间存在一定的关系，有利用其相互作用二次构成特定用户生态的可能性

产品子产品与其他产品关系

产品的子产品，以及其他相关产品之间存在一定的关系，可以利用各个产品特性之间的相互关系二次构成产品生态

产品规划

新功能分析

名称：智能对话创作助手

N (Need，需求)

• 目标用户需求：内容创作者、作家、剧本编写者、营销人员等可能需要辅助工具来生成创意、提高写作效率、克服创作障碍或优化对话。
• 市场需求：随着内容创作的增加，尤其是在社交媒体和娱乐行业，对智能辅助工具的需求日益增长。这种工具可以帮助用户节省时间，提高创作质量。

A (Approach，方法)

• 技术方法：使用先进的自然语言处理（NLP）技术，如GPT-4，来理解和生成人类水平的对话。
• 产品方法：提供一个用户友好的界面，使非技术用户可以轻松设定对话场景、角色和情绪，从而生成对话或完善现有对话。

B (Benefit，好处)

• 对用户的好处：节省时间，提高创作效率；提供灵感和创意；帮助用户在创作中达到更高的质量标准；为非母语用户提供语言辅助。
• 社会好处：可以促进文化和艺术的发展，为语言学习者提供学习工具。

C (Competition，竞争)

• 直接竞争：其他智能写作助手和对话生成工具。
• 间接竞争：传统的写作软件、编辑和校对服务。
• 竞争优势：如果您的产品在特定领域（如对话的自然流畅性、情感表达的准确性等）表现优异，这可以作为您的竞争优势。

D (Delivery，交付)

• 交付渠道：可以通过网站、移动应用或集成到现有的写作平台和工具中。
• 用户支持和教育：提供在线教程、文档和客户支持来帮助用户最大化产品的价值。

团队配置

• 开发人员：3 名，负责后端开发（2 名）与前端开发（1 名）
• 测试人员：1 名，负责功能的测试工作
• 美工/UI：1 名，负责界面设计和用户体验优化
• 产品经理（pm）： 负责功能的整体规划，需求搜集和项目管理

16周详细规划

周 1-2

产品经理：进行市场调研和用户需求分析，确定功能的具体需求和目标。
开发人员：进行技术预研和方案设计，搭建开发环境。

周3-4

开发人员：开始后端开发，包括数据模型设计、接口开发等。
美工/UI设计师：设计界面原型和交互流程。

周5-6

开发人员：完成后端主体功能开发，开始前端界面开发。
测试人员：编写测试用例，准备测试环境。

周7-8

开发人员：前后端联调，优化性能。
测试人员：进行单元测试，确保代码质量。

周9-10

开发人员：根据测试反馈进行功能修复和优化。

美工/UI设计师：根据反馈调整界面设计，提升用户体验。

周11-12

测试人员：进行集成测试和用户测试，收集用户反馈。

产品经理：分析测试数据和用户反馈，调整功能细节。

周13-14

开发人员：根据测试结果进行最后的修复和优化。
美工/UI设计师：完成界面最终设计，准备发布。

周15-16

产品经理：撰写发布文档和宣传材料。
全体成员：进行内部培训和演练，确保发布顺利。

在发布后，还需要正式发布，即

全体成员：正式发布新功能，监控运行情况，及时处理用户反馈和问题。