Datawhale AI夏令营-[星火杯]大模型应用开发学习活动task1-task2

 一、参赛入门流程

2024 iFLYTEK A.I.开发者大赛-讯飞开放平台 (xfyun.cn)

控制台-讯飞开放平台 (xfyun.cn)

零基础开始大模型应用开发-速通星火API开发 - 飞桨AI Studio星河社区 (baidu.com)

完成大模型对话功能的后端开发

星火AI自动翻译机-baseline · 创空间 (modelscope.cn)

构建一个有前后端的应用！！！自动翻译机！

二、直播QA

1、大模型应用开发具体是做什么的？需要哪些方面的能力？

最基础的能力是基于大模型的API做应用开发

需要：产品设计、大模型API调用开发、前端开发、市场调研等，推荐组队互补能力栈

2、讯飞星火大模型可以接入自己的知识库吗？

问题1：官方没有禁止接入自己的知识库，也就是我们可以考虑Fiass、ES、Milvus等辅助。但官方同时提供的讯飞星火知识，所以更希望选手们接入官方知识库，拥抱讯飞生态。

问题2：本次课程主要内容是基于星火大模型开发AI应用，所以这块不会有过多讲解。欢迎大家可以在群里进行自由讨论。遇到问题可以找助教帮忙。如果想实际学习的话，可以参考DataWhale的历史教程。

3、大模型应用开发主要是依赖什么？

一个简易大模型应用的落地，通常包含如下几个步骤：

1. 需求构思：构思大模型应用的实际功能与需求

2. 提示词工程：根据实际功能与需求，调整合适的模型提示词

3. 知识库搭建（高级）：基于特定领域数据构建知识库，作为模型的“开卷”知识，让其回答我们更想要的知识。这个过程又成为RAG。

4. UI设计：好的应用少不了更好的人机交互，这里就需要我们设计好我们的UI和UE

5. 应用部署：挑选合适的服务环境，部署我们的应用

4、为什么不直接用 dify 图形化的界面更简单一点？

目前模型基座需要使用讯飞星火大模型，而dify尚未兼容。所以更建议大家基于Gradio+星火大模型开发应用。当然技术、时间条件等允许，也可以使用如vue+fastapi+星火大模型等高级应用开发。不管使用何种技术搭建应用，参赛的限制是必须使用讯飞星火大模型。

5、可以做多模态模型吗，以及可以对星火api进行白盒修改吗？

问题1：多模态大模型目前应该做不出来，因为讯飞没有提供相关的模型训练方式。但是官方提供了各种模态的API，我们可以建筑这些API搭建我们的多模态应用，具体可查看官方API文档。

问题2：baseline中演示的是一个简化版的api调用方式，但实际的模型api有多个自定义参数可调整。我们更希望开发者可以结合自身应用需求，恰当的修改API的参数，从而改变模型的行为。