泰迪智能科技大模型开发平台与大模型应用平台介绍

 

   大模型开发平台是一款面向高校大模型教学、科研的一站式大模型开发工具。平台能够自定义调用CPU和内存资源，自由配置专门针对大模型和深度学习等任务的硬件加速器（如GPU或XPU），能够高效地执行大模型的prompt工程、大模型应用开发和大模型的微调。平台支持主流的大模型基座，支持大模型基座私有化部署，包括智谱的ChatGLM、百川的Baichuan、阿里的Qwen等，助力用户快速进行大模型的开发和微调。平台还提供了丰富大模型开发工具、整套开发环境和资源监控功能，能够灵活分配资源，方便用户轻松使用、开发、管理大模型应用。
     大模型开发平台特色功能如下：
     (1)提供资源监控页面，用于综合显示系统的资源配置概况，包括CPU、GPU、内存、节点状态以及即时任务数据，轻松了解系统资源的状况和大模型任务的实时执行情况。
     (2)支持多种数据上传，如本地数据资源、非结构化数据或通用的表结构化数据，提供一系列数据管理功能，包括下载、重命名、移动和删除，同时可将数据文件共享至公共存储空间，其余用户可以复制和使用相同的数据。
    (3)创建训练任务时，可以根据计算需求，灵活选择所需的CPU和GPU算力规格以及根据需求设定定时任务，完成任务创建。并提供多种任务管理功能，如查看所有任务、定时启动任务、复制任务、查看任务状态和执行进度、查看日志输出等。  
    (4)支持对单用户的多个开发环境进行管理。支持对大模型进行微调，包括Qwen-7B-Chat、chatglm2-6b、vicuna-13b、vicuna-7b、Baichuan2-7B、Baichuan2-13B、RWKV等。支持复制现有的交互开发任务，快速创建相似的任务，省去了重新配置环境的麻烦。支持查看任务的实时状态和进展，以确保任务正常运行。支持随时停止正在运行的开发环境，以释放资源或者结束任务。
   (5)可对CPU和GPU的配额进行设定，管理员可以根据需要，为每个用户或项目设定特定的CPU和GPU配额，确保资源的公平分配，满足不同任务的计算需求。同时，支持多种硬件加速器，包括国产算力卡、GPU、XPU等，涵盖了昆仑芯、华为昇腾、天数智芯等多种硬件。平台可以根据大模型项目要求选择最适合的硬件来优化性能，确保资源的有效利用，提高工作效率和任务执行的成功率，为用户提供最佳的计算体验。

    大模型应用平台是一款专为高校大模型应用场景教学和科研打造的知识库问答系统。该平台易于使用，知识库支持常见的txt、doc、pdf、md等数据文件上传，同时提供了简洁易懂的操作配置界面，使用户可以轻松地搭建和训练AI应用，并快速进行调用，满足不同领域的交互式对话场景需求。此外平台还支持可视化的工作流编排，能够满足复杂的问答场景搭建需求。通过大模型应用平台，能够更好帮助用户更好地应用大模型技术，提升教学和科研质量。
 (1)提供应用列表，能够快速调用构建的AI应用，展开对话交互。并提供对话引用搜索功能，能够展示对话所引用的知识库内容，用户能够准确了解对话是否匹配，并对AI应用进行进一步优化
(2)支持引用模板，快速完成AI应用创建，满足不同的情形的聊天对话需求。
(3)页面配置简单方便，快速调试不同应用的具体使用方式。同时支持AI应用一键分享，其他用户无需登录，通过链接即可快速访问和体验相应的AI应用。
(4)提供多种系统模块及插件模块，用户通过托拉拽即可完成复杂抽象的AI应用场景搭建。
(5)提供大模型的知识库搜索测试功能，检测AI应用的交互对话效果。
     详细了解大模型开发平台与大模型应用平台可到泰迪智能科技官网咨询了解更多~