- 博客(11)
- 收藏
- 关注
RSS订阅原创 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。更多详情请参考Yuan2.0模型技术报告和Github。
2024-07-04 17:36:47
900
原创 克服资源障碍：大模型量化技术与高效部署策略全解析
本文综述了大模型量化的方法、适用场景以及最新的研究进展，为读者解决部署使用大模型时遇到的计算资源不足的情景提供了一种视角
2024-06-27 17:35:15
758
原创 YuanChat全面升级：知识库、网络检索、适配CPU，手把手个人主机部署使用教程
浪潮信息YuanChat工具全面升级，支持知识库、网络检索、适配CPU，轻松在个人主机部署智能助手
2024-05-27 11:45:45
882
原创 Yuan2.0千亿大模型在通用服务器上的高效推理实现——以NF8260G7服务器为例
本文总结了当前千亿参数级别的大模型在通用服务器上推理部署的难点，并通过张量并行和NF4量化方法实现了Yuan2.0-102B模型在NF8260G7服务器上的部署
2024-05-13 10:53:35
1121
1
原创 业界首个开源千亿模型适配Langchain框架，基于Yuan2.0搭建本地大模型应用
近日，Yuan2.0全系列大模型完成了对Langchain框架的适配，用户可以基于Langchain框架快速开发出各类大模型应用。同时，借助Langchain这套成熟的框架，开发者仅需修改少量代码即可完成后端大模型平滑迁移。Langchain简介。Langchain 是一个利用语言模型开发应用程序的框架。
2024-03-28 16:44:05
1363
原创 Yuan2.0大模型，联合向量数据库和Llama-index，助力检索增强生成技术
利用Yuan大模型、向量数据库和LlamaIndex助力大模型检索增强生成技术，为NLP领域开辟了一个可能性领域。这个管道不仅可以理解和生成文本，而且还利用庞大的信息数据库来增强其响应，使其在聊天机器人、推荐系统等各种应用程序中具有难以置信的强大功能。然而，旅程并没有就此结束。NLP的世界正在迅速发展，保持最新趋势和技术的更新至关重要。这里讨论的实现是进入更广泛、更复杂的语言理解和生成世界的垫脚石。不断试验，不断学习，最重要的是不断创新。
2024-03-13 17:48:23
1684
5
原创 基于TensorRT-LLM的Yuan 2.0推理服务部署
自Yuan2.0大模型发布以来，团队一直致力于提高大模型的性能和效率。最近我们完成了基于TensorRT-LLM推理框架的Yuan2.0大模型部署实践，一起来尝试一下吧！TensorRT-LLM是2023年10月新发布的大模型推理部署框架，用其部署Yuan2.0大模型一方面可以显著提高模型推理速度和减少延时，让用户可以更快的获取推理结果；另一方面，利用TensorRT-LLM灵活的插件功能，使得用户在部署Yuan2.0时更有效的利用硬件资源从而节省硬件成本。
2024-02-28 12:08:23
1203
原创 Yuan2.0完成FastChat框架适配，内置模板实现多轮对话
近日，Yuan2.0开源大模型又出更新，增加了对话模板，并预置了多轮对话模板，已经在本地聊天工具上进行了集成。可以通过打开功能体验多轮对话。不过本着将简单留给用户，将复杂留给自己的开发原则，我们还是决定进一步适配有大量用户基数的FastChat框架，让开发者能够在不改动原有代码的情况下便捷地使用yuan2.0基础模型。与优秀的项目站在一起，使我们变得更加优秀。
2024-02-02 01:40:59
1434
转载 【转载】快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
文章转载自浪潮圈Yuan2.0（）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yuan2.0已经开源参数量分别是102B、51B和2B的3个基础模型，以供研发人员做进一步的开发。LLM（大语言模型）微调方案是解决通用大模型落地私有领域的一大利器。基于开源大模型的微调，不仅可以提升LLM对于指令的遵循能力，也能通过行业知识的引入，来提升LLM在专业领域的知识和能力。
2024-01-22 18:24:05
1298
3
原创 零基础Windows部署YuanChat和Yuan2.0-2B大模型
另外，我们同时提供了已经修改好的文件，分别为config_cpu.json和yuan_hf_model_cpu.py，可以将这两个文件分别重命名为config.json和yuan_hf_model.py，替换原有的两个文件即可。模型在推理、代码、对话等领域，均取得了显著的成果，其中在HumanEval数据集上的评测准确率由54.9%提升至61.5%，在GSM8K数据集上的评测准确率由66.6%提升至70.2%。模型进行了优化升级，在微调数据集构成上进行了整体和局部的配比调优，均衡模型在各领域的性能表现。
2024-01-22 17:07:49
1596
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人