AIGC
文章平均质量分 79
有意思科技
Just Do it!
心存梦想,脚踏实地
展开
-
OpenCompass 大模型评测
本文主要介绍利用OpenCopmpass工具进行大模型评测。原创 2024-04-21 13:13:24 · 909 阅读 · 0 评论 -
OpenCompass 大模型评测框架
一个模型被训练好后,我们需要去验证模型的能力,我们就需要工具去评测一个模型的好坏,以及哪方面的能力更好,哪方面的能力差一下,这样能够更好促进模型不断地优化,训练出能力更强地模型。原创 2024-04-21 12:28:46 · 395 阅读 · 0 评论 -
XTuner多模态训练与测试
本文主要介绍使用XTuner进行多模态微调训练。原创 2024-04-20 18:06:28 · 1130 阅读 · 0 评论 -
XTuner 微调个人小助手认知
本文主要讲解如何利用 XTuner 完成个人小助手的微调!为了能够让大家更加快速的上手并看到微调前后对比的效果,那我这里选用的就是上一期的课后作业:用QLoRA的方式来微调一个自己的小助手!我们可以通过下面两张图片来清楚的看到两者的对比。原创 2024-04-20 16:33:17 · 996 阅读 · 0 评论 -
XTuner 微调介绍
本文主要简单介绍微调地基础知识,以及开源微调框架 XTuner的使用。原创 2024-04-20 10:43:41 · 400 阅读 · 0 评论 -
Lagent & AgentLego 智能体应用搭建
Lagent & AgentLego 智能体应用搭建原创 2024-04-17 23:53:10 · 742 阅读 · 0 评论 -
Lagent & AgentLego 智能体介绍
本文主要介绍智能体相关基础知识,主流的智能体开源项目,重点介绍Lagent智能体和AgentLego框架原创 2024-04-16 22:12:21 · 381 阅读 · 0 评论 -
LMDoply部署实战
使用LMDeoply部署各类开源大模型,进行推理实践。原创 2024-04-10 22:47:19 · 916 阅读 · 0 评论 -
LMDeploy 推理部署工具
LMDeploy由MMDeploy 和 MMRazor 团队联合开发,时涵盖了LLM任务的全套轻量化,部署和服务解决方案。核心功能包括高效推理,可靠量化,便捷服务和有状态推理。原创 2024-04-09 21:54:33 · 317 阅读 · 0 评论 -
RAG基础知识及应用
茴香豆是一个基于LLMs的领域知识助手,由书生浦语团队开发的大模型应用。原创 2024-04-08 21:31:18 · 277 阅读 · 0 评论 -
茴香豆 RAG 智能助理 搭建
使用茴香豆开源工程,搭建自己的RAG智能助手原创 2024-04-08 21:12:39 · 1082 阅读 · 0 评论 -
书生 浦语 大模型趣味 Demo
书生 浦语 大模型趣味 Demo,包括1.8B 八戒模型,lagent智能体,笔灵模型等Demo部署体验原创 2024-04-02 22:44:28 · 654 阅读 · 0 评论 -
InternLM 技术报告解读(一)- 训练框架,模型架构,数据处理
大型语言模型的发展包括预训练、监督微调(SFT)和基于人类反馈的强化学习(RLHF)等主要阶段。过去关于LLM的技术报告很少关注预训练数据的处理。InternLM2详细描述了如何为预训练 准备文本、代码和长文本数据。如何有效地延长LLM的上下文长度目前是研究的热点,因为许多下游应用,如检索增强生成(RAG)和代理模型 ,依赖于长上下文。本次技术报告就详细的阐述关于数据处理,预训练以及微调模型的技术细节原创 2024-03-30 11:26:23 · 683 阅读 · 0 评论 -
InternLM 全链路开源体系
书生 浦语全链路开发体系:从数据到最后的应用,都有相应开源工具,其中模型,和数据集都有很好的开源支持。原创 2024-03-30 10:45:29 · 244 阅读 · 0 评论 -
AIGC - 环境搭建
1. 超微7048主板,最多可搭载4块GPU2. 2个Intel的 Xen至强 14核 CPU3. 目前安装了一块Nvidia 的P40 GPU,后续根据需要还最多可以扩展3块GPU4. 4T机械 + 2T Nvme固态,5. 4条64G DDR4内存条,共 196G内存。原创 2023-12-14 16:53:04 · 424 阅读 · 0 评论 -
AIGC - Qwen大模型:Qwen-7B模型推理部署
作为AIGC方面的小白来说,我抱着非常天真的想法,想让它在我的工作笔记本上用i5的CPU去跑,至于为什么这么想,当然是因为我没有GPU,身边也没有其他的带显卡电脑恰好,在腾讯云看到了GN7的显示优惠活动,60块钱15天,Nvidia T4的AI卡,直接斥巨资购买了15天;不过这段时间准备搭一台自己用的服务器,初步计划是可以插4块GPU,内存上到200G,还是用DeepSpeed做下全量训练啥的。原创 2023-10-31 21:01:48 · 1766 阅读 · 0 评论 -
AIGC - 大模型训练(一)- en_to_zh:基于原生transformer训练英译中模型
基于原生transformer实现,在一块T4 GPU上训练,预计时间是5天完成10个epoch的训练一. 模型原理架构此模型的实现,主要基于pytorch实现的原生transformer,使用AI Challenger Translation 2017数据集 中的train.en和train.zh 来训练。原创 2023-10-21 23:29:43 · 202 阅读 · 0 评论 -
AIGC - ChatGLM大模型:ChatGLM2-6B模型推理部署
作为AIGC方面的小白来说,我抱着非常天真的想法,想让它在我的工作笔记本上用i5的CPU去跑,至于为什么这么想,当然是因为我没有GPU,身边也没有其他的带显卡电脑恰好,在腾讯云看到了GN7的显示优惠活动,60块钱15天,Nvidia T4的AI卡,直接斥巨资购买了15天并且为了方便访问模型资源,我这里选择了新加坡的节点。原创 2023-10-09 10:56:50 · 371 阅读 · 0 评论 -
AIGC - 大模型:InternLM 模型部署
作为AIGC方面的小白来说,我抱着非常天真的想法,想让它在我的工作笔记本上用i5的CPU去跑,至于为什么这么想,当然是因为我没有GPU,身边也没有其他的带显卡电脑恰好,在腾讯云看到了GN7的显示优惠活动,60块钱15天,Nvidia T4的AI卡,直接斥巨资购买了15天并且为了方便访问模型资源,我这里选择了新加坡的节点。原创 2023-09-28 15:08:37 · 423 阅读 · 0 评论 -
一个小白如何学习AIGC,并产出自己的应用
去年的Chat GPT着实掀起了通用模型人工智能的浪潮,以至于今天国内无数厂商跟进,各种大模型开始疯狂内卷,虽然技术还有各种的缺陷,但是从第一性原理出发去看待这个事情,最终无论AIGC以何种形势发展,但是最终能更好的提高人的工作,生产效率的东西,一定是最终的方向。这一切的一切,让一名不太优秀的嵌入式工程师,萌生了踏入AIGC领域的想法。第一步计划,熟悉所有目前的开源模型,DEMO跑通。废话不多说,在写这篇博客的时候,其实已经开干了。人如果没有梦想,和咸鱼有什么区别呢。原创 2023-09-27 23:36:27 · 184 阅读 · 0 评论