![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
书生·浦语大模型
文章平均质量分 76
H1356414643
这个作者很懒,什么都没留下…
展开
-
LLama3 大模型安装配置详细步骤
因此,pip install -e . 的含义是:在当前目录下安装一个包,并创建一个软连接引用该包(而不是将包复制到 site-packages 目录下)。这个软连接是一个指向包代码的符号链接,它可以使包的修改直接反映到当前目录下的项目中,从而方便开发和调试。需要注意的是,只有包含 setup.py 文件(Python 包的打包脚本)的包才能使用 pip install -e . 命令安装。pip install -e . 是 pip 命令的一种使用方式,它表示在当前目录下安装一个可编辑包。原创 2024-05-01 00:22:12 · 800 阅读 · 0 评论 -
OpenCompass 大模型评测有哪些
Open Compass的执行流程和自建数据集的方法,包括PARTITIONER、open fl、runner、SUMMARIZER和tasks等文件的关注点,以及如何进行分片和执行任务,需要关注PARTITIONER、RUNNER、SUMMARIZER和TASKS文件。open pass评测工具的全面升级,包括工具链、基准、榜单、自定义数据集和多模态评测等功能,以及开放共享的基准社区和自研数据集。画重点:获得Meta官方推荐,欧拉评测体系已广泛用于头部研究机构,是唯一国产评测体系牛逼。原创 2024-04-23 23:50:20 · 179 阅读 · 0 评论 -
Lagent&AgentLego 智能体应用搭建
什么是智能体:可以感知,思考推理,动作。原创 2024-04-23 00:01:22 · 765 阅读 · 0 评论 -
XTuner 微调 LLM:1.8B、多模态、Agent
使用场景:让基座模型学习一些新的知识,如垂直类型领域的知识。使用场景:让模型学会对话模板根据人类的指令进行对话。训练数据:高质量的对话,问答数据。原创 2024-04-20 21:47:58 · 278 阅读 · 0 评论 -
大模型如何部署-LMDeploy
在没有使用Batch Size之前,网络在训练时,是一次把所有的数据(整个数据库)输入网络中,然后计算它们的梯度进行反向传播,由于在计算梯度时使用了整个数据库,所以计算得到的梯度方向更为准确。大模型面临的挑战大计算,大,计算量巨大,根据internLM2技术报告,提供的模型参数数据,以及OpenAI团队提供的计算估算方法,20B的模型每生成一个token,要进行406亿次浮点运算,因此计算,若生成128个token,就要进行5.2万亿次运算。模型部署的概念:软件中将开发完毕的软件投入使用的过程。原创 2024-04-17 23:32:52 · 551 阅读 · 0 评论 -
RAG是什么如何搭建RAG-----InternLM实战营第二期
RAG:工作原理 将知识源如文档或者网页分割成向量并且存储在数据库中 Vector-DB ,接收到用户的问题后,讲问题也编码成向量,并在向量数据库中找到与之最相关的文档块(top-k chunks),将检索到的文档块与原始问题一起做为提示(prompt)输入到LLM中,生成最终的回答.RAG技术概况(retrieval Augmented Generaton)是一种结合了检索和生成的技术,旨在通过利用外部知识库来增强的LLMs的性能。茴香豆是一个基于LLMS的领域知识助手,由书生普语团队开放的大模型应用。原创 2024-04-10 21:59:24 · 521 阅读 · 0 评论 -
InternLM实战营第二期---Demo部署笔记
书生·浦语大模型实战营第二期部署笔记原创 2024-04-03 01:04:10 · 361 阅读 · 0 评论