- 博客(135)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Embedding评估榜单MTEB
MTEB——海量文本嵌入基准测试（MassiveTextEmbeddingBenchmark）中文榜单（截至 2024/10/30）提供了一组人工编写和机器生成的摘要。目的是给机器生成的摘要进行打分，对每个机器生成的摘要嵌入，计算与所有人类摘要嵌入的距离。最接近的分数被保留并用作单个机器生成摘要的模型分数。
2024-10-30 11:20:45
257
原创 llama3 implemented from scratch 笔记
在完成第 0 层注意力机制的最后一步是，将注意力输出与权重矩阵相乘。具体来说，我们将最终的注意力输出矩阵与权重矩阵相乘，生成最终的注意力输出。这是一个简单的线性层，所以我们只需要进行矩阵乘法（matmul）。我们现在有了注意力机制之后的嵌入值变化，这应该加到原始的标记嵌入值上。我们将使用输出解码器将最终嵌入解码成令牌根据《银河系漫游指南》这本书，42 是“生命、宇宙以及一切的终极问题的答案”。所以大多数 LLMs 在这里都会回答 42.
2024-10-09 22:54:29
512
原创 茴香豆：企业级知识库问答工具
茴香豆 是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
2024-08-26 22:46:19
1184
原创 MindSearch 部署
按照教程，将 MindSearch 部署到 HuggingFace 并美化 Gradio 的界面，并提供截图和 Hugging Face 的Space的链接。
2024-08-26 12:39:04
1191
原创 （第三期）书生大模型实战营——InternVL(冷笑话大师)部署微调实践
Pixel Shuffle在超分任务中是一个常见的操作，PyTorch中有官方实现，即nn.PixelShuffle(upscale_factor) 该类的作用就是将一个tensor中的元素值进行重排列，假设tensor维度为[B, C, H, W], PixelShuffle操作不仅可以改变tensor的通道数，也会改变特征图的大小。对于输入的图片，首先resize成448的倍数，然后按照预定义的尺寸比例从图片上crop对应的区域。这里我们也为大家准备好了可以直接进行微调的数据集。进入XTuner目录。
2024-08-21 10:55:04
1297
原创 （第三期）书生大模型实战营——OpenXLab部署InternLM2实践——上传模型
OpenXLab 使用你在平台的用户名作为 Git的用户名，具体获取路径，可登录 OpenXLab 后，点击个人头像下的 【账号与安全】查看个人的用户名。
2024-08-20 21:28:05
552
原创 （第三期）书生大模型实战营——Lagent自定义你的Agent智能体
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv搜索Bing地图Google学术搜索Google搜索交互式IPython解释器IPython解释器PPTPython解释器在本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于。使用 Lagent 自定义工具主要分为以下几步：继承BaseAction类实现简单工具的。
2024-08-12 13:08:36
855
原创 （第三期）书生大模型实战营——OpenCompass评测InternLM-1.8B
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-08-04 09:42:45
936
原创 git lfs使用（huggingface下载大模型文件）-教程记录
写的比较清楚的教程，用于之后有需求时查找用：https://blog.csdn.net/flyingluohaipeng/article/details/130788293
2024-08-02 18:57:52
368
原创 （第三期）书生大模型实战营——浦语提示词工程实践
Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。
2024-07-30 14:02:48
491
原创 （第三期）书生大模型实战营——XTuner微调个人小助手
微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。
2024-07-29 13:41:13
1036
原创 vLLM——使用PagedAttention加速推理
vLLM是一个用于快速LLM推理和服务的开源库。vLLM 利用，可以有效地管理注意力键和值。PagedAttention 的 vLLM 重新定义了 LLM 服务的最新水平：它提供了比 HuggingFace Transformers 高 24 倍的吞吐量，而无需任何模型架构更改。
2024-07-26 10:22:28
1023
原创 VScode终端的conda有两个环境重叠
在用VScode对远程Linux服务器连接时候，终端出现类似于。然后重启VScode环境就回归正常了。
2024-07-19 17:22:14
526
原创 （第三期）书生大模型实战营——Python
选择debugger时选择python debuger。选择debug config时选择remote attach就行，随后会让我们选择debug server的地址，因为我们是在本地debug，所以全都保持默认直接回车就可以了，也就是我们的server地址为localhost:5678。很多时候我们要debug的不止是一个简单的python文件，而是很多参数，参数中不止会有简单的值还可能有错综复杂的文件关系,甚至debug一整个项目。这种情况下，直接使用命令行来发起debug会是一个更好的选择。
2024-07-19 11:11:41
310
原创 （第三期）书生大模型实战营——Linux+InternStudio
免费 A100 算力支持，由上海人工智能实验室主办的书生大模型实战营第 3 期来啦！全新的升级打怪闯关学习模式，让学习既富挑战性又充满乐趣。前沿优质的课程内容，涵盖了大模型的入门、基础和进阶知识，带你从入门到进阶，大模型时代不迷航！
2024-07-19 09:51:44
648
原创 远程连接VScode到云服务器 ECS
再次远程连接，仍会出现无法连接的错误，这里发现本地的VScode的扩展项有问题，因此将本地VScode重新更新并重新安装扩展项。VScode已安装。
2024-07-17 12:22:21
517
原创 Faiss原理和使用
给定一组维度为ddd的向量x1xnx1...xn，Faiss会在RAM中构建一个数据结构。构建结构之后，当给定一个维度为ddd的新向量xxxiargmini∣∣x−xi∣∣iargmini∣∣x−xi∣∣其中，∣∣⋅∣∣||\cdot||∣∣⋅∣∣是欧几里得距离(L2)。在Faiss术语中，数据结构是一个索引，一个具有add方法以添加x_i向量的对象。注意，x_i的维度被假定为固定的。
2024-07-12 16:59:42
1526
原创 LangChain Cookbook Part 2
LangChain 和 LLM 最常见的用例之一是摘要。您可以总结任何一段文本，但用例范围从总结通话、文章、书籍、学术论文、法律文件、用户历史记录、表格或财务文件。拥有一个可以快速总结信息的工具非常有用。对于短文摘要，方法很简单，实际上，除了简单的提示和说明之外，你不需要做任何花哨的事情llm = ChatOpenAI(temperature = 0) # 创建模板 template = """%TEXT:{text}
2024-07-12 11:48:34
1181
原创 win10安装visual studio C++ build tools
在windows环境下，python有时需要调用Microsoft Visual C++ compiler编译器，尤其是在安装第三方包时候，会build项目，这时如果没有安装或者安装不协调的c++构建工具就会报错。经过了很多次尝试，使用VisualStudio Setup安装Visual Studio生成工具 2022暂时解决了问题（我还安装了Visual C++ 编译器，否则还是无法解决问题）。普适性的解决方案还需要探索。
2024-07-12 11:46:17
961
原创 LangChain Cookbook Part 1
LangChain是一个由语言模型驱动的应用程序框架。集成（Integration）-将外部数据（例如你的文件、其他应用程序和API数据）带到你的LLMs里代理（Agency）-允许你的LLMs通过决策与其环境进行交互。使用LLM来帮助决定下一步要采取什么行动。轻松浏览大量长文档并获得摘要。观看此视频了解除 map-reduce 之外的其他链类型[32;1m[1;[32;1m[1;[32;1m[1;
2024-07-12 10:06:25
1972
原创 L4 Persistence and Streaming
参考自https://www.deeplearning.ai/short-courses/ai-agents-in-langgraph，以下为代码的实现。
2024-07-10 14:55:40
477
原创 在Pycharm中把jupyter notebook转换成md格式
将其变成ipynb文件（需要下载Jupyter，nbconvert，pandoc），同理，也可以转换成markdown格式或其它。这里实际上是用的nvconvert。
2024-07-08 23:11:05
354
原创 Locust的使用方法
参考自Locust是易于使用的分布式性能测试框架，使用协程的方式模拟用户请求，这与LoadRunner和Jmeter这类采用进程和线程的测试工具不一样，由于线程之间的切换是需要占用资源的，IO的阻塞和线程的sleep会不可避免地导致并发效率下降，所以这类测试工具很难在单机上模拟出较高的并发压力。协程是在用户态完成的，上下文切换的代价远比线程切换代价小得多，因此在单机上Locust能够达到更高数量级的并发。
2024-07-03 16:16:48
835
原创 Python异步IO之协程
参考自仓库协程（coroutine）在多任务协作中体现的效率又极为的突出。Python中执行多任务还可以通过多进程或一个进程中的多线程来执行，但两者之中均存在一些缺点，因此引出了协程。在计算机中CPU的运算速率要远远大于IO速率，而当CPU运算完毕后，如果再要闲置很长时间去等待IO任务完成才能进行下一个任务的计算，这样的任务执行效率很低。所以需要有一种异步的方式来处理类似任务。
2024-07-03 14:16:02
749
原创 ChatGLM3-6B部署
参考services: # 开始定义服务列表glm3_api: # 服务名称为 glm3_apiimage: python:3.10.13-slim # 使用的 Docker 镜像是 python 3.10.13-slim 版本restart: unless-stopped # 容器停止时除非明确停止，否则会尝试重启working_dir: /glm3 # 设置容器内的工作目录为 /glm3container_name: glm3_api # 给容器设置一个名称 glm3_api。
2024-07-02 20:49:17
1567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人