- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习：模型评估方法与准则
有效的模型评估方法能够确保我们得到的评估结果是可靠和有效的。模型评估是机器学习中至关重要的一环。选择合适的评估方法和指标，可以帮助我们更精确地优化和迭代模型。希望本文能为你在机器学习项目中提供指导。
2024-10-18 15:36:14
624
原创 机器学习导论
机器学习作为人工智能的一个重要分支，其核心目标是使计算机能够通过数据学习，模拟人类的学习行为，从而获取新知识和技能。而深度学习，作为机器学习的子集，通过构建多层神经网络来模仿人脑的处理方式，近年来在图像识别、自然语言处理等领域取得了显著的成就。机器学习是一个不断发展的领域，随着技术的不断进步，其应用范围和深度也在不断扩大。希望本文能够帮助你更好地理解机器学习，并激发你进一步探索这个领域的兴趣。
2024-10-18 15:20:36
434
原创 书生浦语之：企业级知识库问答工具（茴香豆）
是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
2024-08-26 15:21:26
1033
原创 书生浦语之：手把手带你使用InternLM实现谁是卧底游戏
首先，在InternStudio平台上创建开发机。创建成功后点击进入开发机打开WebIDE。进入后在WebIDE的左上角有三个logo，依次表示JupyterLab、Terminal和Code Server，本节需要使用和。
2024-08-25 01:31:29
883
原创 书生浦语之：MindSearch CPU版部署Hugging Face Space实践
和相比区别是把internstudio换成了github codespace。随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。
2024-08-24 01:27:53
1001
原创 书生浦语之：InternVL 多模态模型部署微调实践
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
2024-08-23 17:53:06
672
原创 书生浦语之：LMDeploy量化部署实践
本文旨在对 LMDeploy 环境配置以及与 InternLM2.5 和 InternVL2 结合使用的相关内容进行实践总结。
2024-08-22 22:38:23
1138
原创 书生浦语之：使用MindSearch 快速部署个人搜索（InternStudio版）
MindSearch 是一个开源的 AI 搜索引擎框架，具有 Perplexity.ai Pro 的性能。您可以使用闭源 LLM（GPT、Claude）或开源 LLM（InternLM2.5-7b-chat）将其与您自己的 perplexity.ai 风格的搜索引擎一起部署。
2024-08-10 21:09:42
807
原创 书生浦语之：使用Lagent 自定义你的 Agent 智能体
本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承BaseAction类实现简单工具的run方法；或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰；工具包内每个子工具的功能都需要被tool_api装饰下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。首先，我们先来创建工具文件：然后，我们将下面的代码复制进入'dongman', # 动漫。
2024-08-08 21:59:52
802
原创 书生浦语之：Lagent & AgentLego 智能体应用搭建（四）
在本节中，我们将基于 AgentLego 构建自己的自定义工具。AgentLego 在这方面提供了极具吸引力的文档，文档地址为。其中前二四步是必须的步骤。下面我们将实现一个调用 MagicMaker 的 API 以实现图像生成的工具。MagicMaker是汇集了优秀AI算法成果的免费AI视觉素材生成与创作平台。主要提供图像生成、图像编辑和视频生成三大核心功能，全面满足用户在各种应用场景下的素材视觉创作需求。体验更多多功能可以访问。1 创建工具文件首先通过的方法新建工具文件。2 注册新工具。
2024-08-05 15:07:05
466
原创 书生浦语之：Lagent & AgentLego 智能体应用搭建（三）
AgentLego所实现的目标检测工具是基于mmdet (MMDetection)算法库中的RTMDet-Large模型，因此我们首先安装mim，然后通过mim工具来安装mmdet。由于 AgentLego 的 WebUI 需要启用 LMDeploy 所启动的 api_server，我们首先按照下图指示在 vscode 终端中执行如下代码使用 LMDeploy 启动一个 api_server。如下图所示，我们上传了演示图片，模型成功地调用了工具，并详细地告诉了我们所讲的内容。然后配置工具，如下图所示。
2024-08-05 14:38:34
649
原创 机器学习之无监督学习算法：k-means聚类算法
为了克服这些缺点，可以考虑使用其他聚类算法，如层次聚类、密度聚类或基于模型的聚类。此外，可以采用一些优化技术，如优化初始聚类中心的选择或使用各种评估指标来选择最佳的聚类数。K-均值聚类算法是一种经典的无监督学习算法，用于将数据点分成不同的类别。它的主要思想是通过最小化数据点与聚类中心之间的平方距离来确定数据点的分类。
2024-08-05 01:48:38
391
原创 书生浦语之：Lagent & AgentLego 智能体应用搭建（二）
在本节中，我们我们接上一篇基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。
2024-08-05 01:42:16
325
原创 书生浦语之：Lagent & AgentLego 智能体应用搭建（一）
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器。
2024-08-05 01:22:41
800
原创 书生浦语之：XTuner多模态LLM的训练与测试
在本节中，我们将自己构造数据对，基于InternLM2_Chat_1.8B这个文本单模态模型，使用LLaVA方案，训练一个给InternLM2_Chat_1.8B使用的图像投影仪文件。LLaVA方案中，给LLM增加视觉能力的过程，即是训练Image Projector文件的过程。该过程分为2个阶段：Pretrain和Finetune。
2024-07-30 18:02:07
666
原创 书生浦语之：LangGPT结构化提示词编写实践
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。：利用LangGPT优化提示词，使LLM输出正确结果。
2024-07-29 01:02:32
354
原创 书生浦语之：OpenCompass 评测 InternLM-1.8B 实践
OpenCompass2.0，又称“司南”，是由上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系。其主要是用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-07-27 13:49:08
899
原创 书生浦语之：InternLM + LlamaIndex RAG 实践
（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型）正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。在使用开源词向量模型构建开源词向量的时候，需要用到第三方库。运行以下指令，新建一个python文件。将InternLM2 1.8B引用出来。之后运行该python文件。新建一个python文件。新建python文件。
2024-07-27 01:47:05
471
原创 书生浦语：XTuner 微调个人小助手
1、创建虚拟环境要先创建一个虚拟环境。使用Anaconda创建一个名为xtuner0117的虚拟环境，可以直接执行命令。# 创建虚拟环境# 激活虚拟环境# 安装一些必要的库2、安装 XTuner虚拟环境创建完成后，就可以安装 XTuner 了。首先，从 Github 上下载源码。# 创建一个目录，用来存放源代码其次，进入源码目录，执行安装。# 进入到源码目录# 执行安装如果速度太慢可以换成3 、模型准备软件安装好后，我们就可以准备要微调的模型了。
2024-07-26 16:50:19
680
原创 书生大模型全链路开源开放体系笔记
通过这样的全链路开源开放体系，书生大模型可以吸引更多的开发者参与到其发展和应用中，推动大模型技术的广泛应用和创新。这样可以让开发者更好地理解模型的训练过程，并且在某些情况下，可以使用这些数据进行进一步的训练或微调。1. 模型架构开源：书生大模型的架构可能会被开源，包括模型的结构、参数设置等。3. 代码开源：与模型相关的代码，包括训练代码、推理代码等，可能会在开源平台上共享。4. 工具和库的提供：为了方便开发者使用书生大模型，可能会提供一系列的工具和库，例如模型转换工具、部署工具、API接口等。
2024-07-24 23:21:13
217
原创 8G 显存玩转书生大模型 Demo
InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.# 与 studio-conda 等效的配置方案。# save_dir是模型保存到本地的目录。6.1、生成一则300字左右的故事。3、将如下代码复制进。# 创建保存模型目录。
2024-07-24 15:19:52
514
原创 InternLM 大模型学习之闯关：第2关
实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。任务2:debugger进行任务1中wordcount函数的调试。第四步：依次按顺序循环执行，直到结束，返回字典中各单词及计数个数。第三步：监视文本读取后去除标点符号并转换为小写。第二步：依次打断点，监视读取的文本内容。第一步：启动debug。
2024-07-12 00:49:23
198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人