wengad的博客

这种转变不仅拓宽了语言模型的应用场景，也使其变得更加智能，成为了连接多种信息形式的桥梁，为未来的人工智能发展开辟了新的可能性。到了2020年，我有幸主导了AI中台的研发工作，这使我对数据标注流程、训练工艺、AI平台架构等及其在企业级应用中的重要性有了更加深刻的理解。希望我的经历能给同样热爱AI的朋友们带来些许启发，让我们携手共进，在追逐梦想的路上越走越远。除了核心的大模型外，书生浦语还配备了一整套完善的工具链，涵盖了从模型部署、模型推理优化、模型量化、模型评测、Agent、多模型支持等的各个环节。

Harbor 是一个开源的 Docker registry 服务器，由 VMware 开源并捐赠给 CNCF（云原生计算基金会），它基于 Docker 分布式应用程序框架构建。Harbor 扩展了 Docker Registry 的功能，增加了安全性、标识和管理特性，使其更适合企业使用。

NVIDIA 驱动程序（NVIDIA Driver）是专为 NVIDIA 图形处理单元（GPU）设计的软件，它充当操作系统与硬件之间的桥梁，使得计算机能够正确识别和使用 GPU 的功能。为了使用 CuDNN，你需要先安装 CUDA Toolkit，然后下载并安装与你的 CUDA 版本相匹配的 CuDNN 库。ubuntu 24.04与nvidia有专门的支持，若通过到nvidia官网下载的版本来安装，不能使用，需要通过系统的软件和升级功能来安装 ，Additional Drivers，选择一个版本来安装。

本文基于langchain 0.3.4，使用langchain_openai连接大模型，调用大模型对话功能。

本文通过apipost来连接openai的标准接口

MindSearch 是一个由上海人工智能实验室推出的开源 AI 搜索引擎框架,具有与 Perplexity.ai Pro 相同的性能。本文以 InternStudio 算力平台为例，来部署 CPU-only 的 MindSearch。

基于Cuda12.2-conda镜像，在30% A100下实现。

LlamaIndex是一个数据框架，它主要用于连接大型语言模型（LLMs）与外部数据源，例如API、PDF文档、SQL数据库等。这个框架的设计目的是为了增强LLM的能力，使其能够理解和生成更准确、更有上下文关联的文本，尤其是在涉及私人数据或特定领域知识的情况下。LlamaIndex通过创建索引结构来组织和访问数据，这样可以更高效地检索相关信息并将其提供给LLM。这些索引可以是列表索引、向量索引、树索引或关键词索引等，具体取决于数据类型和需求。

尽管PMP和CMMI都对项目管理和组织绩效有积极影响，但它们的作用范围不同。PMP专注于单个项目的有效管理，而CMMI则着眼于整个组织的过程改进。实际上，在许多成功的组织中，两者往往是相辅相成的。拥有PMP认证的专业人员可以在具体项目中运用他们的技能，而CMMI则为这些项目提供了一个更广泛的、持续改进的环境。

LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，本文采用LangGPT 进行结构化提示词设计，让internlm2-chat-1_8b能够正确比较浮点数。（注意：估计1.8B的对话能力比较弱，别把模型带偏了：））本文使用书生浦语的开发机环境InternStudio来部署模型与实验。

走在这样的清晨，每一步都踏着柔软的落叶，每一步都感受着大自然赋予的美好。无论是那一缕温暖的阳光，还是那片轻柔的云朵，亦或是那阵轻轻的微风，都在提醒我们：珍惜此刻，享受生活中的每一个瞬间。阳光透过树梢，斑驳地洒在地上，形成一片片温暖的光影。那些云，不再是夏天厚重的积雨云，而是轻盈飘逸的白云，它们在空中悠闲地漫步，时而聚拢，时而散开，像一群群自由的旅者，在蔚蓝的天幕上演绎着无声的故事。天空还残留着夜色的余温，但东方的地平线上已经泛起了淡淡的橙黄，如同画家在画布上轻轻点染的第一笔，预示着新的一天即将拉开序幕。

这个是internLM的3期训练营的通关笔记。

此时会有弹窗提示输入ssh链接命令，回车后还会让我们选择要更新那个ssh配置文件，默认就选择第一个就行（如果你有其他需要的话也可以新建一个ssh配置文件）。点击VSCode侧边栏的“Run and Debug”（运行和调试），然后点击“Run and Debug”（开始调试）按钮，或者按F5键。打开vscode，点击左侧的extensions菜单，在搜索框中输入remote-ssh,选择第一个，点击“install”点击代码文件的左侧，要打断点的行，点击后，出现红点，即可。选择后，执行一遍，确认可以运行。

InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。那么我们使用开发机为什么要进行端口映射呢？

数据产品是指利用现代信息技术，如大数据、云计算、人工智能等手段，对原始数据进行采集、清洗、整合、分析，并封装成易于使用的服务或应用的产品形态。高度集成化，将复杂的数据处理流程封装，提供简单易用的界面；智能化，内置高级分析算法，能自动发现数据规律和洞察；定制化，可根据不同行业和企业需求进行灵活配置。

模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k。使用30% A100 来运行chatglm3模型，采用lmdeploy来启动。启动后，运行在127.0.0.1的23333端口，使用的是fastAPI服务器。直接采用lmdeploy chat启动并对话交互。注：具体的API可以访问23333端口来查看。requirenments.txt 内容。用于从魔搭下载chatglm3模型。通过curl来方式这个api。

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

幻觉：模型因为训练数据的不能全覆盖性，导致模型可能会生成虚拟信息时效性：用于模型训练的数据过时了，无法反馈最新的趋势和信息等。可靠性：当模型遇到复杂任务式，可能出现错误输出，无法被信任智能体定义智能体能够感知环境中的动态条件，进而能采取动作影响环境，同时能够运用推理能力理解信息、解决问题、生成推断、决定的动作。智能体的范式：AutoGPT、ReWoo、ReAct这里我们使用天气查询API,为了获得稳定的天气查询服务，我们首先要获取 API KEY。

同样，在https://studio.intern-ai.org.cn/console/instance上做实验，使用50%的A100来实验。

使用书生·浦语的XTuner对书生·浦语 LLM 1.8B模型进行微调，实现其自我认知的改造；并将微调合并后的模型提交到openxlab仓库中；基于书生·浦语LLM1.8B，训练一个llava模型，能够对图片进行解读（注意不是生成图片）