- 博客(28)
- 收藏
- 关注
RSS订阅原创 【**倒计时，人工智能的ASI时代几年内将至-samaltman深夜发文预言**】
进步的故事将继续下去，我们的孩子将能够做我们做不到的事情。我们可以谈论很多接下来可能发生的事情，但最主要的是，人工智能将随着规模的扩大而变得更好，这将为世界各地人们的生活带来有意义的改善。这是看待人类历史的一种狭隘方式：经过数千年的科学发现和技术进步，我们已经知道如何熔化沙子，添加一些杂质，以惊人的精度在极其微小的规模上将其排列成计算机芯片，并通过它运行能量，最终得到能够创造出越来越强大的人工智能的系统。凭借几乎无限的智慧和丰富的能源——产生伟大想法的能力，以及将其付诸实践的能力——我们可以做很多事情。
2024-09-24 14:58:35
1002
原创 【#第三期实战营闯关作业 ## 茴香豆：企业级知识库问答工具】
今天学习了《 茴香豆：企业级知识库问答工具》这一课，对大模型的应用有了更深得认识。以下是记录本课实操过程及截图：搭建茴香豆虚拟环境：输入以下命令成功安装虚拟环境截图安装茴香豆cd /root。
2024-09-06 08:05:44
837
原创 【#第三期实战营闯关作业##InternVL 多模态模型部署微调实践 】
这几天学习了《InternVL 多模态模型部署微调实践 》一课，进一步体会到了xtuner微调大模型的巨大威力，以及微调在大模型部署到应用中的关键作用。以下是记录复现过程及截图：首先，根据老师的讲解，解释一下internVL InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
2024-09-04 14:12:07
918
原创 【#第三期实战营闯关作业 ## MindSearch在 Hugging FaceSpace的部署】
git remote set-url space https://<你的名字>:<上面创建的token>@huggingface.co/spaces/<你的名字>/<仓库名称>6 将 /root/mindsearch/mindsearch_deploy 目录下的文件用 git提交到 HuggingFace Space 即可完成部署了。git clone https://huggingface.co/spaces/<你的名字>/<仓库名称>这是部署huggingface space上的截图。
2024-09-01 22:55:06
911
原创 【#第三期实战营闯关作业 ## MindSearch CPU-only 版部署】
登录github网站，打开codespace主页，选择blank template，浏览器自动在新的页面打开一个web版的vscode。这是进阶闯关的最后一课，把MindSearch 部署到Github Codespace 和 Hugging Face Space，这是一种新的痛并快乐的体验，亦因i踩了不少坑。由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。install其它依赖包。这是github的部署。
2024-08-31 23:35:07
301
原创 【第三期实战营闯关作业##LMDeploy 量化部署进阶实践】
2、kv cache 占用 16.4GB是这样得到的：（剩余显存）24-3.5 = 20.5GB，kv cache默认占用 80%，即 ：20.5*0.8 = 16.4GB。2、kv cache占用8GB：剩余显存24-14=10GB，kv cache默认占用80%，即10*0.8=8GB。因此 20.9GB=（权重占用）3.5GB+（kv cache占用）16.4GB +（其它项）1GB。因此23GB=（权重占用）14GB +（kv cache占用）8GB + （其它项）1GB。
2024-08-31 21:26:37
400
原创 【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】
以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006，然后就可以与模型尽情对话了，就是上面截图。今天学习了《LMDeploy 量化部署进阶实践》一课，，收获很大。运行InternLM2.5 -20B模型，会发现此时显存占用大约71G：单卡80G-2。创建好的conda环境并启动InternLM2_5-7b-chat。0.8=32G,so,（权重）2*20G+32G(cache占用）=72G.创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。
2024-08-30 23:22:19
426
原创 第三期实战营闯关作业七
晚上学习了《OpenCompass 评测 InternLM-1.8B 实践》这一课，进一步体会到司南平测系统的威力。创建opencompass环境。以上是评测过程，请佬指正。
2024-08-04 02:01:39
454
原创 【第三期实战营闯关作业六】
下午学习了《XTuner 微调个人小助手认知》这课，收获很大，初步认识了xTUner微调大模型的流程.。模型被转换为 HuggingFace 的HF格式。
2024-08-03 22:52:00
143
原创 #第三期实战营闯关作业四
今天学习了第四课《InternLM + LlamaIndex RAG 实践》，有了全新的收获，这是对我们初学者非常友好的一课。课程环环紧扣，逻辑性特强。InternLM + LlamaIndex RAG的结果。创建llamaindex的conda环境。这是此课实操的主要截图，恳请大佬们指正。安装python 依赖包。
2024-08-03 18:30:14
279
原创 #第三期实战营-基础岛-作业1
最后，"英特尔"在开源模型推理和部署工具方面的评测和发展趋势，以及智能体框架和多媒体多模态智能体工具箱的使用和开发，都显示出了开源社区的活力。而"书生万卷cc数据集"的开源，更是包含了2013年至2023年间的互联网公开内容，经过精细化的清洗和处理，为模型的训练和评测提供了宝贵的资源。"open compass 2.0思南大模型评测体系"的发布，标志着评测框架的开发和开源，以及评测基准社区的建立，这对于大模型能力的提升具有重要意义。它的发展史和特性，包括轻量级与重量级模型的不同能力，都值得我们深入探讨。
2024-07-25 23:22:01
337
原创 #第三期实战营-基础岛-作业2
这几天学习了基础岛第二节课《8G 显存玩转书生大模型 Demo》，并且使用 LMDeploy 完成 InternLM2-Chat-1.8B 模型的部署，收获颇丰。在LMDeploy上加载InternLM2-Chat-1.8B 模型并对话。InternLM2-Chat-1.8B 生成 300 字小故事。这是玩转书生大模型 Demo的主要过程，请大佬指正。验证开发机的conda环境。激活 LMDeploy。创建LMDeploy。
2024-07-25 21:30:20
288
原创 【# 第三期实战营闯关任务二 ## Python实现一个wordcount函数 】
root/.vscode-server/extensions/ms-python.debugpy-2024.0.0-linux-x64/bundled/libs/debugpy/adapter/…/debugpy/launcher: 这是debugpy调试器的启动脚本的路径。/root/.miniconda3/bin/python: 这是Python解释器的路径，看起来像是在用户的家目录下的Conda环境中。/root/demo/python_task1.py: 这是要调试的Python脚本的路径。
2024-07-15 23:05:09
390
原创 【第三期实战营闯关作业】
今天学习了 如何使用InternStudio开发机，以及掌握一些基础的Linux知识，重点是SSH连接与端口映射并运行hello_world.py，受益很深。hello_world.py文件运行成功。conda激活成功，创建demo。web UI的界面打开。
2024-07-10 16:52:20
367
原创 实战营学习-作业7
在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。列出所有跟 InternLM 及 C-Eval 相关的配置。面向GPU的环境安装`conda环境安装成功。
2024-06-27 20:14:58
369
原创 实战营学习笔记7
评测方法结合了客观评测和主观评测，客观评测通过定量指标比较模型输出与标准答案的差异，主观评测则依赖于人的主观感受，通过受试者的评分来评估模型的真实能力。OpenCompass ：是骡子是马，拉出来溜溜 开源可复现：提供一个公平、公开、可复现的评测方案，确保评测的透明度和公正性。工具架构分为模型层、能力层、方法层和工具层，其中能力层从通用能力和特色能力两个方面进行评测设计，方法层结合客观评测和主观评测两种方式。分布式高效评测：通过简单的命令实现任务分割和分布式评测，大幅提高评测效率。
2024-06-26 22:52:39
512
原创 【实战营学习-作业6】
这一节主要学习了Lagent & AgentLego 智能体应用搭建。Lagent Web Demo应用。首先是conda环境的搭建。
2024-06-26 16:17:09
376
原创 实战营学习-笔记6
算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。经过上面的介绍，我们可以发现，Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。tool[调用工具]
2024-06-24 23:08:44
314
原创 【实战营学习-作业5】
的一个推理引擎，是一个子模块。LMDeploy也可以使用pytorch作为推理引擎。二是：对模型进行量化。主要包括 __KV8__量化和__W4A16__量化。总的来说，量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。最近学习了第五课《LMDeploy 量化部署 LLM 实践》，其一是：LMDeploy是涵盖了LLM任务全套轻量化、部署和服务解决方案的集成功能包，使用LMDeploy运行视觉多模态大模型llava。在VScode中运行命令。
2024-06-23 23:00:41
208
原创 实战营学习笔记5
TurboMind与LMDeploy的关系：LMDeploy是涵盖了LLM任务全套轻量化、部署和服务解决方案的集成功能包，TurboMind是LMDeploy的一个推理引擎，是一个子模块。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。国内可以使用阿里巴巴的。
2024-06-23 19:04:02
473
原创 【实战营学习-作业4】
由于工作上的原因，延迟提交了作业，向老师道歉！创建配置文件config.py。安装缺失配置streamlit。配置web_demo的URL。这是conda环境配置成功。用提示词测试大模型性能。
2024-06-23 18:14:34
292
原创 实战营学习-作业3
最近，在深入学习书生浦语大模型全链路开源体系的第三课《茴香豆：搭建你的RAG智能助理》时，我遇到了一些挑战。今天，当我完成了后面的两节课后，我怀着敬畏的心情再次尝试了茴香豆的实操。这可能正是书生浦语老师的初衷，通过设置一些挑战性的问题，鼓励我们这些初学者更加积极地思考，从而真正掌握大模型的相关知识。这是安装基础环境配置截图在此安装中如果文件𣎴全就会报错，就踩了坑，如duckduckgo_search的模块没有安装，导致一直报错，原以为老师给的教程肯定没错，其实大概率是老师怕我们这些小白偷懒设的坑。
2024-06-15 23:27:25
343
原创 【实战营学习笔记4】
打破神话，重塑认知： 我最大的收获是认识到，尽管大语言模型（LLM）经过海量数据的洗礼，它们并不像人类一样拥有常识。只有当AI科学家们为它们设定了特定的问答模板，并用高质量的语料进行训练后，它们才得以展现出接近人类的问答能力。在汪老师的带领下，我们开启了一段探索大语言模型微调的奇妙旅程。汪老师以其独特的教学魅力，将那些看似遥远和抽象的理论转化为易于理解和掌握的知识，让我们在知识的海洋中畅游，豁然开朗。从准备开发环境、安装环境到实际操作，每一步都细致入微，确保我们能够跟随他的指导，一步步实现模型的微调。
2024-06-12 11:01:42
526
原创 实战营学习笔记3
在浦语大模型的第三课《基于Internlm和LangChain构建你的知识库》中，北辰老师以其生动有趣的风格，深入浅出地讲解了RAG（Retrieval Augmented Generation）的基本概念，并指导我们如何利用茴香豆搭建一个RAG助手。这样，即使模型本身是在旧数据上训练的，它也能利用RAG技术来访问和利用新信息，从而确保回答的实时性和准确性。北辰老师通过详细的步骤和生动的例子，让我们明白了如何利用茴香豆搭建一个RAG助手，从而使得语言模型能够与时俱进，提供更准确和全面的信息。
2024-06-02 10:19:53
761
原创 实战营学习笔记2
这几天，我有幸参加了任老师讲解的《轻松玩转书生浦语大模型趣味Demo》课程。课程内容非常吸引人，听的时候感觉理解了，但实际动手操作时，却发现自己走了不少弯路。文档是学习过程中不可或缺的一部分，它能帮助我们更深入、更准确地掌握知识。今后，我会更加注重文档的阅读和学习，以避免类似的问题再次发生。在这个平台上，我们不仅有机会深入学习前沿科技，还能与众多优秀的同伴共同进步。这真是人生中的一大幸事！这是布署好书生浦雨chat生成的一段文字。
2024-05-30 22:14:29
386
原创 实战营学习笔记1]
InternLM2是一个开源的大型语言模型，它在多个评估维度上超越了前身和其他开源模型。报告详细介绍了模型的开发过程、训练框架、数据准备方法和对齐策略，为社区提供了宝贵的资源和见解。此外，InternLM2还展示了其在多种下游任务上的强大性能，并提供了对数据污染问题的讨论。介绍了专用模型与通用模型的区别!评估和分析部分展示了InternLM2在多种下游任务上的性能，包括综合考试、语言和知识、推理和数学、编程、长文本建模和工具使用。最后，报告总结了InternLM2的主要贡献，并提供了对未来研究的见解。
2024-05-25 23:09:00
958
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人