- 博客(8)
- 收藏
- 关注
RSS订阅转载 深入理解GlusterFS之POSIX接口
（TaoCloud团队原创 作者：林世跃@TaoCloud）FUSE是用户空间的文件系统接口，FUSE内核模块为普通应用程序与内核虚拟文件系统VFS的交互提供了一个桥梁。基于FUSE用户空间模块，开发人员可以不必了解VFS内核机制就能快速便捷地开发POSIX兼容的文件系统交互接口。本文主要介绍GlusterFS基于FUSE的POSIX文件系统接口的实现机制和工作原理，给出通过修改FUSE读写数据块大小提升大I/O带宽性能的具体方法，并在分析FUSE瓶颈的基础上提出进一步的优化思路。FUSE项目简介
2024-07-04 17:56:32
24
原创 openmmlab 书生·浦语大模型 笔记/作业2 初体验
先安装modelscope把模型下载下来，这种安装都非常简单我直接把命令贴这里了，后面要运行程序顺便把pytorch cuda什么的都一起装上吧，直接pip install 就可以我就不往这里贴了，一般是没什么问题的除非你的机器配置不太正常modelscope安装好以后写个脚本把模型下载下来 download.py，不写脚本直接python -c下载也行就怕网不好shell断了这模型不大很快就下好了，写个demo.py测试一下能不能用加载模型的速度看硬盘了，模型本身不大不会用很长时间。
2024-05-22 00:43:31
260
原创 OpenMMLab 书生·浦语大模型实战 笔记/作业7 模型评测
主要是大海捞针，在很长的文本的某处插入一句话，最后根据这段话提问，看模型能不能答对。尽量描述清楚细节，目标明确，给出准确的概念不要歧义，给出思路引导或修改建议等。客观题如客观事实或选择题，主观题可以使用GPT4打分。也可以提供一些few-shot案例，或者使用CoT等。应用场景千变万化，模型能力持续演进，很难全面地评测。数据污染，海量训练语料可能包含了评测集。鲁棒，大模型对提示词敏感且输出不稳定。评测成本高，消耗大量算力和人工成本。
2024-05-19 23:29:32
203
原创 OpenMMLab 书生·浦语大模型实战 笔记/作业6 agent智能体
用户输入任务，将任务发送给对应的agent，执行后将任务和结果存入记忆，发送给另一个agent用于创建新的子任务，如此循环直到任务完成。一个轻量级agent框架，高效构建LLM智能体，支持多种智能体范式（autogpu,react）和工具(搜索，python解释器)如果LLM决定需要调用工具，进入Lagent逻辑，调用工具，有的多模态工具可以由AgentLego工具箱提供，最后得到工具的输出。接收用户输入后，选择工具并执行，然后思考是否需要继续选择下一个工具，直到任务完成。大脑：控制器，记忆 思考 决策。
2024-05-19 23:03:24
401
原创 OpenMMLab 书生·浦语大模型实战 笔记/作业5 量化部署
模型部署需要将训练好的模型运行在特定的环境里如：CPU/NPU，移动端等，对不同的平台可能还需要考虑硬件性能并做一些相关的优化。
2024-05-19 21:32:23
203
原创 OpenMMLab 书生·浦语大模型实战 笔记/作业3 搭建 RAG 智能助理
训练好的LLM对于新增的知识或概念无法进行回答（如：茴香豆助手），这时如果先收集数据然后通过微调等方式对模型进行再训练会遇到各种问题（如：知识更新太快，知识库太大，训练成本高），而使用RAG，直接将相关的信息从语料库里检索出来作为上下文输入给模型作为新增知识，简单快捷RAG全名检索增强生成，结合检索和生成，利用外部知识库增强LLM的性能，通过检索与输入相关的信息片段，结合这些信息使得生成的回答更准确更丰富，可以改善幻觉，知识过时等问题。
2024-05-19 19:20:39
391
原创 OpenMMLab InternLM2书生·浦语大模型实战 笔记1
书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili本文只截取一些重点简要概括，具体看原视频LLM的概念我就不解释了，LLM本质是对自然语言建模（通俗点说：鹦鹉学舌），InternLM2是一个自回归LLM（chatGPT也是），在很多评测基准上达到了不错的效果（PS打榜是一回事，落地应用做项目是另一回事），这里先记录一些视频中的要点参数规模应该是有 1.8B，7B，20B这几种，关于模型大小，如果硬件资源够的话尽量用大点的模型（不考虑训练是否充分和数据质量的情况下，越大的模型建模能力越强）
2024-05-19 17:29:42
786
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人