- 博客(17)
- 收藏
- 关注
RSS订阅原创 书生大模型-进阶关-第四关
本地版也可以通过编辑正反例来调整茴香豆的拒答和响应，正例位于 /root/huixiangdou/resource/good_questions.json 文件夹中，反例位于/root/huixiangdou/resource/bad_questions.json。本次教程选用的是茴香豆和 MMPose 的文档，利用茴香豆搭建一个茴香豆和 MMPose 的知识问答助手。
2024-10-07 20:21:59
373
原创 书生大模型-进阶关-第三关
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
2024-10-07 20:05:52
181
原创 书生大模型-进阶关-第二关
kv cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，kv cache可以显著减少重复计算量，从而提升模型的推理速度。理想情况下，kv cache全部存储于显存，以加快访存速度。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。LMDeploy的kv cache管理器可以通过设置–cache-max-entry-count参数，控制kv缓存占用剩余显存的最大比例。
2024-10-07 15:54:45
633
原创 书生大模型-入门关-第五关
该命令需要三个参数：CONFIG 表示微调的配置文件， PATH_TO_PTH_MODEL 表示微调的模型权重文件路径，即要转换的模型权重， SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。在 XTuner 中提供了一键合并的命令 xtuner convert merge，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。xtuner convert merge命令用于合并模型。
2024-10-06 16:20:57
369
原创 书生大模型-入门关-第四关
书生大模型-入门关-第四关Llamaindex RAG实践给我讲解一下Nvidia jetson系列有哪些产品(RAG前):给我讲解一下Nvidia jetson系列有哪些产品(RAG后):
2024-10-05 21:12:37
109
原创 书生大模型-入门关-第三关
在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction。提示工程是模型性能优化的基石，有以下六大基本原则：1.指令要清晰2.提供参考内容3.复杂的任务拆分成子任务4.给 LLM“思考”时间(给出过程)5.使用外部工具6.系统性测试变化。
2024-10-03 10:17:26
615
原创 书生大模型-入门关-第二关
具体来说，当你在本地访问 http://127.0.0.1:6006 时，请求会被转发到远程服务器的 127.0.0.1:6006，从而可以访问运行在远程服务器上的Streamlit应用程序。你使用 sshpass 和 ssh 命令设置了一个SSH隧道，将本地的 6006 端口转发到远程服务器的 6006 端口。-C 选项启用压缩，可以减少传输的数据量，适用于低带宽或高延迟的网络环境。127.0.0.1 是远程主机的地址，这里是指远程服务器上的本地回环地址。-g 选项允许远程主机连接到本地转发的端口。
2024-10-02 01:08:20
545
原创 书生大模型-入门关-第一关
书生大模型-入门关-第一关书生大模型全链路开源体系RAG文档拆分与预处理最新技术动态自适应分割：最新的研究显示，自适应地根据内容的语义重要性和信息密度来决定分割点，可以更好地保持上下文的连贯性和信息的完整性。多模态处理：对于包含图表、图片等非文本信息的文档，现代RAG模型能够集成多模态信息处理能力，提供更全面的理解。实现细节使用NLP库（如spaCy、Hugging Face的Transformers）进行高级文本分析，自动识别并分割文档。应用图像识别技术（如OCR）提取图片中的文
2024-10-01 23:05:07
326
原创 书生大模型-基础关-第二关
请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。Eg:Input:”“”Output:TIPS：记得先去掉标点符号,然后把每个单词转换成小写。不需要考虑特别多的标点符号，只需要考虑实例输入中存在的就可以。
2024-10-01 14:24:05
321
原创 书生大模型-基础关-第一关
L {本地机器_PORT}:127.0.0.1:{开发机_PORT}：这是设置本地端口转发，将本地机器的指定端口（由 {本地机器_PORT} 表示）转发到远程主机（这里即 ssh.intern-ai.org.cn）的 127.0.0.1 （即本地回环地址）和指定的开发机端口（由 {开发机_PORT} 表示）。所以为了解决这个问题，我们需要对运行web_demo的连接进行端口映射，将外网链接映射到我们本地主机，我们使用本地连接访问，解决这个代理问题。-g 允许远程主机连接到本地转发的端口。
2024-09-29 12:49:03
331
原创 RAG玄幻小说灵感创作大师
通过大量的都市玄幻小说素材进行RAG微调，希望能够输出有创意，且质量能够满足需求的都市玄幻小说的创作灵感。项目评估： 基于NIM平台的RAG极大程度的降低了各行业制作自身垂类模型的工作量，经过更多中文支持更好的模型加入后，以及更多的RAG材料加入，会产生出更好的内容。未来方向： 未来希望能够增加建议的GUI，主要还是基于更为强大的中文支持模型，进行RAG能够创作出更为完善，token更长的创作资料。附件与参考资料2024 NVIDIA开发者社区夏令营环境配置指南(Win & Mac)的补充说明。
2024-08-18 21:26:35
689
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人