bluewelkin的专栏

知识图谱 DeepKE

neo4j增删改查 常见查询语句。2、查询某个知识图谱的全部。1、查询所有节点和关系。

知识图谱 微软rag搭建

【代码】知识图谱4：light-rag搭建。

知识图谱3：openSPG搭建。

知识图谱的每个节点和边通常都有明确的语义定义，代表概念及其关系，这体现了符号主义的特征。例如，知识图谱可以使用语义网技术（如 RDF 和 OWL）来描述数据，这是一种符号主义的方法，它允许逻辑推理和复杂查询。不同的数据存储方式，比如使用 Redis 来实现简单的图数据库、在关系数据库中用外键关联、或使用 URI 进行语义互联，都反映了不同的设计取舍。知识图谱在结构上确实呈现为网络图，节点之间的关系通过边连接起来，表现出某种连接主义的特征。节点之间的连接可以看作是信息的关联与流动，类似于神经网络的连接。

【代码】知识图谱1：neo4j的安装。

1、第一步async: 2.4.0audio_recorder: 1.0.22、点击右上角 更新大部分红线没有了卡在3、运行在模拟器里面Running Gradle task 'assembleDebug'...

大模型20：大模型微调 总结。

有监督微调（SFT）、奖励模型（RM）训练，以及基于人类反馈的强化学习（RLHF）训练。

PEFT是一种优化微调大模型的技术，目标是在减少训练参数量的同时仍然能够取得良好的微调效果。：通过将模型权重矩阵进行低秩分解，只微调低秩矩阵，从而减少计算量。Adapter：引入额外的小规模网络层（适配器层），只微调这些层，保持原模型的主要参数不变。：在模型的输入序列前添加可学习的前缀向量，并仅微调这些前缀。

大模型 微调Fine-Tuning 方法

架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于。

大模型训练和推理优化框架是提升模型性能和效率的重要工具，特别是在资源有限或需要大规模部署的场景中。

Transformer学习笔记（下），手写实现Transformer_手写transformer-CSDN博客

大语言模型的分布式预训练是一种将模型训练任务分布到多个计算节点上，以提高训练效率和处理更大数据集的方法。- 将模型的不同部分（通常是网络层）按顺序分配到不同的计算节点，并使用流水线技术让每个节点并行地处理不同的输入数据，以提高计算效率。通过分布式预训练，可以更有效地利用计算资源，训练出更大、更复杂的语言模型，提高模型的性能和应用范围。- **同步问题**：确保各个节点上的模型参数同步更新是一大挑战，尤其是在大规模训练环境下。- **通信开销**：不同节点之间的数据交换会带来通信开销，影响训练效率。

知识图谱 图数据库安装Dgraph

大模型部署ChatGLM-6B

待写。

待写。