Mystra

原创 PyTorch - 高效快速配置 Conda + PyTorch 环境 (解决 segment fault )

在配置算法项目时，因网络下载速度的原因，导致默认的 conda 与 pytorch 包安装缓慢，需要配置新的 conda 与 pip 源，以及下载安装 pytorch 环境。

原创 什么是热爱编程

看到下文, 感觉自己弱爆了, 要重新好好的”热爱编程”.95年的时候，我高中同学郭军买了一本Borland C++手册，我们两个人此后两年没机会碰真的电脑，没见过Tubro C更没见过Borland C++，生看这本书，看了两年，百看不厌。做不到，别轻易说，我热爱编程，热爱学习。97年，父母在高考前三天给我买了一台电脑，整个假期，全部在电脑面前度过，把VB的全部文档看完，自己学会VB，啃Delphi

原创 LLM - 理解 多模态大语言模型(MLLM) 的 幻觉(Hallucination) 与相关技术 (七)

多模态幻觉(Hallucination) 是多模态大语言模型的生成回复与图像内容不一致的现象。多模态幻觉包括 3 种类型，即：存在幻觉(Existence Hallucination)，最基本形式，模型错误地声称图像中存在一些对象。属性幻觉(Attribute Hallucination)，以错误的方式描述对象的属性，例如未能正确识别狗的颜色。通常与存在幻觉相关联，因为属性的描述是基于图像中存在的对象。关系幻觉(Relationship Hallucination)，更复杂的类型，也基于对象的存在，对象之间

原创 LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)

评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。

原创 LLM - 理解 多模态大语言模型(MLLM) 的 对齐微调(Alignment) 与相关技术 (五)

对齐微调 (Alignment Tuning)，通常用于需要将模型与特定人类偏好对齐的场景中，例如，在响应中包含更少的幻觉。目前，基于人类反馈的强化学习(Reinforcement Learning with Human Feedback, RLHF) 和 直接偏好优化(Direct Preference Optimization, DPO) 是对齐微调的两种主要技术。依次介绍这两种技术的主要思想，提供用于解决实际问题的示例，最后，给出相关数据集的汇总。

原创 LLM - 理解 多模态大语言模型(MLLM) 的 指令微调(Instruction-Tuning) 与相关技术 (四)

预训练(Pre-Training) 是 对齐不同模态和学习多模态的世界知识。指令(Instruction) 就是对于任务的描述，指令微调，教会模型更好地，理解用户的指令，并且完成所需的任务。通过这种方式调优，大语言模型(LLM) 可以通过跟随新的指令，泛化到未见过的任务，从而提高 零样本(Zero-Shot) 性能。

原创 LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)

完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。

原创 LLM - 理解 多模态大语言模型(MLLM) 的 架构(Architecture) 与相关技术 (二)

多模态大语言模型 (Multimodal Large Language Models, MLLM) 框架包括 3 个部分：预训练的模态编码器、预训练的 大语言模型(LLM)、连接模态的 接口(Interface)，也可以添加可选的 生成器(Generator) 到 LLM，用于生成除了文本之外的其他模态。

原创 LLM - 理解 多模态大语言模型(MLLM) 的 发展(Timeline) 与相关技术 (一)

多模态大语言模型 (Multimodal Large Language Models, MLLM)，例如 GPT-4V，使用 大语言模型 (LLM) 作为内核，执行多模态任务。常见多模态任务，包括看图讲故事、不需要 OCR 的数学推理等，同时，需要注意多模态 幻觉 (Hallucination) 的问题，以及扩展的多模态技术，如 多模态的上下文学习 (In-Context Learning)，多模态的思维链 (Chain of Thought) 等。

原创 ComfyUI - 自定义数据集 使用 LoRA 微调 图像生成 Flux 模型 (AI Toolkit)

在 Diffusion 图像生成框架中，使用 LoRA（Low-Rank Adaptation）微调，难点在于，需要精确控制模型参数的更新以避免破坏预训练模型的知识，同时保持生成图像的多样性和质量，这涉及到复杂的优化策略和计算资源的高效利用，以及在保持模型泛化能力的同时实现特定任务的微调，这通常需要大量的实验和调参来找到最佳的低秩矩阵和学习率，以确保模型在特定数据集上的性能提升。

原创 ComfyUI - 在 ComfyUI 中配置 Flux + LoRA 的组合流程优化图像属性

在 Diffusion 图像生成框架中，LoRA (Low-Rank Adaptation) 是用于模型微调的技术，通过在模型的权重矩阵中引入低秩结构来实现。这种方法，可以在不显著增加模型参数数量的情况下，有效地调整和优化模型的行为。具体来说，LoRA 通过在权重矩阵中添加一个小型的低秩矩阵，来调整原有的权重，从而实现对模型的微调。这样做的好处是可以保持模型整体参数量的可控性，同时允许模型在特定任务上进行更精细的调整，提高生成图像的质量和多样性。在 Diffusion 模型中，LoRA 可以应用于条件生成任

原创 LLM - GPT(Decoder Only) 类模型的 KV Cache 公式与原理 教程

在 GPT 类模型中，KV Cache (键值缓存) 是用于优化推理效率的重要技术，基本思想是通过缓存先前计算的 键(Key) 和 值(Value)，避免在推理过程中，重复计算 Mask 的 注意力(Attention) 矩阵，从而加速生成过程。

原创 ComfyUI - 使用 Joy Caption 模型 描述和打标 图像数据集 (Image Caption)

Joy Caption 模型 (由 Fancy Feast 研发) 在 SigLIP 和 Llama3.1 的基础之上，使用 Adapter 模式，训练出更好的描述图像的模型，需要与 SigLIP 和 Llama3.1 混合使用，输入图像，输出一段语义丰富的图像描述。

原创 LLM - 从头实现 LLaMA3 网络与推理流程 (RMS | RoPE | GQA | SwiGLU)

LLaMA3 是 Meta 的最新大语言模型，在整体网络设计进行多项升级，显著提升了模型的性能和效率，重要的改进：词汇量增加至 128k 个；使用 RMS Normalization，即 根均方正则化；使用 旋转位置编码 RoPE；使用 Grouped Query Attention，即 分组查询注意力，Head 是 32，分成 4 组，即 8 个 KV Head；使用 SwiGLU Feedforward Network，即 SwiGLU 前馈网络。

原创 LLM - 微调(Fine-Tuning) Llama3 以及合并微调模型 教程

在微调 Llama3 大模型时，需要注意一些事项：合适的预训练模型、合适的微调方法、数据集的选择、防止模型过拟合、计算资源管理、超参数调整、监控和评估，这些注意事项可以更有效地微调大模型，提高其在特定任务上的表现。

原创 ComfyUI - 使用 ComfyUI 部署与测试 FLUX.1 图像生成模型 教程

Flux 是由 Black Forest Labs 推出的最新文本到图像生成模型，已成为 AI 绘画领域的高品质模型。该模型由 Stability AI 的前核心成员开发，具备强大的生成能力和高质量的图像输出。

原创 ComfyUI -通过 预处理和镜像 配置 ComfyUI 的重要插件 (Custom-Scripts | AlekPet | Impact-Pack | Manager)

ComfyUI 是一个基于 Stable Diffusion 的 AI 绘画创作工具，其插件可以显著扩展和增强其功能。

原创 ComfyUI - 在服务器中部署 AIGC 绘画的 ComfyUI 工具 教程

ComfyUI 是功能强大且高度模块化的 AI 绘画工具，基于 Stable Diffusion 技术，采用节点式工作流界面，使用户能够更直观地控制图像生成过程。特点是模块化设计，允许用户通过拖放节点来创建和调整工作流，极大地提高了灵活性和可定制性。速度更快，灵活的组建工作流，专业团队的需求，节点式编辑。

原创 LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)

Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。

原创 LLM - 在服务器中使用 Ollama + OpenWebUI 部署最新大模型

Ollama 是一个开源的大型语言模型（LLM）服务工具，目的是简化本地运行大语言模型的过程，降低了使用大语言模型的门槛，使开发者、研究人员和爱好者能够在本地环境中快速实验、管理和部署最新的大语言模型。

原创 LLM - 理解 主流大模型 LLM 都使用 Decoder Only 架构的原因 (总结8点)

Decoder Only 模式泛化性更好的理论原因包括：训练难度更大、具有隐式的位置编码能力、上下文学习支持 Few-Shot、注意力矩阵是满秩的、参数更少推理更快、KV-Cache、支持 Pipeline Parallel、实验支持。LLM 主流都会使用 Decoder Only 架构，而 Encoder-Decoder、PrefixLM 等混合训练方式，相对较小模型更加合适。

原创 LLM - 理解 大模型 Batch 推理的 Padding Side (左填充或右填充)

使用 Left Padding (左填充) 或者 Right Padding (右填充)，HuggingFace 的 transformer 库使用的 Left Padding，而 Llama 源码使用的是 Right Padding，两者各有不同，各有优势。做大模型 Batch 推理时，当请求的语句不等长时，需要使用 Padding，即填充一个无意义的 token，一般推荐 eos_token。

原创 LLM - 理解 Transformer 的位置编码 sin & cos 的作用与原理

Transformer 模型中的位置编码是关键技术，通过为每个词嵌入向量添加位置信息来保留序列的顺序性，增强模型对长距离依赖关系的捕捉能力，使得模型能够理解单词在句子中的位置，从而更好地处理语言的语法和语义结构，提高模型的表达能力和泛化能力，同时减少训练时间并增强模型的自适应性。位置编码通常通过正弦和余弦函数的组合实现，为每个位置生成唯一的编码，使得模型能够在并行处理序列数据的同时保留顺序信息。

原创 Python - 开源库 ReportLab 库合并 CVS 和图像生成 PDF 文档

ReportLab 是一个非常流行的 Python 库，专门用于生成 PDF 文档，提供了丰富的功能，可以创建复杂的文档，包括文本、图像、表格、图表等。

原创 Server - 配置 Kubernetes 多任务流程 KubeFlow Pipeline 的开发教程

Kubernetes 的 KFP（Kubeflow Pipelines）是一个平台，用于构建和部署可扩展和可移植的机器学习（ML）工作流。允许用户以简单、可复用和可组合的方式定义机器学习任务，并支持各种 ML 框架。KFP 包括一个用于构建 ML 管道的 SDK，以及用于运行这些管道的运行时环境。通过 KFP，用户可以轻松地将机器学习模型从实验转移到生产环境，同时保持模型的可追溯性和版本控制。

原创 LLM - 理解 旋转位置编码(RoPE) 与 绝对相对位置编码 之间的优势

Transformer 是基于 多头自注意力机制 (Multi Head Self-Attention, MHSA) 的算法，然而，MHSA 对于位置不敏感，需要添加 位置编码(PE)，主要包括绝对位置编码 (默认的 Transformer 位置编码)、相对位置编码，以及主流的旋转位置编码 (Rotary Position Embedding, RoPE)。

原创 LLM - Transformer 的 多头自注意力(MHSA) 理解与源码

在 Transformer 中，多头自注意力机制 (MHSA, Multi-Head Self-Attention) 是核心创新之一，极大地提升模型处理序列数据的能力。多头自注意力机制是自注意力机制的扩展，将输入分割成多个 头(Head)，每个头学习输入的不同部分表示，然后，将这些表示合并起来，以捕获信息的不同方面。

原创 Python - 递归函数(Recursive Function)的速度优化 (Python实现)

递归函数是特殊的编程技术，通过调用自身来解决问题。递归函数通常包含两个关键部分：基线条件(Base Case) 和 递归步骤(Recursive Step)。

原创 LLM - 大语言模型(LLM) 的 应用技术

大语言模型(LLM)的应用技术范围非常广泛，包括LangChain开发框架，专为大型语言模型设计，以提高开发人工智能应用的效率，允许开发者将语言模型、向量数据库、交互层Prompt、外部知识和工具整合到一起，从而构建多样化的 LLM 应用程序；推理优化，在大型语言模型的推理过程中，优化技术可以显著提升效率和性能，通过分布式计算框架、知识图谱集成以及模型内部的优化技术，加速模型的推理过程，使其更适合实际应用；多模态大模型结合文本、图像和声音等多种数据类型，能够处理和理解跨多个模态的信息。

原创 AI4Science - 《人工智能与药物设计》药物设计相关数据库的概述

药物设计是指使用化学、生物学、分子生物学等方法，对于已知的药物或天然产物进行改造或创新，以提高其药理活性、安全性和生物利用度的过程。药物设计是新药开发的重要环节，也是医药行业的核心竞争力之一。在药物发现与药物设计领域中，包括三类的数据库资源。

原创 LeetCode - 二分查找(Binary Search)算法集合(Python)[左右边界|旋转数组|双列表]

二分查找，也称为折半查找，是一种在有序数组中查找特定元素的高效算法。其基本原理是将待搜索的区间分成两半，然后根据中间元素与目标值的比较结果来确定下一步搜索的区间。这个过程会一直重复，直到找到目标元素或者搜索区间为空。二分查找，重要的是如何划分区间范围，移动左右指针。

原创 AI4Science - 开源工具 FreeSASA 计算 蛋白质复合物 链间接触面积 教程

在蛋白质复合物中，通过链间距离，可以计算出在接触面的残基与接触面的面积，使用 BioPython 库 与 SASA (Solvent Accessible Surface Area，溶剂可及表面积) 库。SASA 计算主要以 水分子 是否通过为基础，水分子的半径是1.4 A，直径是 2.8 A，所以以 2.8 A 的距离，判断链间是否连接。

原创 LeetCode - 双指针(Two Pointers)算法集合(Python)[对撞指针|快慢指针|滑动窗口|双链遍历]

双指针算法是一种常见且灵活的技巧，通过使用两个指针协同完成任务。这些指针可以指向不同的元素，具体应用取决于问题的性质。

原创 LeetCode - 贪心(Greedy)算法集合(Python)[分配问题|区间问题]

贪心算法，是在每一步选择中，都采取当前状态下，最好或最优（即最有利）的选择，从而希望导致结果是最好或最优的算法，在解决各种问题时被广泛应用，包括数组操作、字符串处理、图论等，贪心算法包括，分配问题和区间问题。

原创 AI4Science - 开源网站 MolProbity 评估蛋白质结构的原子冲突(Clash) 教程

MolProbity 是由杜克大学生物化学系开发的在线工具，主要用于蛋白质结构分析。可以帮助研究人员评估和改进蛋白质晶体结构的质量，也可以用于评估蛋白质结构冲突。

原创 AI4Science - 开源工具 Amber 松弛(Relax) 蛋白质三维结构 (Python) 教程

Amber 工具在蛋白质松弛(Relax)过程中起着重要的作用。在分子动力学模拟中，蛋白质松弛是指模拟过程中蛋白质结构达到一个较为稳定的状态。这个过程通常涉及能量最小化和温度平衡，以确保蛋白质的结构和动态行为接近其在生物体内的自然状态。

原创 AI4Science - 开源项目 RoseTTAFoldNA 蛋白质 与 核酸(RNA\DNA) 复合物结构预测 教程

蛋白质与核酸复合物 (Protein and Nucleic Acid Complex)，在生物学中发挥着关键作用。 在蛋白质的结构预测领域，已经取得一些进展，但是，在蛋白质与核酸复合物的结构预测领域，在很大程度上，仍是尚未解决的问题。RoseTTAFold2NA 将 RoseTTAFold 的端到端深度学习框架，扩展至核酸、蛋白质与核酸复合物的建模。通过已训练的 RoseTTAFoldNA 模型，快速生成 3D 结构，同时，对于 蛋白质与DNA、蛋白质与RNA、RNA 三级结构，进行置信估计。 在

原创 Nothing

原创 Nothing

原创 LLM - 大语言模型(LLM) 的 评估体系

大语言模型(LLM)的评估是复杂且多维的过程，涉及多个方面，包括评估体系、评估方法、评估实践。评估体系包括评估数据集、模型输出、样本/输出变换、真值(Ground Truth)、评估媒介、性能报告。评估方法包括直接评估指标、基于辅助模型的评估、基于模型的评估。评估实践主要包括，避免数据泄漏、测试样本的覆盖率、测试评估样本与任务无关、数据集划分和表述改写、随机数种子、准确率与召回率的权衡。