Mystra

原创 PyTorch - 高效快速配置 Conda + PyTorch 环境 (解决 segment fault )

在配置算法项目时，因网络下载速度的原因，导致默认的 conda 与 pytorch 包安装缓慢，需要配置新的 conda 与 pip 源，以及下载安装 pytorch 环境。

原创 什么是热爱编程

看到下文, 感觉自己弱爆了, 要重新好好的”热爱编程”.95年的时候，我高中同学郭军买了一本Borland C++手册，我们两个人此后两年没机会碰真的电脑，没见过Tubro C更没见过Borland C++，生看这本书，看了两年，百看不厌。做不到，别轻易说，我热爱编程，热爱学习。97年，父母在高考前三天给我买了一台电脑，整个假期，全部在电脑面前度过，把VB的全部文档看完，自己学会VB，啃Delphi

原创 LLM - 绝对与相对位置编码 与 RoPE 旋转位置编码 源码

Transformer 是基于 MHSA (多头自注意力)，然而，MHSA 对于位置是不敏感的，需要添加位置编码 (PE)，PE即类别变量，索引，也是基于索引的 Embedding，包括两种，一种是绝对位置编码 (Transformer默认的位置编码)，一种是相对位置编码，最新的是旋转位置编码 (Rotary Position Embedding)。

原创 LLM - Transformer 的 多头自注意力(MHSA) 理解与源码

在 Transformer 中，多头自注意力机制 (MHSA, Multi-Head Self-Attention) 是核心创新之一，极大地提升模型处理序列数据的能力。多头自注意力机制是自注意力机制的扩展，将输入分割成多个 头(Head)，每个头学习输入的不同部分表示，然后，将这些表示合并起来，以捕获信息的不同方面。

原创 Python - 递归函数(Recursive Function)的速度优化 (Python实现)

递归函数是特殊的编程技术，通过调用自身来解决问题。递归函数通常包含两个关键部分：基线条件(Base Case) 和 递归步骤(Recursive Step)。

原创 LLM - 大语言模型(LLM) 的 应用技术

大语言模型(LLM)的应用技术范围非常广泛，包括LangChain开发框架，专为大型语言模型设计，以提高开发人工智能应用的效率，允许开发者将语言模型、向量数据库、交互层Prompt、外部知识和工具整合到一起，从而构建多样化的 LLM 应用程序；推理优化，在大型语言模型的推理过程中，优化技术可以显著提升效率和性能，通过分布式计算框架、知识图谱集成以及模型内部的优化技术，加速模型的推理过程，使其更适合实际应用；多模态大模型结合文本、图像和声音等多种数据类型，能够处理和理解跨多个模态的信息。

原创 AI4Science - 《人工智能与药物设计》药物设计相关数据库的概述

药物设计是指使用化学、生物学、分子生物学等方法，对于已知的药物或天然产物进行改造或创新，以提高其药理活性、安全性和生物利用度的过程。药物设计是新药开发的重要环节，也是医药行业的核心竞争力之一。在药物发现与药物设计领域中，包括三类的数据库资源。

原创 LeetCode - 二分查找(Binary Search)算法集合(Python)[左右边界|旋转数组|双列表]

二分查找，也称为折半查找，是一种在有序数组中查找特定元素的高效算法。其基本原理是将待搜索的区间分成两半，然后根据中间元素与目标值的比较结果来确定下一步搜索的区间。这个过程会一直重复，直到找到目标元素或者搜索区间为空。二分查找，重要的是如何划分区间范围，移动左右指针。

原创 AI4Science - 开源工具 FreeSASA 计算 蛋白质复合物 链间接触的残基与面积

在蛋白质复合物中，通过链间距离，可以计算出在接触面的残基与接触面的面积，使用 BioPython 库 与 SASA (Solvent Accessible Surface Area，溶剂可及表面积) 库。SASA 计算主要以 水分子 是否通过为基础，水分子的半径是1.4 A，直径是 2.8 A，所以以 2.8 A 的距离，判断链间是否连接。

原创 LeetCode - 双指针(Two Pointers)算法集合(Python)[对撞指针|快慢指针|滑动窗口|双链遍历]

双指针算法是一种常见且灵活的技巧，通过使用两个指针协同完成任务。这些指针可以指向不同的元素，具体应用取决于问题的性质。

原创 LeetCode - 贪心(Greedy)算法集合(Python)[分配问题|区间问题]

贪心算法，是在每一步选择中，都采取当前状态下，最好或最优（即最有利）的选择，从而希望导致结果是最好或最优的算法，在解决各种问题时被广泛应用，包括数组操作、字符串处理、图论等，贪心算法包括，分配问题和区间问题。

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 LLM - 大语言模型(LLM) 的 评估体系

大语言模型(LLM)的评估是复杂且多维的过程，涉及多个方面，包括评估体系、评估方法、评估实践。评估体系包括评估数据集、模型输出、样本/输出变换、真值(Ground Truth)、评估媒介、性能报告。评估方法包括直接评估指标、基于辅助模型的评估、基于模型的评估。评估实践主要包括，避免数据泄漏、测试样本的覆盖率、测试评估样本与任务无关、数据集划分和表述改写、随机数种子、准确率与召回率的权衡。

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 LLM - 大语言模型 基于人类反馈的强化学习(RLHF)

基于人类反馈的强化学习(RLHF，Reinforcement Learning from Human Feedback)，结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包括：多种策略产生样本并收集人类反馈：使用不同的策略来生成文本样本，然后，由人类评估这些样本的质量，以收集反馈数据。训练奖励模型：基于收集到的人类反馈，训练奖励模型(Reward Model, RM)，该模型的目标是评估模型输出的文本质量。训练强化学习策略，微调语言模型：在这一步中，将初始语言模型的微调任务建模为强化学习

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 LLM - 大语言模型的指令微调(Instruction Tuning) 概述

大语言模型的指令微调(Instruction Tuning)是一种优化技术，通过在特定的数据集上进一步训练大型语言模型(LLMs)，使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性，使其在执行任务时能够更准确地响应用户的需求。

原创 LLM - 大语言模型的分布式训练 概述

大语言模型的分布式训练是一个复杂的过程，涉及到将大规模的计算任务分散到多个计算节点上。这样做的目的是为了处理巨大的模型和数据集，同时，提高训练效率和缩短训练时间。

原创 LLM - 大语言模型的预训练数据(Dataset) 概述

BPE(Byte Pair Encoding)字节对编码模型，是用于NLP中的词元切分(Tokenization)的方法，核心思想是将常见的字符对(byte pairs)合并为一个单独的词元，从而减少整体的词元数量，同时保留了文本的重要信息。这种方法特别适用于处理词汇量非常大的语言模型，可以有效地减少词汇表的大小，同时保持语言的丰富性和表达能力。此外，BPE模型也支持多语言模型的训练，不依赖于特定语言的词汇结构。大语言模型的预训练数据通常涵盖了广泛的文本类型，以确保模型能够理解和生成多样化的语言内容。

原创 LLM - 大语言模型的自注意力(Self-Attention)机制基础 概述

注意力(Attention)机制是大型语言模型中的一个重要组成部分，帮助模型决定在处理信息时，所应该关注的部分。在自然语言处理中，一个序列由一系列的元素组成。注意力机制通过为序列中的每个元素分配一个权重来工作，这个权重反映了每个元素对于任务的重要性。模型会更加关注权重高的元素。自注意力(Self-Attention)是一种特殊的注意力机制，不是将输入序列与输出序列关联起来，而是关注序列内部元素之间的关系。

原创 LLM - 大语言模型(LLM)发展 概述

大语言模型(LLM, Large Language Model)的发展和应用是一个非常广泛的领域，涉及从早期的统计模型到现代基于深度学习的模型。在自然语言处理领域的应用非常广泛，包括但不限于聊天机器人、内容生成、情感分析、自动摘要、问答系统等。强大的文本生成能力，使其在内容创作领域具有巨大潜力，可以用于撰写文章、创作诗歌、生成新闻报道等。也可以为教育提供丰富的资源和工具，如自动评分、个性化学习辅导等，还可以用于构建智能客服系统，提高客户服务的响应速度和准确性。

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing

原创 Nothing