- 博客(1022)
- 资源 (25)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 PyTorch - 高效快速配置 Conda + PyTorch 环境 (解决 segment fault )
在配置算法项目时,因网络下载速度的原因,导致默认的 conda 与 pytorch 包安装缓慢,需要配置新的 conda 与 pip 源,以及下载安装 pytorch 环境。
2023-11-17 14:51:37
826
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 什么是热爱编程
看到下文, 感觉自己弱爆了, 要重新好好的”热爱编程”.95年的时候,我高中同学郭军买了一本Borland C++手册,我们两个人此后两年没机会碰真的电脑,没见过Tubro C更没见过Borland C++,生看这本书,看了两年,百看不厌。做不到,别轻易说,我热爱编程,热爱学习。97年,父母在高考前三天给我买了一台电脑,整个假期,全部在电脑面前度过,把VB的全部文档看完,自己学会VB,啃Delphi
2015-08-11 18:20:46
3175
7
原创 LLM - 绝对与相对位置编码 与 RoPE 旋转位置编码 源码
Transformer 是基于 MHSA (多头自注意力),然而,MHSA 对于位置是不敏感的,需要添加位置编码 (PE),PE即类别变量,索引,也是基于索引的 Embedding,包括两种,一种是绝对位置编码 (Transformer默认的位置编码),一种是相对位置编码,最新的是旋转位置编码 (Rotary Position Embedding)。
2024-07-10 23:11:48
524
原创 LLM - Transformer 的 多头自注意力(MHSA) 理解与源码
在 Transformer 中,多头自注意力机制 (MHSA, Multi-Head Self-Attention) 是核心创新之一,极大地提升模型处理序列数据的能力。多头自注意力机制是自注意力机制的扩展,将输入分割成多个 头(Head),每个头学习输入的不同部分表示,然后,将这些表示合并起来,以捕获信息的不同方面。
2024-07-08 23:56:48
519
原创 Python - 递归函数(Recursive Function)的速度优化 (Python实现)
递归函数是特殊的编程技术,通过调用自身来解决问题。递归函数通常包含两个关键部分:基线条件(Base Case) 和 递归步骤(Recursive Step)。
2024-07-02 22:12:51
495
原创 LLM - 大语言模型(LLM) 的 应用技术
大语言模型(LLM)的应用技术范围非常广泛,包括LangChain开发框架,专为大型语言模型设计,以提高开发人工智能应用的效率,允许开发者将语言模型、向量数据库、交互层Prompt、外部知识和工具整合到一起,从而构建多样化的 LLM 应用程序;推理优化,在大型语言模型的推理过程中,优化技术可以显著提升效率和性能,通过分布式计算框架、知识图谱集成以及模型内部的优化技术,加速模型的推理过程,使其更适合实际应用;多模态大模型结合文本、图像和声音等多种数据类型,能够处理和理解跨多个模态的信息。
2024-06-04 19:54:05
57
原创 AI4Science - 《人工智能与药物设计》药物设计相关数据库的概述
药物设计是指使用化学、生物学、分子生物学等方法,对于已知的药物或天然产物进行改造或创新,以提高其药理活性、安全性和生物利用度的过程。药物设计是新药开发的重要环节,也是医药行业的核心竞争力之一。在药物发现与药物设计领域中,包括三类的数据库资源。
2024-06-04 15:17:16
92
原创 LeetCode - 二分查找(Binary Search)算法集合(Python)[左右边界|旋转数组|双列表]
二分查找,也称为折半查找,是一种在有序数组中查找特定元素的高效算法。其基本原理是将待搜索的区间分成两半,然后根据中间元素与目标值的比较结果来确定下一步搜索的区间。这个过程会一直重复,直到找到目标元素或者搜索区间为空。二分查找,重要的是如何划分区间范围,移动左右指针。
2024-06-03 17:05:12
502
原创 AI4Science - 开源工具 FreeSASA 计算 蛋白质复合物 链间接触的残基与面积
在蛋白质复合物中,通过链间距离,可以计算出在接触面的残基与接触面的面积,使用 BioPython 库 与 SASA (Solvent Accessible Surface Area,溶剂可及表面积) 库。SASA 计算主要以 水分子 是否通过为基础,水分子的半径是1.4 A,直径是 2.8 A,所以以 2.8 A 的距离,判断链间是否连接。
2024-06-03 16:36:23
87
原创 LeetCode - 双指针(Two Pointers)算法集合(Python)[对撞指针|快慢指针|滑动窗口|双链遍历]
双指针算法是一种常见且灵活的技巧,通过使用两个指针协同完成任务。这些指针可以指向不同的元素,具体应用取决于问题的性质。
2024-05-28 16:36:06
913
原创 LeetCode - 贪心(Greedy)算法集合(Python)[分配问题|区间问题]
贪心算法,是在每一步选择中,都采取当前状态下,最好或最优(即最有利)的选择,从而希望导致结果是最好或最优的算法,在解决各种问题时被广泛应用,包括数组操作、字符串处理、图论等,贪心算法包括,分配问题和区间问题。
2024-05-27 21:50:04
546
原创 LLM - 大语言模型(LLM) 的 评估体系
大语言模型(LLM)的评估是复杂且多维的过程,涉及多个方面,包括评估体系、评估方法、评估实践。评估体系包括评估数据集、模型输出、样本/输出变换、真值(Ground Truth)、评估媒介、性能报告。评估方法包括直接评估指标、基于辅助模型的评估、基于模型的评估。评估实践主要包括,避免数据泄漏、测试样本的覆盖率、测试评估样本与任务无关、数据集划分和表述改写、随机数种子、准确率与召回率的权衡。
2024-04-24 15:50:42
417
原创 LLM - 大语言模型 基于人类反馈的强化学习(RLHF)
基于人类反馈的强化学习(RLHF,Reinforcement Learning from Human Feedback),结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包括:多种策略产生样本并收集人类反馈:使用不同的策略来生成文本样本,然后,由人类评估这些样本的质量,以收集反馈数据。训练奖励模型:基于收集到的人类反馈,训练奖励模型(Reward Model, RM),该模型的目标是评估模型输出的文本质量。训练强化学习策略,微调语言模型:在这一步中,将初始语言模型的微调任务建模为强化学习
2024-04-02 23:12:56
577
原创 LLM - 大语言模型的指令微调(Instruction Tuning) 概述
大语言模型的指令微调(Instruction Tuning)是一种优化技术,通过在特定的数据集上进一步训练大型语言模型(LLMs),使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性,使其在执行任务时能够更准确地响应用户的需求。
2024-03-25 12:38:48
1901
原创 LLM - 大语言模型的分布式训练 概述
大语言模型的分布式训练是一个复杂的过程,涉及到将大规模的计算任务分散到多个计算节点上。这样做的目的是为了处理巨大的模型和数据集,同时,提高训练效率和缩短训练时间。
2024-03-22 00:18:50
1290
原创 LLM - 大语言模型的预训练数据(Dataset) 概述
BPE(Byte Pair Encoding)字节对编码模型,是用于NLP中的词元切分(Tokenization)的方法,核心思想是将常见的字符对(byte pairs)合并为一个单独的词元,从而减少整体的词元数量,同时保留了文本的重要信息。这种方法特别适用于处理词汇量非常大的语言模型,可以有效地减少词汇表的大小,同时保持语言的丰富性和表达能力。此外,BPE模型也支持多语言模型的训练,不依赖于特定语言的词汇结构。大语言模型的预训练数据通常涵盖了广泛的文本类型,以确保模型能够理解和生成多样化的语言内容。
2024-03-11 21:55:57
684
原创 LLM - 大语言模型的自注意力(Self-Attention)机制基础 概述
注意力(Attention)机制是大型语言模型中的一个重要组成部分,帮助模型决定在处理信息时,所应该关注的部分。在自然语言处理中,一个序列由一系列的元素组成。注意力机制通过为序列中的每个元素分配一个权重来工作,这个权重反映了每个元素对于任务的重要性。模型会更加关注权重高的元素。自注意力(Self-Attention)是一种特殊的注意力机制,不是将输入序列与输出序列关联起来,而是关注序列内部元素之间的关系。
2024-03-11 15:38:31
1943
1
原创 LLM - 大语言模型(LLM)发展 概述
大语言模型(LLM, Large Language Model)的发展和应用是一个非常广泛的领域,涉及从早期的统计模型到现代基于深度学习的模型。在自然语言处理领域的应用非常广泛,包括但不限于聊天机器人、内容生成、情感分析、自动摘要、问答系统等。强大的文本生成能力,使其在内容创作领域具有巨大潜力,可以用于撰写文章、创作诗歌、生成新闻报道等。也可以为教育提供丰富的资源和工具,如自动评分、个性化学习辅导等,还可以用于构建智能客服系统,提高客户服务的响应速度和准确性。
2024-03-11 11:15:47
1154
MMseqs2最新版本可执行文件
2023-07-27
冷冻电镜的低通滤波算法
2022-08-02
craft_models.zip
2021-05-27
ICDAR_2015.zip
2021-05-27
Solidity Programming Essentials
2018-06-09
Earthquake - Android Studio 代码
2014-03-24
ContactPicker(选择联系人) - Android
2014-03-20
Compass-Android
2014-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人