- 博客(76)
- 收藏
- 关注
RSS订阅原创 TF-IDF（Term Frequency - Inverse Document Frequency）
TF-IDF是一种常用的文本关键词提取方法，通过词频（TF）和逆文档频率（IDF）的乘积评估词语重要性。它认为频繁出现但不在其他文档中常见的词更具区分性。TF-IDF简单高效，能过滤停用词，适用于关键词提取、文本分类和信息检索。但无法捕捉语义和词序，对长文档可能存在偏差。Python中可用scikit-learn的TfidfVectorizer快速实现。该方法平衡了词频与泛用性，是传统文本处理的重要工具。
2025-07-18 20:19:51
465
1
原创 T5（Text-to-Text Transfer Transformer） 模型
T5（Text-to-Text Transfer Transformer）是Google于2020年提出的统一NLP框架，将所有任务转化为文本到文本的格式。基于Transformer的Encoder-Decoder架构，T5采用Span Corruption预训练方法，使用C4数据集。其优势在于统一处理各类任务（翻译、问答、摘要等），支持多任务学习，在GLUE等基准测试表现优异。相比BERT和GPT，T5更具通用性。提供多个参数量版本（60M至11B），并有Flan-T5等优化变种。T5适用于摘要、翻译、问
2025-07-18 17:39:36
673
原创 Hive数据仓库工具
Apache Hive是基于Hadoop的数据仓库工具，提供类SQL查询接口(HiveQL)，将查询转换为MapReduce/Tez/Spark任务执行。核心特点包括：支持数据仓库功能、多种存储格式、UDF扩展，适合批处理但延迟较高。其架构包含HiveQL解析器、元数据存储(Metastore)和执行引擎，数据存储在HDFS。Hive适合离线分析、ETL等场景，与Impala/SparkSQL相比查询延迟更高但集成性更好。随着版本演进，执行引擎从MapReduce逐步转向Tez和Spark。优点在于SQL友
2025-07-18 15:45:39
814
原创 Redis深度介绍以及在不同语言下的使用
Redis是一个高性能内存数据库，支持多种数据结构，适用于缓存、排行榜等场景。文章介绍了Redis的核心特性，包括内存存储、持久化和分布式能力，并对比了其在Java（Jedis/Lettuce）和Python（redis-py）中的应用差异。Java适合高并发Web服务，Python更适合快速开发轻量级应用。最后总结了使用Redis的注意事项和安全建议。
2025-07-17 11:15:55
655
原创 深度学习模型架构----ResNet（残差网络）
ResNet（残差网络）是深度学习里程碑式架构，由何恺明团队2015年提出，首次成功训练超100层的神经网络。其核心创新是残差连接（Shortcut Connection），通过让网络学习输入与输出的差值而非直接映射，解决了深度网络的梯度消失/爆炸和退化问题。典型结构包含BasicBlock（浅层网络）和BottleneckBlock（深层网络）两种残差模块，衍生出ResNet18/34/50/101/152等系列模型。该架构优势在于能训练极深网络且不退化，被广泛应用于图像分类、目标检测、语义分割等任务，并
2025-07-14 08:54:48
914
原创 BERT系列模型
本文深入剖析了BERT、GPT和ELMo三大主流NLP预训练模型。BERT采用双向Transformer编码器结构，通过掩码语言模型和下一句预测任务进行预训练；GPT是基于Transformer解码器的单向语言模型，擅长文本生成；ELMo则使用双向LSTM构建上下文词向量。文章对比了三者在模型结构、训练方式和应用场景上的差异，并介绍了BERT系列改进模型（如RoBERTa、ALBERT等）的特点。这些模型推动了迁移学习和Transformer架构的发展，为NLP任务提供了强大基础。
2025-07-13 21:20:55
768
原创 NLP-迁移学习
FastText 是 Facebook Research 发布的一个轻量级、高效的 NLP 工具库，用于训练词向量和文本分类任务。其核心优势在于速度快、性能好、资源占用低。模块工具或概念核心作用FastText词向量、文本分类工具快速高效，无需深度模型Transformers 库模型统一使用接口提供丰富模型与训练接口预训练模型BERT、GPT、T5 等提供语言理解能力的基础迁移学习实践特征提取 + 微调在下游任务中高效使用大模型NLP标准数据集多任务 benchmark。
2025-07-13 12:03:05
893
原创 不使用模型进行两段句子预测方法
摘要：不使用预训练模型时，仍可采用传统NLP方法计算句子相似度。常见方法包括词袋法、TF-IDF+余弦相似度、编辑距离、Jaccard相似度和N-gram重叠等。以TF-IDF+余弦相似度为例，可通过sklearn库实现，效果较好且计算高效。其他方法如Jaccard适合关键词匹配，编辑距离适用于拼写检查。建议根据场景选择单一方法或组合策略，如加权平均多种相似度得分，在轻量级系统中效果实用。这些传统方法虽精度不及深度学习模型，但实现简单且能满足基础需求。
2025-07-12 09:35:54
397
原创 BPE（Byte Pair Encoding）分词算法
BPE（Byte Pair Encoding）是一种基于统计的子词分词算法，通过合并高频字符对构建词表，平衡了词级和字符级分词的优缺点。其核心流程包括初始化字符词表、统计字符对频率、贪心合并高频对直至达到预设词表规模。BPE分词有效解决了OOV问题，控制词表大小，被广泛应用于GPT、BERT等Transformer模型中。虽然存在贪心策略非最优、缺乏上下文感知等局限性，但仍是现代NLP的基础技术之一，在HuggingFace等框架中都有成熟实现。
2025-07-11 19:48:19
858
原创 Linux 中 sed 命令
Linux sed命令终极指南：文本处理神器 sed是Linux中最强大的流式文本编辑器，可以高效处理文本替换、删除、插入等操作。核心功能包括： 1️⃣ 基础替换：s/old/new/g实现全局替换 2️⃣ 行操作：删除(d)、插入(i/a)、替换整行(c) 3️⃣ 正则支持：配合^$.*[]等实现复杂匹配 4️⃣ 实用场景：批量修改配置、删除注释/空行、提取字段 5️⃣ 高级技巧：限定行范围操作、保留备份(-i.bak) 6️⃣ 与awk对比：sed侧重修改，awk擅长分析格式化 典型应用：sed -i
2025-07-10 15:54:55
382
原创 nn.Sequential和nn.Modulelist的用法以及它们之间的区别
PyTorch中nn.Sequential和nn.ModuleList是两种组织模型子模块的容器，主要区别在于：nn.Sequential适用于线性结构模型，自动执行顺序前向传播，支持命名层但不支持动态控制；nn.ModuleList则是灵活容器，需要手动编写forward逻辑，适用于Transformer、RNN等需要动态控制或多分支的复杂网络结构。选择依据是：简单线性模型用nn.Sequential，需要自定义控制逻辑的用nn.ModuleList。
2025-07-10 11:05:30
326
原创 Batch Normalization vs Layer Normalization：深度解析与对比
BatchNormalization（BN）和LayerNormalization（LN）都是用于标准化神经网络激活值的技术，但二者在归一化维度和适用场景上存在显著差异。BN沿着批处理维度进行标准化，适合图像任务（如CNN），但对batch size敏感；LN则在特征维度进行归一化，适用于NLP和Transformer等序列建模任务，且不受batch size影响。主要区别包括：BN训练/测试行为不同，需要移动平均统计；LN计算开销稍大但更稳定。实际应用中，图像任务推荐BN，序列任务和小batch场景推荐L
2025-07-09 15:55:48
595
原创 Self-Attention 机制详解
Self-Attention是Transformer的核心机制，通过动态计算词间关系来捕捉长距离依赖。它将每个词映射为查询、键、值三个向量，通过计算查询与键的相似度获得注意力权重，再用权重加权组合值向量得到包含全局信息的词表示。相比RNN和CNN，Self-Attention能并行处理整个序列，动态调整关注权重，但计算复杂度随序列长度呈平方增长。该机制为Transformer在NLP等领域的突破性表现奠定了基础。
2025-07-09 15:12:08
671
原创 Multi-Head Attention （多头注意力）机制详解
多头注意力机制(Multi-HeadAttention)是Transformer的核心组件，通过并行多个自注意力头在不同子空间学习多样特征表示。其计算过程包括：1)将输入映射到多个子空间；2)每个头独立计算注意力权重；3)拼接各头输出并线性变换。该机制保持了与单头注意力相同的计算复杂度，但获得了更丰富的表达能力，能同时捕捉局部和全局依赖关系。其优势在于并行计算高效性、多特征学习能力以及复杂关系建模，使Transformer超越传统RNN/LSTM在处理长序列时的性能。
2025-07-09 11:32:43
570
原创 Transformer Decoder 模块深度解析
Transformer解码器是序列生成任务的核心组件，包含三个关键机制：带屏蔽的自注意力层（仅关注已生成词）、编码器-解码器注意力层（融合输入上下文）和前馈神经网络。通过残差连接和层归一化稳定训练，解码器逐步生成输出序列：先通过自注意力获取历史信息，再结合编码器输出计算当前词概率分布。这种结构使Transformer能有效处理翻译、对话等任务，确保生成内容与输入上下文高度相关。
2025-07-08 21:03:19
575
原创 Transformer 中各个子模块的作用
Transformer模型通过输入嵌入层将单词映射为高维向量，结合位置编码保留序列顺序信息。核心的自注意力机制通过查询、键、值向量动态捕捉全局上下文，多头注意力进一步丰富特征提取。每个子模块后接残差连接和层归一化以稳定训练。前馈神经网络提供非线性变换，解码器则通过编码器-解码器注意力参考输入序列信息。最终输出层生成词汇概率分布。这些模块的协同工作使Transformer能够高效处理序列数据，成为NLP领域的突破性架构。
2025-07-08 14:24:27
1033
原创 Transformer模型架构深度讲解
Transformer是2017年提出的革命性深度学习模型，通过自注意力机制彻底改变了序列处理方式。其核心架构包含编码器-解码器结构，关键组件有多头注意力、位置编码和前馈网络，实现了并行计算和长距离依赖处理。相比RNN/LSTM，Transformer具有更高训练效率和扩展性。衍生模型如BERT、GPT等在NLP领域取得突破性成果，并成功应用于计算机视觉等领域。Transformer已成为当前深度学习最重要的基础架构之一。
2025-07-07 21:00:12
816
原创 Mask机制中的Padding Mask 和 Sentence Mask
本文介绍了自然语言处理中的两种核心Mask机制：PaddingMask和SentenceMask。PaddingMask用于处理变长序列，通过标记填充位置确保模型忽略无效数据；SentenceMask则防止自回归任务中的信息泄露，保证模型仅依赖历史信息。文章详细解析了两种Mask的作用原理、实现方式（如上三角矩阵生成）及典型应用场景（如Transformer、BERT、GPT等模型），并强调在TransformerDecoder中需组合使用两种Mask。文末通过对比表总结关键差异，指出理解这两种机制是掌握现
2025-07-07 19:41:18
928
原创 GloVe模型
本文系统解析了GloVe词嵌入模型，从原理到应用全面阐述其技术特点。GloVe通过滑动窗口构建加权共现矩阵，采用带权重的损失函数优化词向量，使其点积拟合共现概率比对数。工程实现上，利用稀疏矩阵存储和AdaGrad优化提升训练效率。相比Word2Vec，GloVe在语义任务上表现更优，因其全局统计特征更稳定。文章还探讨了GloVe在文本分类、跨语言迁移等场景的应用，并分析了其静态向量在多义词处理等方面的局限性。最后指出，尽管被Transformer超越，GloVe仍在小规模场景保持价值，其"全局+局
2025-07-07 13:17:14
836
原创 Teacher Forcing--------一种用于序列生成任务的训练技巧
TeacherForcing是一种训练序列生成模型的关键技术，在机器翻译、文本生成等任务中广泛应用。其核心思想是在训练过程中，将真实的目标输出而非模型预测结果作为下一步的输入，从而加速收敛、提高稳定性。该技术通过将序列预测分解为独立步骤，简化了优化过程。但存在"暴露偏差"问题，即训练与推理阶段的输入分布不一致。为解决这一问题，可采用计划采样、强化学习等方法。该技术是训练RNN、LSTM、Transformer等自回归模型的标准实践，理解其原理对模型训练至关重要。计划采样是平衡训练效率和推
2025-07-05 14:55:16
925
原创 RNN案例人名分类器（完整步骤）
本文介绍了使用RNN、LSTM和GRU模型构建人名分类器的完整实现过程。内容涵盖数据预处理（字符编码、国家类别处理）、模型构建（包含三种网络结构）、训练流程（损失函数、优化器设置）以及预测功能实现。通过对比实验，展示了不同模型在准确率、训练时间和损失曲线上的表现差异。该分类器可用于根据人名预测其所属国家，在跨国业务中具有实际应用价值。文章详细说明了从数据加载到模型评估的每个步骤，并提供了完整的代码实现框架。
2025-07-03 20:48:55
280
原创 贪心算法（Greedy Algorithm）
贪心算法是一种分阶段决策策略，通过局部最优选择逐步构建全局解。其核心特征是无后效性和贪心选择性质，适用于满足最优子结构的问题。典型应用包括区间调度（按结束时间排序）、哈夫曼编码（最小堆）和最小生成树（Prim/Kruskal算法）。贪心算法实现通常涉及排序预处理或优先队列，时间复杂度多为O(nlogn)。正确性可通过归纳法或反证法证明，但不适用于后效性问题（如0-1背包）。实战中需注意其局限性，经典例题如合并代价最小化和纪念品分组问题。
2025-07-03 17:13:07
1539
1
原创 topk------提取张量极值的关键函数
PyTorch的torch.topk()函数是高效提取张量极值的核心工具，可返回指定维度上最大或最小的k个元素及其索引。该函数主要参数包括输入张量、k值、操作维度等，默认返回降序排列的最大值。典型应用包括分类任务预测分析、推荐系统Top-K生成、特征选择及对抗训练样本采样等。返回值包含极值张量和对应索引，保持输入形状但目标维度变为k。该函数通过灵活的参数设计和高效的极值索引机制，成为多维数据处理的关键工具，广泛应用于深度学习任务中需要排序或筛选的场景。
2025-07-03 16:51:26
668
原创 CrossEntropyLoss（交叉熵损失）、NLLLoss（负对数似然损失）与LogSoftmax深度解析以及三者之间的联系
本文深度解析PyTorch中的三个重要损失函数组件：nn.CrossEntropyLoss、nn.NLLLoss和nn.LogSoftmax。通过数学原理和代码验证表明，CrossEntropyLoss实质上是LogSoftmax与NLLLoss的组合，两者计算结果严格等价。文章详细对比了三者的输入要求、功能特点及适用场景：LogSoftmax用于生成对数概率，NLLLoss计算负对数似然损失，而CrossEntropyLoss作为更优选择，能直接处理原始logits，具有计算高效、数值稳定等优势。同时介绍
2025-07-02 16:44:16
1995
原创 GRU与LSTM之间的联系和区别
GRU（门控循环单元）是LSTM的一种高效变体，通过简化结构解决了长期依赖问题。它合并LSTM的细胞状态和隐藏状态，将三个门减为两个（更新门和重置门），参数量减少25%。更新门控制新旧状态的比例，重置门筛选历史信息。GRU的核心优势在于：计算效率更高（参数更少）、训练速度更快、在多数任务中与LSTM性能相当。其创新设计包括：状态合并、门控简化、梯度稳定机制，使其成为处理序列数据的实用选择，特别适合计算资源有限或中等规模数据的场景。
2025-07-01 12:02:25
1127
原创 LSTM（Long Short-Term Memory）模型的深度解析
LSTM（长短期记忆网络）深度解析：本文详细剖析了LSTM的内部结构和参数机制，重点阐释其如何通过细胞状态和门控系统解决RNN的长期依赖问题。LSTM通过遗忘门、输入门、输出门三个可控单元（均采用Sigmoid激活）和tanh激活的候选值，实现对信息的精细化调控。其核心在于细胞状态的加法更新公式C_t=f_tC_{t-1}+i_tg_t，这种设计既保留了长期记忆又维持了梯度稳定。文章还计算了参数总量（与隐藏层维度平方相关），对比了标准RNN的不足，并介绍了GRU、双向LSTM等常见变体。理解这些机制对模型调
2025-07-01 11:15:08
756
原创 RNN中张量参数的含义与应用
RNN在NLP处理中常用三维张量输入，维度包含批处理大小(batch_size)、序列长度(seq_len)和特征维度(input_size)。典型输入形状为(seq_len,batch_size,input_size)，输出为(seq_len,batch_size,hidden_size)。设置batch_first=True可将输入调整为(batch_size,seq_len,features)，提高代码可读性和与全连接层的兼容性，但不改变计算结果。该参数使数据组织更直观，适合处理文本分类、序列标注等任
2025-06-30 19:58:42
604
2
原创 理解不同维度张量中数字代表的含义
本文系统介绍了PyTorch中张量（Tensor）的维度概念及其实际应用。从0维标量到高维张量，逐层解析不同维度数据的结构与意义：0维表示单一数值，1维对应向量，2维描述矩阵/表格，3维用于图像/序列数据，4维处理批量数据。重点阐明了shape元组的解读方法，强调维度顺序在不同框架中的重要性，并通过具体示例（如RGB图像、时间序列、批量数据等）展示各维度的典型应用场景。理解张量维度是深度学习数据处理和模型构建的基础，需掌握维度分解与实际数据结构的映射关系。
2025-06-30 15:46:20
549
原创 Keras 深度学习：快速构建强大模型的 Python 利器
Keras作为TensorFlow官方高阶API，以其极致的用户友好性和模块化设计成为深度学习领域的高效开发工具。它提供顺序模型、函数式API和模型子类化三种构建方式，支持丰富的预定义层和自定义组件，并集成了优化器、损失函数等核心训练要素。Keras特别适合快速原型设计、教学以及CV/NLP等应用场景，同时依托TensorFlow生态实现便捷部署。其低学习曲线与强大功能的完美结合，使其成为从研究到生产的理想选择。
2025-06-29 15:20:12
1167
原创 RNN（循环神经网络）与LSTM（长短期记忆网络）输出的详细对比分析
传统RNN通过单一隐藏状态ht传递序列信息，其计算过程为ht=tanh(Wxhxt + Whh ht-1+bn),但长序列中易因梯度连乘导致信息丢失；而LSTM引入细胞状态Ct作为长期记忆载体，通过遗忘门ft、输入门it和输出门ot构成的门控机制选择性调控信息流，使隐藏状态ht = ot ⊙tanh(Ct)仅输出与当前相关的短期信息，从而有效解决梯度消失问题并捕捉长期依赖；因此，RNN适用于短序列任务（如实时传感器分析或短文本分类），而LSTM在机器翻译、语音识别等需长距离上下文建模的场景中性能更优。
2025-06-28 15:40:44
993
原创 深入解析RNN模型：应用、结构与构建实战
循环神经网络（RNN）作为处理序列数据的核心模型，在自然语言处理、时间序列预测等领域具有不可替代的地位。本文将从应用场景、结构分类、参数构建及实战示例四个维度全面解析RNN，帮助读者掌握其核心原理与实现细节。
2025-06-27 18:23:59
658
4
原创 为什么RNN相比ANN更适合处理数据
RNN更适合处理序列数据（如时间序列、文本、语音）的原因：1）通过隐藏状态传递历史信息，能捕捉时间依赖性；2）参数共享机制高效处理变长序列；3）支持多种序列任务架构，如多对一、多对多等。虽然基础RNN存在长程依赖问题，但LSTM/GRU等改进变体能有效解决。相比之下，ANN作为前馈网络无法建模序列依赖，仅适用于结构化数据或静态任务。RNN的循环结构和状态传递使其成为序列数据的理想选择，而ANN更擅长处理独立同分布数据。
2025-06-27 13:01:43
741
原创 人工智能编程三大核心流程详解--机器学习、神经网络、NLP自然语言处理
本文详解人工智能编程的三大核心流程：1）机器学习中的误差计算流程，包括损失函数选择（如MSE、交叉熵）、反向传播与参数优化步骤；2）深度学习的神经网络搭建流程，涵盖输入层设计、隐藏层堆叠（CNN/LSTM等）、输出层配置及模型编译训练；3）NLP处理与可视化流程，从文本预处理（分词、清洗）、特征工程（词嵌入、TF-IDF）到可视化展示（词云、情感分析图）。每个流程均配有代码示例（PyTorch、Keras等）和关键工具说明，为AI开发提供系统化实现路径。
2025-06-26 10:17:41
1695
原创 nn.Embedding 和 word2vec 的区别
nn.Embedding 是神经网络中的可训练层（如PyTorch），本质是一个参数化的词向量查找表，用于将离散ID映射为稠密向量。它直接集成在模型中，其存储的向量通常随任务训练而动态更新，生成任务相关的嵌入表示。word2vec 是一种无监督训练词向量的特定算法（如Skip-Gram/CBOW），通过大规模语料学习词语的通用语义关系，输出固定的预训练词向量文件（如.bin）。它独立于下游模型，专注生成任务无关的通用向量。
2025-06-25 20:57:45
1061
原创 itertools.chain的核心功能以及map内置函数
本文解析了itertools.chain在NLP中的应用。该工具能高效连接多个可迭代对象（如文本语料、分词结果），生成惰性迭代器以节省内存。核心应用场景包括：1）多语料合并与遍历；2）嵌套分词结果展平；3）流式处理大型文件；4）词汇表构建（配合set）。重点剖析了set(chain(*map(...)))的工作流程：map执行批量分词，*解包嵌套结构，chain连接后set去重。相较双重循环，该组合显著提升内存效率，尤其适合处理多源数据、嵌套结构和大规模语料三大NLP核心问题。典型代码示例展示了从多语料构建
2025-06-25 18:06:28
755
原创 TensorBoard中PCA讲解
TensorBoard的PCA功能是NLP领域可视化高维嵌入向量（如词向量）的重要工具。它通过主成分分析将数百维数据降维至2D/3D空间，保留最大方差以揭示语义结构和聚类模式。操作时只需记录嵌入矩阵和标签到日志，即可在Embedding Projector面板选择PCA投影，交互式观察词义相似性、异常点及语义关系。典型应用包括词向量分析、模型诊断和文本聚类。相比t-SNE，PCA计算高效但仅捕捉线性结构，常需结合其他方法。该工具显著提升了语言模型的可解释性，是研究词表示和优化模型的有力手段。
2025-06-25 15:20:45
706
原创 过采样-----------对于数据不足的解决方法
过采样技术在不同领域的应用差异 信号处理中的过采样： 通过高于奈奎斯特速率的采样提高信号质量，核心优势在于抗混叠和提升分辨率。典型应用包括音频处理和通信系统，技术流程涉及高速采样、数字滤波和抽取。 机器学习中的过采样： 针对类别不平衡问题，通过复制或生成少数类样本来平衡数据集分布。常见方法包括随机过采样和SMOTE，虽能提升少数类识别率，但存在过拟合风险。 关键区别： 信号处理侧重物理信号质量优化，机器学习关注数据分布平衡。两者虽然同名，但解决的是不同性质的问题，应用时需严格区分技术场景。
2025-06-24 10:01:46
431
原创 NLP基础
本文系统梳理NLP文本预处理全流程关键技术。重点解析中文分词（jieba工具）、文本清洗、向量化表示（One-hot/TF-IDF/Word2Vec/BERT对比）、数据增强（同义词替换/回译）及词性标注等核心环节。通过代码示例展示中文文本清洗与分词实操，对比不同文本表示方法的维度特点与适用场景。文章强调预处理质量决定模型上限，建议掌握jieba中文处理、2种以上文本表示方法，并进行完整数据集预处理实验。预处理作为NLP基石，是工程师必须掌握的核心能力。
2025-06-24 09:29:48
454
原创 ANN、CNN、RNN 深度解析
本文深度解析了深度学习的三大神经网络：人工神经网络（ANN）、卷积神经网络（CNN）和循环神经网络（RNN）。首先详细介绍了ANN的结构原理、激活函数对比、反向传播算法实现及参数初始化技术，并给出PyTorch实现示例。其次，重点阐述了CNN的卷积操作原理、核心层类型、现代架构（如ResNet），以及完整训练系统设计。然后，深入剖析了RNN的数学原理、LSTM/GRU门控机制、双向LSTM和注意力机制等高级架构。最后对比了三种神经网络的特性，探讨了它们的融合策略（如CNN-RNN模型）和优化方法（混合精度训
2025-06-22 14:18:21
1549
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人