pen-ai-CSDN博客

原创【NLP】33. Pinecone + OpenAI ：构建自定义语义搜索系统

{"id": "doc1", "text": "老虎是一种主要生活在亚洲的肉食动物"},{"id": "doc2", "text": "大象是陆地上最大的动物，有长鼻和大耳朵"},{"id": "doc3", "text": "保龄羊是生活在欧洲高原的羊类动物"},{"id": "doc4", "text": "老鼠是一种常见小型动物，有很强的生存力"}

2025-05-05 14:19:56 381

原创【NLP】32. Transformers （HuggingFace Pipelines 实战）

本教程基于 Hugging Face 的库，展示如何使用预训练模型完成以下任务：

2025-05-05 14:06:56 412

原创【NLP】 31. Retrieval-Augmented Generation（RAG）：KNN-LM, RAG、REALM、RETRO、FLARE

KNN-LM, RAG、REALM、RETRO、FLARE

2025-05-05 13:29:31 694

原创【NLP】30. 深入理解 In-Context Learning 的核心机制与策略

深入理解 In-Context Learning 的核心机制与策略

2025-05-05 12:45:05 527

原创【NLP】29. 高效训练与替代模型：让语言模型更轻、更快、更强

高效训练与替代模型：让语言模型更轻、更快、更强

2025-05-05 11:09:31 564

原创【NLP】 28. 语言模型的评估方式：MRR, PERPLEXITY, BLEU, WER从困惑度到实际效果

语言模型的评估方式：MRR, PERPLEXITY, BLEU, WER从困惑度到实际效果

2025-05-05 11:05:42 1249

原创【NLP】27. 语言模型训练以及模型选择：从预训练到下游任务

语言模型训练以及模型选择：从预训练到下游任务

2025-05-05 10:59:08 1171

原创【NLP】 26. 语言模型原理与概率建模方法详解（Language Models）

语言模型（Language Model, LM）是自然语言处理的核心组件之一。其任务是，反映这段文本在自然语言中的“合理性”或“常见性”。在本章节中，我们将从基本定义出发，深入讲解语言模型的建模方法（包括 n-gram 模型、链式法则分解、Markov 假设等）、概率计算技巧、数值稳定性对策，以及各类方法的优缺点对比。

2025-05-05 10:37:54 967

原创【统计方法】模型子集选择：R2,BIC,Mallows Cp, 岭回归、Lasso、Elastic Net

【统计方法】模型子集选择：R2,BIC,Mallows Cp, 岭回归、Lasso、Elastic Net

2025-04-30 13:35:59 807

原创【统计方法】Bootstrap，缺失值机制与处理，kappa指标，类别不均衡：采样方法介绍

【统计方法】Bootstrap，缺失值机制与处理，kappa指标，类别不均衡：采样方法介绍

2025-04-30 07:50:44 778

原创【统计方法】交叉验证：Resampling, nested 交叉验证等策略【含R语言】

【统计方法】交叉验证：Resampling, nested 交叉验证等策略【含R语言】

2025-04-29 23:52:55 1396

原创【NLP】25.python实现点积注意力,加性注意力,Decoder（解码器）与 Attention

python实现点积注意力,加性注意力,Decoder（解码器）与 Attention

2025-04-14 14:45:12 407

原创【NLP】24. spaCy 教程：自然语言处理核心操作指南（进阶）

spaCy 教程：自然语言处理核心操作指南（进阶）

2025-04-14 14:17:35 378

原创【NLP】23.小结：选择60题

encoder decoder 选择60题

2025-04-14 13:54:27 939

原创【NLP】 22. NLP 现代教程：Transformer的训练与应用全景解读

NLP 现代教程：Transformer的训练与应用全景解读

2025-04-14 07:19:39 740

原创【NLP】 21. Transformer整体流程概述 Encoder 与 Decoder架构对比

Transformer整体流程概述 Encoder 与 Decoder架构对比

2025-04-14 07:16:33 1016

原创【NLP】 20. Attention 和 self-attention

Attention 和 self-attention

2025-04-14 06:32:17 1066

原创【NLP】 19. Tokenlisation 分词 BPE, WordPiece, Unigram/SentencePiece

tokenlisation

2025-04-13 23:23:20 804 1

原创【NLP】18. Encoder 和 Decoder

Encoder 和 Decoder

2025-04-13 21:30:38 908

原创【NLP】 17. 上下文显示Contextual Repressentations，word2vec,glove,fasttext,多义词,双向RNN与模型微调

上下文显示Contextual Repressentations，word2vec,glove,fasttext,多义词,双向RNN与模型微调

2025-04-13 21:01:47 924

原创【统计方法】无监督学习中的聚类方法：K-mean和Hierarchical层次聚类

聚类方法

2025-04-02 09:55:17 714

原创【NLP】16. NLP推理方法重点回顾 -- 52道多选题

在动态规划中，发射概率（emission probabilities）（A）用于表示词对标签的概率，转移概率（transition probabilities）（B）表示前后标签的转换概率。动态规划（DP）可确保找到全局最优解（A），而贪心算法仅基于局部最优选择，可能导致次优解（C）。优势在于穷举搜索能考虑所有可能的结构，从而保证找到全局最优解（A）和保证输出的结构完整性（C），但它计算量巨大，不适合长句，且计算效率低（B和D错误）。选项C和D均不正确。它并不保证最优（C），也不直接调整当前词概率（D）。

2025-03-31 13:00:09 634

空空如也

空空如也