不牌不改的博客_CSDN博客-【蓝桥杯提高】,【蓝桥杯普及】,【机器学习】领域博主

原创【计算机视觉】ViT：Vision Transformer 讲解

ViT vision transformer BERT NLP CV 图像分类 CLS encoder 全局平均池化 Global Average Pooling GAP patch 注意力 attention 归纳偏置 ResNet BiT CNNs 局部相关性（locality）和平移不变性（translation equivariance） Hybrid 预训练微调 pretrainfine-tune

2023-03-18 19:46:41 32

原创 torch 常用函数讲解【Ⅰ】

如果没有显式指明，则认为稀疏张量对应的完整张量应该在包含全部指定的非零元素的前提下，包含尽可能少的零元素。，因此可以判断出视图第一行的第二个元素为与第一行的第一个元素距离为 0，即视图第一行的第二个元素为存储序列的第一个元素。要求存在两个维度，第一维的数量表示稀疏张量对应的完整张量的维度个数，第二维的数量表示非零元素数量。，即视图第二行的第一个元素与视图第一行的第一个元素的距离为 0，即视图第二行的第一个元素也是存储序列的第一个元素。作用：返回对角线上的元素为 1，其他位置的元素为 0 的二维张量。

2023-03-13 13:47:48 89

原创【自然语言处理】GPT 系列讲解

GPT GPT-2 GPT-3 Transformer BERT ELMo decoder 预训练 pre-training 微调 fine-tuning 下游任务文本分类（Text Classification）、文本蕴涵（Textual entailment）、文本相似（Textual similarity）和问答与常识推理（Question Answering and Commonsense Reasoning）ELMo、BERT 和 GPT 的比较 Zero-shot few-shot one-s

2023-03-02 15:00:42 302 3

原创【自然语言处理】BERT 讲解

BERT Transformer GPT Attention encoder-decoder Seq2Seq endtoend ELMo Segment Embedding Token Embedding Posotion Embedding Masked Language Model 掩码语言模型 Next Sentence Prediction NSP 预训练微调 fine-tuning 自然语言推理下游任务 Single Sentence Classification Tasks

2023-03-02 10:23:28 128 1

原创【自然语言处理】Transformer 讲解

Transformer 多头注意力 Multi-Head self-attention sequence transduction models Encoder-Decoder Seq2Seq Position-wise Feed-Forward Networks 残差层规范化 Layer Normalization Batch Normalization positional encoding Sequence Mask Padding Mask CNN RNN Scaled Dot-Product

2023-03-02 09:54:41 145

原创【自然语言处理】Attention 讲解

注意力 attention Mechanism 编码解码 Encoder Decoder Seq2Seq Bahdanau Luong 全局注意力局部注意力 input-feeding Query Key Value Softmax 中间语义向量概率分布权重隐藏状态对齐 alignment Transformer Effective approaches to attention-based neural machine translation

2023-02-07 17:01:20 237 1

原创【自然语言处理】Seq2Seq 讲解

Encoder-Decoder 编码器解码器 Seq2Seq beam search BLEU 束搜索机器翻译 RNN LSTM GRU 中间语义表示贪婪搜索穷举搜索 n-gram 评价方法

2023-01-29 11:16:41 210

原创【自然语言处理】ELMo 讲解

ELMo Embedding from Language Model deep contextualized word representations RNN LSTM LM BiLM Char Encoder Layer CNN 上下文一词多义语境语义一维卷积字符卷积双向语言模型 Scaler Mixer HighWay Network 下游任务冻结 freeze 微调 fine-tuning 监督预训练池化损失函数芝麻街 residual 拼接堆叠 batch represent

2023-01-13 22:16:42 441

原创【机器学习】GRU 讲解

GRU RNN LSTM 长期依赖问题前向传播重置门更新门输入门输出门遗忘门

2023-01-09 15:22:12 527 1

原创【编译原理】实验四：Yacc 分析程序生成器

本次实验主要学习了yacc分析程序生成器的用法，yacc输入格式分为三部分，这与lex格式类似，第一部分是定义部分，第二部分是规则部分，第三部分是辅助函数。第一部分声明了头文件、宏以及一些全局变量或外部变量等；第二部分规定了一些记号和符号优先级等，同时以BNF的格式书写产生式（翻译方案）；

2023-01-08 22:31:44 482 1

原创【自然语言处理】条件随机场【Ⅴ】条件随机场解码问题

马尔可夫随机场团最大团概率无向图马尔可夫网势函数能量函数规范化因子条件随机场标注偏置 label bias CRF 随机场随机变量随机过程线性链向量形式矩阵形式估计问题学习问题前向向量后向向量解码问题梯度下降改进的迭代尺度 S算法 T算法转移特征函数状态特征函数 IIS 维特比算法非规范化概率判别模型生成模型隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率条件概率最大熵模型期望对数线性模型状态序列观测序列极大似然函数正则化

2023-01-06 15:53:06 277 1

原创【自然语言处理】条件随机场【Ⅳ】条件随机场学习问题

马尔可夫随机场团最大团概率无向图马尔可夫网势函数能量函数规范化因子条件随机场标注偏置 label bias CRF 随机场随机变量随机过程线性链向量形式矩阵形式估计问题学习问题前向向量后向向量解码问题梯度下降改进的迭代尺度 S算法 T算法转移特征函数状态特征函数 IIS 维特比算法非规范化概率判别模型生成模型隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率条件概率最大熵模型期望对数线性模型状态序列观测序列极大似然函数正则化

2023-01-06 15:51:23 225

原创【自然语言处理】条件随机场【Ⅲ】条件随机场估计问题

马尔可夫随机场团最大团概率无向图马尔可夫网势函数能量函数规范化因子条件随机场标注偏置 label bias CRF 随机场随机变量随机过程线性链向量形式矩阵形式估计问题学习问题前向向量后向向量解码问题梯度下降改进的迭代尺度 S算法 T算法转移特征函数状态特征函数 IIS 维特比算法非规范化概率判别模型生成模型隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率条件概率最大熵模型期望对数线性模型状态序列观测序列极大似然函数正则化

2023-01-06 15:49:47 231

原创【自然语言处理】条件随机场【Ⅱ】条件随机场概述

马尔可夫随机场团最大团概率无向图马尔可夫网势函数能量函数规范化因子条件随机场标注偏置 label bias CRF 随机场随机变量随机过程线性链向量形式矩阵形式估计问题学习问题前向向量后向向量解码问题梯度下降改进的迭代尺度 S算法 T算法转移特征函数状态特征函数 IIS 维特比算法非规范化概率判别模型生成模型隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率条件概率最大熵模型期望对数线性模型状态序列观测序列极大似然函数正则化

2023-01-06 15:40:10 249

原创【自然语言处理】条件随机场【Ⅰ】马尔可夫随机场

马尔可夫随机场团最大团概率无向图马尔可夫网势函数能量函数规范化因子条件随机场标注偏置 label bias CRF 随机场随机变量随机过程线性链向量形式矩阵形式估计问题学习问题前向向量后向向量解码问题梯度下降改进的迭代尺度 S算法 T算法转移特征函数状态特征函数 IIS 维特比算法非规范化概率判别模型生成模型隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率条件概率最大熵模型期望对数线性模型状态序列观测序列极大似然函数正则化

2023-01-06 15:30:04 277

原创【编译原理】实验三：使用 Lex 自动生成扫描程序

本次实验主要学习了Lex输入文件的格式，布局分为三部分，定义段、规则段和用户代码段，段间通过双百分号间隔开来，定义段完成了include头文件和变量、函数的声明等，规则段采用正则表达式的形式说明匹配规则，用户代码段实现了声明的函数，生成对应的.c代码。本次实验要求统计不同关键字、标识符、运算符的个数。填写id2keyword函数实现区别关键字与用户自定义的标识符，定义有关正整数和用户自定义标识符对应的正则表达式。因为在很早之前自学过正则表达式的相关知识，所以并没有被本次实验填写正则表达式的部分难住。

2022-12-29 22:44:33 485 3

原创【自然语言处理】最大熵马尔可夫模型

最大熵马尔可夫模型（maximum-entropy Markov model，MEMM）又称为条件马尔可夫模型（conditional Markov model，CMM）。单纯顾名思义的话，可能会认为最大熵马尔可夫模型是最大熵模型与马尔可夫模型的融合，但其实，它结合了最大熵模型和隐马尔可夫模型（HMM）的共同特点，被广泛应用于序列标注问题。我们的讨论是以观测与状态是一对一关系为前提，而不考虑多个观测对应一个状态的情况，比如：被认为是一个专有名词，而不是一个形容词和一个名词。先对比 MEMM 与 HMM。二

2022-12-25 16:29:51 764 6

原创【编译原理】实验二：NFA到DFA

编写一个FreeNFA函数和一个FreeDFA函数，当在main函数的最后调用这两个函数时，可以将整个NFA和DFA的内存分别释放掉，从而避免内存泄露。释放NFA内存比较容易，只要顺序free NFASateList即可掌握NFA和DFA的概念。掌握é闭包的求法和子集的构造方法。实现NFA到DFA的转换。完成从正则表达式到NFA的转换过程是完成本实验的先决条件。虽然DFA和NFA都是典型的有向图，但是基于NFA自身的特点，在之前使用了类似二叉树的数据结构来存储NFA，达到了简化的目的。

2022-12-24 23:12:28 956 3

原创【编译原理】实验一：熟悉实验环境VSCode并完成正则表达式转换为NFA

vscode 编译原理正则表达式 NFA DFA 非确定有穷自动机 Git Bash 克隆自动化验证编写一个FreeNFA函数，当在main函数的最后调用此函数时，可以将整个NFA的内存释放掉，从而避免内存泄露。编写完代码之后可以对input2.txt到input5.txt中的算例进行一一验证，确保程序可以将所有形式的正则表达式转换为正确的NFA，并验证通过。对文件中的正则表达式进行验证，并画出例7和例8的NFA状态图。详细阅读re2post函数中的源代码，并尝试在源代码中添加注释。然后尝试为

2022-12-23 21:28:42 1001 5

原创【机器学习】最大熵模型【下】最大熵模型学习的最优化算法

最大熵原理最大熵模型 entropy 熵特征函数信息论概率论概率分布约束条件条件熵约束最优化问题拉格朗日函数对偶问题强对偶极大极小对偶函数原始问题规范化因子条件概率分布极大似然估计交叉熵参数学习 GIS IIS 通用迭代尺度算法改进的迭代尺度算法牛顿法拟牛顿法梯度下降法偏导数乘子等价期望经验 EM算法 A maximum entropy approach to natural language processing

2022-12-21 17:29:08 880 3

原创【机器学习】最大熵模型【上】最大熵模型概述与约束最优化问题

最大熵原理最大熵模型 entropy 熵特征函数信息论概率论概率分布约束条件条件熵约束最优化问题拉格朗日函数对偶问题强对偶极大极小对偶函数原始问题规范化因子条件概率分布极大似然估计交叉熵参数学习 GIS IIS 通用迭代尺度算法改进的迭代尺度算法牛顿法拟牛顿法梯度下降法偏导数乘子等价期望经验 EM算法 A maximum entropy approach to natural language processing

2022-12-20 16:16:40 651 3

原创【编译原理】第四章部分课后题答案

根据表4.1的语法制导定义，为输入表达式5*(4*3+2)构造注释分析树构造表达式((a*b)+(c))的分析树和语法树一个语法制导定义，它输出括号的对数它输出括号嵌套的最大深度打印出错信息它完成一个句子的while-do最大嵌套层次的计算并输出这个计算结果下列文法产生由+作用于整常数或实常数的表达式。两个整数相加时，结果是整型，否则是实型表达式由+和*作用于变量x和常数组成给出把中缀表达式翻译成没有冗余括号的中缀表达式的语法制导定义重写例4.3语法制导定义的基础文法,然后重新设计语法制导

2022-12-19 09:21:14 820

原创【编译原理】第三章部分课后题答案

为习题3.3的文法构造SLR分析表为下面文法构造规范LR(1)分析表，画出像图3.20这样的状态转换图就可以上述状态转换图有同心项目集吗？若有，合并同心项目集后是否会出现动作冲突为句子abab构造两个不同的最左推导，以此说明该文法是二义的下面的二义文法描述命题演算公式，为它写一个等价的非二义性文法构造分析树消除二义性消除左递归构造预测分析器构造分析表是否为LL(1)文法

2022-12-13 17:54:14 722 1