- 博客(467)
- 资源 (2)
- 收藏
- 关注
原创 【计算机视觉】ViT:Vision Transformer 讲解
ViT vision transformer BERT NLP CV 图像分类 CLS encoder 全局平均池化 Global Average Pooling GAP patch 注意力 attention 归纳偏置 ResNet BiT CNNs 局部相关性(locality)和平移不变性(translation equivariance) Hybrid 预训练 微调 pretrainfine-tune
2023-03-18 19:46:41
32
原创 torch 常用函数讲解【Ⅰ】
如果没有显式指明,则认为稀疏张量对应的完整张量应该在包含全部指定的非零元素的前提下,包含尽可能少的零元素。,因此可以判断出视图第一行的第二个元素为与第一行的第一个元素距离为 0,即视图第一行的第二个元素为存储序列的第一个元素。要求存在两个维度,第一维的数量表示稀疏张量对应的完整张量的维度个数,第二维的数量表示非零元素数量。,即视图第二行的第一个元素与视图第一行的第一个元素的距离为 0,即视图第二行的第一个元素也是存储序列的第一个元素。作用:返回对角线上的元素为 1,其他位置的元素为 0 的二维张量。
2023-03-13 13:47:48
89
原创 【自然语言处理】GPT 系列讲解
GPT GPT-2 GPT-3 Transformer BERT ELMo decoder 预训练 pre-training 微调 fine-tuning 下游任务 文本分类(Text Classification)、文本蕴涵(Textual entailment)、文本相似(Textual similarity)和问答与常识推理(Question Answering and Commonsense Reasoning)ELMo、BERT 和 GPT 的比较 Zero-shot few-shot one-s
2023-03-02 15:00:42
302
3
原创 【自然语言处理】BERT 讲解
BERT Transformer GPT Attention encoder-decoder Seq2Seq endtoend ELMo Segment Embedding Token Embedding Posotion Embedding Masked Language Model 掩码语言模型 Next Sentence Prediction NSP 预训练 微调 fine-tuning 自然语言推理 下游任务 Single Sentence Classification Tasks
2023-03-02 10:23:28
128
1
原创 【自然语言处理】Transformer 讲解
Transformer 多头注意力 Multi-Head self-attention sequence transduction models Encoder-Decoder Seq2Seq Position-wise Feed-Forward Networks 残差 层规范化 Layer Normalization Batch Normalization positional encoding Sequence Mask Padding Mask CNN RNN Scaled Dot-Product
2023-03-02 09:54:41
145
原创 【自然语言处理】Attention 讲解
注意力 attention Mechanism 编码 解码 Encoder Decoder Seq2Seq Bahdanau Luong 全局注意力 局部注意力 input-feeding Query Key Value Softmax 中间语义向量 概率分布 权重 隐藏状态 对齐 alignment Transformer Effective approaches to attention-based neural machine translation
2023-02-07 17:01:20
237
1
原创 【自然语言处理】Seq2Seq 讲解
Encoder-Decoder 编码器 解码器 Seq2Seq beam search BLEU 束搜索 机器翻译 RNN LSTM GRU 中间语义表示 贪婪搜索 穷举搜索 n-gram 评价方法
2023-01-29 11:16:41
210
原创 【自然语言处理】ELMo 讲解
ELMo Embedding from Language Model deep contextualized word representations RNN LSTM LM BiLM Char Encoder Layer CNN 上下文 一词多义 语境 语义 一维卷积 字符卷积 双向语言模型 Scaler Mixer HighWay Network 下游任务 冻结 freeze 微调 fine-tuning 监督 预训练 池化 损失函数 芝麻街 residual 拼接 堆叠 batch represent
2023-01-13 22:16:42
441
原创 【编译原理】实验四:Yacc 分析程序生成器
本次实验主要学习了yacc分析程序生成器的用法,yacc输入格式分为三部分,这与lex格式类似,第一部分是定义部分,第二部分是规则部分,第三部分是辅助函数。第一部分声明了头文件、宏以及一些全局变量或外部变量等;第二部分规定了一些记号和符号优先级等,同时以BNF的格式书写产生式(翻译方案);
2023-01-08 22:31:44
482
1
原创 【自然语言处理】条件随机场【Ⅴ】条件随机场解码问题
马尔可夫随机场 团 最大团 概率无向图 马尔可夫网 势函数 能量函数 规范化因子 条件随机场 标注偏置 label bias CRF 随机场 随机变量 随机过程 线性链 向量形式 矩阵形式 估计问题 学习问题 前向向量 后向向量 解码问题 梯度下降 改进的迭代尺度 S算法 T算法 转移特征函数 状态特征函数 IIS 维特比算法 非规范化概率 判别模型 生成模型 隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率 条件概率 最大熵模型 期望 对数线性模型 状态序列 观测序列 极大似然函数 正则化
2023-01-06 15:53:06
277
1
原创 【自然语言处理】条件随机场【Ⅳ】条件随机场学习问题
马尔可夫随机场 团 最大团 概率无向图 马尔可夫网 势函数 能量函数 规范化因子 条件随机场 标注偏置 label bias CRF 随机场 随机变量 随机过程 线性链 向量形式 矩阵形式 估计问题 学习问题 前向向量 后向向量 解码问题 梯度下降 改进的迭代尺度 S算法 T算法 转移特征函数 状态特征函数 IIS 维特比算法 非规范化概率 判别模型 生成模型 隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率 条件概率 最大熵模型 期望 对数线性模型 状态序列 观测序列 极大似然函数 正则化
2023-01-06 15:51:23
225
原创 【自然语言处理】条件随机场【Ⅲ】条件随机场估计问题
马尔可夫随机场 团 最大团 概率无向图 马尔可夫网 势函数 能量函数 规范化因子 条件随机场 标注偏置 label bias CRF 随机场 随机变量 随机过程 线性链 向量形式 矩阵形式 估计问题 学习问题 前向向量 后向向量 解码问题 梯度下降 改进的迭代尺度 S算法 T算法 转移特征函数 状态特征函数 IIS 维特比算法 非规范化概率 判别模型 生成模型 隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率 条件概率 最大熵模型 期望 对数线性模型 状态序列 观测序列 极大似然函数 正则化
2023-01-06 15:49:47
231
原创 【自然语言处理】条件随机场【Ⅱ】条件随机场概述
马尔可夫随机场 团 最大团 概率无向图 马尔可夫网 势函数 能量函数 规范化因子 条件随机场 标注偏置 label bias CRF 随机场 随机变量 随机过程 线性链 向量形式 矩阵形式 估计问题 学习问题 前向向量 后向向量 解码问题 梯度下降 改进的迭代尺度 S算法 T算法 转移特征函数 状态特征函数 IIS 维特比算法 非规范化概率 判别模型 生成模型 隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率 条件概率 最大熵模型 期望 对数线性模型 状态序列 观测序列 极大似然函数 正则化
2023-01-06 15:40:10
249
原创 【自然语言处理】条件随机场【Ⅰ】马尔可夫随机场
马尔可夫随机场 团 最大团 概率无向图 马尔可夫网 势函数 能量函数 规范化因子 条件随机场 标注偏置 label bias CRF 随机场 随机变量 随机过程 线性链 向量形式 矩阵形式 估计问题 学习问题 前向向量 后向向量 解码问题 梯度下降 改进的迭代尺度 S算法 T算法 转移特征函数 状态特征函数 IIS 维特比算法 非规范化概率 判别模型 生成模型 隐马尔可夫模型 HMM 最大熵马尔可夫模型 MEMM 联合概率 条件概率 最大熵模型 期望 对数线性模型 状态序列 观测序列 极大似然函数 正则化
2023-01-06 15:30:04
277
原创 【编译原理】实验三:使用 Lex 自动生成扫描程序
本次实验主要学习了Lex输入文件的格式,布局分为三部分,定义段、规则段和用户代码段,段间通过双百分号间隔开来,定义段完成了include头文件和变量、函数的声明等,规则段采用正则表达式的形式说明匹配规则,用户代码段实现了声明的函数,生成对应的.c代码。本次实验要求统计不同关键字、标识符、运算符的个数。填写id2keyword函数实现区别关键字与用户自定义的标识符,定义有关正整数和用户自定义标识符对应的正则表达式。因为在很早之前自学过正则表达式的相关知识,所以并没有被本次实验填写正则表达式的部分难住。
2022-12-29 22:44:33
485
3
原创 【自然语言处理】最大熵马尔可夫模型
最大熵马尔可夫模型(maximum-entropy Markov model,MEMM)又称为条件马尔可夫模型(conditional Markov model,CMM)。单纯顾名思义的话,可能会认为最大熵马尔可夫模型是最大熵模型与马尔可夫模型的融合,但其实,它结合了最大熵模型和隐马尔可夫模型(HMM)的共同特点,被广泛应用于序列标注问题。我们的讨论是以观测与状态是一对一关系为前提,而不考虑多个观测对应一个状态的情况,比如: 被认为是一个专有名词,而不是一个形容词和一个名词。先对比 MEMM 与 HMM。二
2022-12-25 16:29:51
764
6
原创 【编译原理】实验二:NFA到DFA
编写一个FreeNFA函数和一个FreeDFA函数,当在main函数的最后调用这两个函数时,可以将整个NFA和DFA的内存分别释放掉,从而避免内存泄露。释放NFA内存比较容易,只要顺序free NFASateList即可掌握NFA和DFA的概念。掌握é闭包的求法和子集的构造方法。实现NFA到DFA的转换。完成从正则表达式到NFA的转换过程是完成本实验的先决条件。虽然DFA和NFA都是典型的有向图,但是基于NFA自身的特点,在之前使用了类似二叉树的数据结构来存储NFA,达到了简化的目的。
2022-12-24 23:12:28
956
3
原创 【编译原理】实验一:熟悉实验环境VSCode并完成正则表达式转换为NFA
vscode 编译原理 正则表达式 NFA DFA 非确定有穷自动机 Git Bash 克隆 自动化验证编写一个FreeNFA函数,当在main函数的最后调用此函数时,可以将整个NFA的内存释放掉,从而避免内存泄露。编写完代码之后可以对input2.txt到input5.txt中的算例进行一一验证,确保程序可以将所有形式的正则表达式转换为正确的NFA,并验证通过。对文件中的正则表达式进行验证,并画出例7和例8的NFA状态图。详细阅读re2post函数中的源代码,并尝试在源代码中添加注释。然后尝试为
2022-12-23 21:28:42
1001
5
原创 【机器学习】最大熵模型【下】最大熵模型学习的最优化算法
最大熵原理 最大熵模型 entropy 熵 特征函数 信息论 概率论 概率分布 约束条件 条件熵 约束最优化问题 拉格朗日函数 对偶问题 强对偶 极大极小 对偶函数 原始问题 规范化因子 条件概率分布 极大似然估计 交叉熵 参数学习 GIS IIS 通用迭代尺度算法 改进的迭代尺度算法 牛顿法 拟牛顿法 梯度下降法 偏导数 乘子 等价 期望 经验 EM算法 A maximum entropy approach to natural language processing
2022-12-21 17:29:08
880
3
原创 【机器学习】最大熵模型【上】最大熵模型概述与约束最优化问题
最大熵原理 最大熵模型 entropy 熵 特征函数 信息论 概率论 概率分布 约束条件 条件熵 约束最优化问题 拉格朗日函数 对偶问题 强对偶 极大极小 对偶函数 原始问题 规范化因子 条件概率分布 极大似然估计 交叉熵 参数学习 GIS IIS 通用迭代尺度算法 改进的迭代尺度算法 牛顿法 拟牛顿法 梯度下降法 偏导数 乘子 等价 期望 经验 EM算法 A maximum entropy approach to natural language processing
2022-12-20 16:16:40
651
3
原创 【编译原理】第四章部分课后题答案
根据表4.1的语法制导定义,为输入表达式5*(4*3+2)构造注释分析树构造表达式((a*b)+(c))的分析树和语法树一个语法制导定义,它输出括号的对数它输出括号嵌套的最大深度打印出错信息它完成一个句子的while-do最大嵌套层次的计算并输出这个计算结果下列文法产生由+作用于整常数或实常数的表达式。两个整数相加时,结果是整型,否则是实型表达式由+和*作用于变量x和常数组成给出把中缀表达式翻译成没有冗余括号的中缀表达式的语法制导定义重写例4.3语法制导定义的基础文法,然后重新设计语法制导
2022-12-19 09:21:14
820
原创 【编译原理】第三章部分课后题答案
为习题3.3的文法构造SLR分析表为下面文法构造规范LR(1)分析表,画出像图3.20这样的状态转换图就可以上述状态转换图有同心项目集吗?若有,合并同心项目集后是否会出现动作冲突为句子abab构造两个不同的最左推导,以此说明该文法是二义的下面的二义文法描述命题演算公式,为它写一个等价的非二义性文法构造分析树消除二义性消除左递归构造预测分析器构造分析表是否为LL(1)文法
2022-12-13 17:54:14
722
1
原创 【自然语言处理】隐马尔可夫模型【Ⅵ】精度问题
隐马尔可夫模型 HMM 马尔可夫 Markov 马氏链 概率图 马尔可夫假设 状态序列 观测序列 齐次马尔可夫假设 观测独立性假设 三个基本问题 估计 evaluate 解码 decoding 预测 predict 学习 learning 联合概率 边缘概率 后验概率 直接计算 前向算法 前向概率 后向算法 后向概率 动态规划 递推 监督学习 无监督学习 Baum-Welch EM算法 迭代 拉格朗日 导数 近似算法 维特比算法 Viterbi 树型结构 最优路径 放大 scaling 精度 范围 多样本
2022-12-13 17:20:02
606
1
原创 【自然语言处理】隐马尔可夫模型【Ⅴ】解码问题
隐马尔可夫模型 HMM 马尔可夫 Markov 马氏链 概率图 马尔可夫假设 状态序列 观测序列 齐次马尔可夫假设 观测独立性假设 三个基本问题 估计 evaluate 解码 decoding 预测 predict 学习 learning 联合概率 边缘概率 后验概率 直接计算 前向算法 前向概率 后向算法 后向概率 动态规划 递推 监督学习 无监督学习 Baum-Welch EM算法 迭代 拉格朗日 导数 近似算法 维特比算法 Viterbi 树型结构 最优路径 放大 scaling 精度 范围 多样本
2022-12-13 17:17:29
519
原创 【自然语言处理】隐马尔可夫模型【Ⅳ】学习问题
隐马尔可夫模型 HMM 马尔可夫 Markov 马氏链 概率图 马尔可夫假设 状态序列 观测序列 齐次马尔可夫假设 观测独立性假设 三个基本问题 估计 evaluate 解码 decoding 预测 predict 学习 learning 联合概率 边缘概率 后验概率 直接计算 前向算法 前向概率 后向算法 后向概率 动态规划 递推 监督学习 无监督学习 Baum-Welch EM算法 迭代 拉格朗日 导数 近似算法 维特比算法 Viterbi 树型结构 最优路径 放大 scaling 精度 范围 多样本
2022-12-13 17:14:30
423
原创 【自然语言处理】隐马尔可夫模型【Ⅲ】估计问题
隐马尔可夫模型 HMM 马尔可夫 Markov 马氏链 概率图 马尔可夫假设 状态序列 观测序列 齐次马尔可夫假设 观测独立性假设 三个基本问题 估计 evaluate 解码 decoding 预测 predict 学习 learning 联合概率 边缘概率 后验概率 直接计算 前向算法 前向概率 后向算法 后向概率 动态规划 递推 监督学习 无监督学习 Baum-Welch EM算法 迭代 拉格朗日 导数 近似算法 维特比算法 Viterbi 树型结构 最优路径 放大 scaling 精度 范围 多样本
2022-12-13 17:07:57
465
1
原创 【自然语言处理】隐马尔可夫模型【Ⅱ】隐马尔科夫模型概述
隐马尔可夫模型 HMM 马尔可夫 Markov 马氏链 概率图 马尔可夫假设 状态序列 观测序列 齐次马尔可夫假设 观测独立性假设 三个基本问题 估计 evaluate 解码 decoding 预测 predict 学习 learning 联合概率 边缘概率 后验概率 直接计算 前向算法 前向概率 后向算法 后向概率 动态规划 递推 监督学习 无监督学习 Baum-Welch EM算法 迭代 拉格朗日 导数 近似算法 维特比算法 Viterbi 树型结构 最优路径 放大 scaling 精度 范围 多样本
2022-12-13 16:59:07
270
原创 【自然语言处理】隐马尔可夫模型【Ⅰ】马尔可夫模型
隐马尔可夫模型 HMM 马尔可夫 Markov 马氏链 概率图 马尔可夫假设 状态序列 观测序列 齐次马尔可夫假设 观测独立性假设 三个基本问题 估计 evaluate 解码 decoding 预测 predict 学习 learning 联合概率 边缘概率 后验概率 直接计算 前向算法 前向概率 后向算法 后向概率 动态规划 递推 监督学习 无监督学习 Baum-Welch EM算法 迭代 拉格朗日 导数 近似算法 维特比算法 Viterbi 树型结构 最优路径 放大 scaling 精度 范围 多样本
2022-12-13 16:55:26
372
原创 【编译原理】第二章部分课后题答案
编译原理 青岛大学 陈意云 第三版 第二章 叙述由下列正规式描述的语言为下列语言写出正规定义用算法2.4为下列正规式构造不确定有限自动机,给出它们处理输入串ababbab的状态转化序列用算法2.2把习题2.7中的第三问的NFA变换成DFA。给出它们处理输入串ababbab的状态转换序列可以从正规式的最简 DFA 同构来证明两个正规式等价。使用这种计数,证明为下列正规式构造最简的 DFA构造一个DFA的个数都是偶数的字符串,能被5整除的二进制数构造一个DFA,它接受所有大于101的二进制整数
2022-12-10 11:29:39
2077
2
原创 【机器学习】支持向量回归
支持向量回归 SVR 回归模型 支持向量机 管道 惩罚 拉格朗日 KKT 对偶 互补松弛 支持向量 几何意义 间隔 边界 超平面
2022-12-04 20:11:20
1216
2
原创 【机器学习】支持向量机【下】软间隔与核函数
支持向量机 SVM 硬间隔 对偶 拉格朗日 凸优化 线性可分 非线性可分 核函数 惩罚 正则化 超平面 KKT 条件 合页损失 hinge 损失函数 目标函数 决策函数 核技巧 核方法 软间隔 几何意义
2022-12-04 19:53:42
357
原创 【机器学习】支持向量机【上】硬间隔
支持向量机 SVM 硬间隔 对偶 拉格朗日 凸优化 线性可分 非线性可分 核函数 惩罚 正则化 超平面 KKT 条件 合页损失 hinge 损失函数 目标函数 决策函数 核技巧 核方法 软间隔 几何意义
2022-12-04 19:25:20
843
原创 【机器学习】核函数
核函数 核方法 核技巧 kernel 正定核 希尔伯特空间 映射函数 基函数 高斯核函数 径向基函数 完备 内积 特征值分解 线性核 多项式核 拉普拉斯核 Sigmoid 核 向量空间 线性空间 Gram矩阵 半正定矩阵 柯西序列 非线性
2022-12-01 17:16:57
618
原创 【机器学习】拉格朗日对偶性
lagrange 拉格朗日 对偶 无约束 等式约束 不等式约束 凸优化 凸集 凸问题 凸函数 凹函数 二次规划 几何意义 原始问题 Primal Dual 强对偶 弱对偶 KKT条件 Slater条件 对偶间隙 最优解 可行域 拉格朗日乘数法 拉格朗日乘子
2022-11-26 16:12:13
850
原创 【机器学习】主成分分析
PCA 主成分分析 最大投影方差 最小重构代价 特征值分解 奇异值分解 SVD 特征向量 特征值 中心化 规范化 相关性 投影面 投影方向 维数灾难 维数诅咒 降维 特征选择
2022-11-19 17:14:41
290
原创 【机器学习】线性分类【下】经典线性分类算法
广义线性模型 指数分布族 GLM 概率分布 线性回归 线性分类 逻辑回归 softmax logistics 泊松分布 对数线性模型 对数几率模型 高斯分布 伯努利分布 二项分布 充分性度量 二分类 多分类 多项分布 种类分布 感知机 口袋算法 pocket algorithm 线性判别分析 FDA LDA Fisher判别分析 高斯判别分析 GDA 朴素贝叶斯 半朴素贝叶斯 贝叶斯网
2022-11-15 23:32:41
503
1
原创 【机器学习】线性分类【上】广义线性模型
广义线性模型 指数分布族 GLM 概率分布 线性回归 线性分类 逻辑回归 softmax logistics 泊松分布 对数线性模型 对数几率模型 高斯分布 伯努利分布 二项分布 充分性度量 二分类 多分类 多项分布 种类分布 感知机 口袋算法 pocket algorithm 线性判别分析 FDA LDA Fisher判别分析 高斯判别分析 GDA 朴素贝叶斯 半朴素贝叶斯 贝叶斯网
2022-11-15 23:11:23
408
原创 【精读系列】GloVe: Global Vectors for Word Representation
GloVe Word2Vec Skip-gram ivBLB 词向量 共现矩阵 语义任务 语法任务 命名实体识别 NER 长尾分布 长尾效应 幂律分布 广义调和级数 黎曼函数 word analogy word similarity Named Entries Recognition NLP 自然语言处理 经典论文
2022-11-09 12:15:41
224
青岛大学计科专业大数据课程设计个人实验、小组实验代码及报告
2022-11-03
青岛大学计科专业软件工程课后作业、实验报告、实验绘图(全)
2022-11-03
青岛大学编译原理实验代码、实验报告、课后作业、课堂测验(全)
2022-11-03
青岛大学计算机科学技术学院Java课程设计实验报告(坦克大战等)
2022-06-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人