qq_52441682的博客

从经典NNLM出发，从其局限处一步步讨论到Word2Vec；主要介绍了Word2Vec中4种实现方式，计算梯度，理解流程

从Distributional Hypothesis出发介绍Distributional Representation，对词-文共现矩阵使用TF-IDF赋值和SVD分解，并尽可能说明相应的原理和实现

介绍Transformer的一些组件，尽可能从多角度来探讨它们的作用。涉及位置编码的实现、比较层归一化和批量归一化、解码器中前瞻掩码的实现和作用

由seq2seq谈到编码器解码器架构，再向其中引入注意力机制，探讨Bahdanau Attention的局限性，介绍Transformer整体的架构，借助动图理解处理流程，辨析解码器训练阶段和预测阶段的差异

结合代码和图像，对注意力机制、自注意力机制、位置编码、多头注意力机制做了一些基础介绍；内容主要源于李沐老师和李宏毅老师，补充了一些个人理解

一、概述二、基本原理三、程序设计（一）流程（二）基本粒子群算法代码（三）适应度函数——Griewank函数（四）适应度函数——Rastrigin函数（五）例子：求解函数最小值

一、曲线拟合函数（一）概述（二）多项式拟合 polyfit（三）加权最小方差(WLS)拟合 自行编写polyfits（四）非线性曲线拟合 lsqcurvefit二、参数估计函数（一）常见分布的参数分布（二）点估计——最大似然估计 mle（三）点估计——矩估计法 moment（四）区间估计 mle...

一、产生随机变量二项分布随机数据正态分布随机数据常见分布随机数据的产生二、概率密度计算通用函数概率密度值专用函数概率密度值三、累积概率分布通用函数累积概率值专用函数累积概率值四、统计特征平均值、中位数、忽略NaN的中位数、几何平均数、调和平均数数据比较普通排序、按行排序、求解值域大小期望方差、标准差协方差、相关系数五、统计作图正整数频率表累积分布函数图形最小二乘拟合直线绘制正态分布概率图形样本数据的箱线图参考线绘制样本概率图形正态拟合直方图......

一、MATLAB符号计算概述二、符号对象和符号表达式符号对象的创建符号计算中的运算符和函数符号对象的类别识别函数表达式中确定有哪些符号变量精度计算三、符号表达式操作显示合并展开嵌套分解化简替换四、符号函数的操作复合函数操作反函数操作 五、符号微积分极限微分积分级数求和泰勒级数六、符号积分变换概述傅里叶变换及其反变换拉普拉斯变换及其反变换Z变换及其反变换七、符号方程求解符号代数方程求解符号微分方程求解八、符号分析可视化...

一、多项式及其函数（一）多项式的表达式和创建（二）多项式求根、由根创建多项式（三）多项式的四则运算（四）多项式的导数、积分、计算函数值（五）多项式运算函数及操作指令（六）有理多项式（部分分式展开，求导）二、数据插值（近似表达式预测插值点）（一）概述：插值问题（二）一维插值 （三）二维插值三、函数极限（一）极限概念（二）求极限的函数四、函数数值积分（一）数值积分问题的数学（二）一元函数的数值积分（三）多重数值积分...

一、概述（一）离散数据及离散函数（二）连续函数（三）基本步骤二、二维图形绘制（一）plot绘图指令（二）格栅 （三）文字说明（四）线型、标记和颜色（五）坐标轴设置（六）图形叠绘（七）子图绘制（八）交互式绘图（九）双坐标轴绘制（十）fplot绘图指令 （直接根据函数作图）（十一）ezplot绘图指令 (隐函数绘图、参数方程绘图)（十二）特殊坐标轴绘制（十三）二维特殊图形函数三、三维图形绘制四、四维图形可视化.........

一、特殊矩阵创建二、改变矩阵大小三、矩阵重构四、矩阵元素运算五、矩阵元素操作六、矩阵分析七、矩阵分解八、特征值和特征向量九、稀疏矩阵

一、字符串的构造（一）直接赋值构造（二）字符串连接（横向，纵向）二、字符串比较函数（一）使用关系运算符比较（二）使用strcmp()函数三、字符串查找和替换函数（一）查找与搜索（findstr()）（二）替换四、字符串与各种数据类型的转换......

一、算术运算符（一）算术运算符（二）常用运算函数二、关系运算符三、逻辑运算符（一）逻辑运算符及运算（二）逻辑函数四、运算优先级

一、矩阵和数组（一）矩阵概念（二）数组概念（三）二者区别与联系二、矩阵的构造（一）直接赋值构造（二）特殊矩阵构建指令（三）向量、标量和空矩阵三、矩阵大小及结构的改变（旋转、大小改变，结构改变）（一）B=flipdim(A,dim)，行列逆序排列（二）B=rot90(A)，逆时针旋转（三）B=reshape(A,m,n)，保证元素个数不变，按列不断索引（四）B=repmat(A,[m,n])，B由m*n块A复制平铺而成（五）B=shiftdim(A,k)，将矩阵A的维度向左移动K四

MATLAB2016笔记（一）：数据类型（数值类型、逻辑类型、字符串、函数句柄、结构体、数组、单元数组、map）

数学建模笔记（十五）：多元统计分析及R语言建模（判别分析、聚类分析、主成分分析、因子分析，含数据代码注释，均可供运行）

Nextj=Next[j]NextNext[0,j−1]Next[j]Next。

实验采用的是路透社数据集，它包含46个不同的主题，每个主题至少有10个样本，训练集有8982个样本，测试集有2246个样本数据集中的新闻内容同样经过了预处理，由单词序列转化为了整数序列数据集与上一个实验基本一致，仅仅是labels有差异，之前由于是二分类问题所以数组仅有01组成而此时为多分类问题，所以数组由0到45的整数组成，每个整数代指一个主题（这个指代是约定好了的）DeepLearing记录电影评论分类——二分类问题。...

状态fif_ifi​~fc−1f_{c-1}fc−1​才是可以相互转换的状态。