![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ml
机器学推导记录
hsb1132
这个作者很懒,什么都没留下…
展开
-
强化学习小记
如果程序没有收敛, 奖励会一直往外扩展,直到扩展出去的奖励超过衰减率。如果只有正向奖励,相当于记录了统计上的最短距离。如果有负向奖励或者多种奖励,相当于记录了当前状态做当前操作的统计收益。每一个状态都是当前操作得到的奖励,加上他做当前操作后到达的下一状态的奖励值衰减回来。相当于是迭代求解贝尔曼方程,将最后结果按学习率和衰减率扩散到所有状态。原创 2023-09-07 17:50:38 · 56 阅读 · 0 评论 -
Transformer
1. transformer与RNN1)训练阶段不需要循环训练,输入数据直接输入序列数据进行embedding,不需要像RNN一样将序列数据依次放进模型。训练时由input生成attetion(相当于生成中间语言义信息,key-value),由output根据input生成的中间语义及目标值序列加掩码输出预测结果。2) 解码阶段需要循环解码,由语义及已经解码部分持续 生成未解码部分。2. embedding1) embedding由输入数据embedding、位置信息embed.原创 2020-11-17 16:11:33 · 261 阅读 · 1 评论 -
无推导GBDT
1.GBDT整体上的效果相当于将数据集划分成了很多小的子空间,用子空间的均值作为空间内样本的估计值。2.学习方法是提升方法,先用一个弱学习器作为基本预测y0=f(x),此时预测值y0和真实值Y之间会有误差,然后将这个误差通过一个损失函数进行扭曲和放大;损失函数自变量是y0,因变量是L,思路是希望调整y0使L变小。3.使L变小最快的方法将y0沿损失函数负梯度方向调整,也即梯度下降。实现上是将...原创 2020-04-04 11:17:26 · 174 阅读 · 0 评论 -
kaldi之HCLG生成
1.words.txt : word->id ; phones.txt: 音素->id; silence.csl:静音音素id; disambig.int:消歧音素id原创 2020-04-01 14:55:09 · 906 阅读 · 0 评论 -
GMM-HMM语音识别
模式识别中,一般假设噪声服从高斯分布,0/1信号加上噪声后,接收端会将信号放在两个高斯中算概率,然后用判决门限来识别原始信号,是单高斯模型。音素识别时,也可以用K个高斯表示K个音素混合,类似聚类的思路。但语音识别中是用多个高斯来表示一个音素,因为分帧时会将音素分成很多段,每帧不一定包含了一个完整的音素。语音识别中可以用KMeans来找HMM的参数初始值。...原创 2020-02-21 07:17:24 · 290 阅读 · 0 评论 -
语音识别之特征提取
1.因为语音信号不是平稳信号(均值方差等统计特征随时间变化),所以需要将信号分切成很多短的小范围内平稳的信号段(到音素级别),也就是分帧,常用的帧长为 25ms,帧移是10ms,前后帧重叠会使前后帧的统计特征不至于变化太大。分帧是用窗口函数与原信号相乘,但时域相乘到了频域是卷积,窗口函数如果用矩形窗则会因为矩形信号频谱有比较大的旁瓣而造成频率泄漏,所以一般用旁瓣小的汉明窗。采样时频率分辨...原创 2020-01-12 12:38:30 · 1463 阅读 · 0 评论 -
LDA
原创 2019-10-22 11:17:04 · 341 阅读 · 0 评论 -
EM
原创 2019-10-22 11:14:53 · 599 阅读 · 0 评论 -
LR
原创 2019-10-22 11:13:35 · 114 阅读 · 0 评论 -
SVD存在性证明
原创 2019-10-22 11:04:35 · 425 阅读 · 0 评论 -
FTRL
原创 2019-10-22 11:03:15 · 264 阅读 · 0 评论 -
SVM二
原创 2019-10-22 11:00:29 · 87 阅读 · 0 评论 -
SVM一
原创 2019-10-22 10:58:01 · 121 阅读 · 0 评论 -
决策树每次分裂信息熵必减小的证明
原创 2019-10-22 10:54:40 · 356 阅读 · 0 评论