机器学习理论杂记
文章平均质量分 62
DL的一些理论的杂记
椰子奶糖
这个作者很懒,什么都没留下…
展开
-
神经网络的量化
神经网络的量化文章目录神经网络的量化ReferenceIntroductionQuantizationQuantization MappingValue ClippingAffine Quantization MappingScale Quantization MappingQuantized Matrix MultiplicationQuantized Matrix Multiplication MathematicsExampleQuantized Deep Learning LayersQuanti原创 2022-05-20 01:30:39 · 957 阅读 · 1 评论 -
SRCNN简记
SRCNN简记文章目录SRCNN简记参考传统超分超分辩率——example-based strategySRCNNPatch extraction and representationNon-linear mappingReconstructionLOSS实验部分指标说明:Filter numberFilter sizeNumber of layersExperiments on Color Channels参考图像超分辨-SRCNN(论文解读)PSNR-峰值信噪比(原理及python代码实原创 2022-01-10 22:21:29 · 1660 阅读 · 0 评论 -
图像插值简记
图像插值下面笔记中有三种:最近邻插值、双线性插值、双三次插值原创 2022-01-10 20:11:45 · 736 阅读 · 0 评论 -
强化学习基础——Gridword问题
Gridword问题文章目录Gridword问题随机策略最优策略代码实现强化学习基础部分的一道例题,题目长这样根据我们可以抽取题目中的信息建立马尔可夫决策模型:reward=0 出界时-1并回到原处,AB任意方向可跳转至A‘B’并得到对应rewardaction就是上下左右四个方向走这是一个没有终止态的马尔可夫决策过程,累计奖励记为:随机策略π(α∣s)\pi(\alpha|s)π(α∣s)表示在状态s下做action α\alphaα的概率然后用贝尔曼转原创 2021-12-01 18:06:00 · 1744 阅读 · 1 评论 -
奇异值分解SVD
奇异值分解SVD文章目录奇异值分解SVD参考草稿参考奇异值分解(SVD)推荐博客:刘建平Pinard草稿所谓SVD就是将任何实数矩阵分解的方法,其中A不要求是方阵即A=U∑VTA = U\sum V^TA=U∑VT原创 2021-08-30 15:39:41 · 231 阅读 · 0 评论 -
Generation and GAN(初步认知)
Generation and GAN文章目录Generation and GAN参考什么是Generation?什么是GAN?GAN 的理论支撑?Discriminator**Generator**的**Divergence**JS divergence is not suitableWasserstein DistanceGAN的瓶颈Diversity - Mode CollapseDiversity - Mode DroppingConditional GenerationCycle GAN参考原创 2021-08-13 23:33:42 · 549 阅读 · 0 评论 -
self-attention与Transformer补充
self-attention与Transformer文章目录self-attention与Transformer参考整体介绍内部结构multi-head self-attention回过头来看Transformerencoder部分decoder部分参考此前笔记:Tranformer李宏毅2021春机器学习课程:self-attention李宏毅2021春机器学习课程:Transformer双曲正切整体介绍之前有记过Transformer的笔记,但是属于一知半解的情况原创 2021-08-06 11:04:38 · 724 阅读 · 0 评论 -
RNN&LSTM
Recurrent Neural Network文章目录Recurrent Neural Network参考RNNLSTMThree-gateMemory CellLSTM ExampleLSTM StructureLSTM for RNN参考机器学习系列26-循环神经网络(Ⅰ)机器学习系列27-循环神经网络RNN(Ⅱ)RNNslot filling技术,它会分析用户说出的语句,将时间、地址等有效的关键词填到对应的槽上,并过滤掉无效的词语。用RNN处理Slot Filling的流程举例转载 2021-08-06 00:01:15 · 410 阅读 · 0 评论 -
周志华机器学习:神经网络
神经网络文章目录神经网络参考神经元模型感知机与多层网络误差逆传播算法(反向传播)5.12-5.14推导标准BP与累计BP过拟合问题全局最小和局部极小其他常见神经网络RBFARTSOM级联相关网络Elman网络Boltzmann机参考1、神经网络学习 之 M-P模型2、机器学习-第五章神经网络读书笔记(周志华)3、超平面是什么?——理解超平面(SVM开篇之超平面详解)4、【手推机器学习】感知机与超平面5、多层前馈神经网络及BP算法6、周志华----第5章神经网络(误差逆传播算法)7、【机器原创 2021-07-19 17:16:30 · 776 阅读 · 0 评论 -
周志华机器学习:决策树
决策树文章目录决策树参考基本流程划分选择信息增益决策树的生成——ID3,及其问题增益率决策树生成 ——C4.5,及其问题剪枝处理预剪枝和后剪枝统计学习方法中的剪枝CART算法(统计学习方法80)CART回归树CART分类树CART剪枝连续与缺失值连续值处理缺失值处理多变量决策树习题参考1、机器学习第二阶段:机器学习经典算法(2)——决策树与随机森林(视频)2、凸优化函数的定义、凸优化问题的概念及分类3、一文读懂决策树(上)——信息增益、信息增益率、Gini系数4、一文读懂决策树(原创 2021-07-13 22:52:19 · 727 阅读 · 0 评论 -
Convolution-CNN卷积
Convlution-CNN卷积文章目录Convlution-CNN卷积CNN总览Conv层的作用Conv就是FC去掉部分链接!Flatten参考CNN总览可以看到,对于一张图片,CNN首先要做的事Conv(卷积)+Max Pooling(池化),用以提取特征,然后经过Flatten之后扔到FC(全链接)里面做分类。Conv层的作用首先解释下几个属性:kernel=卷积核Filter = 卷积核的厚度(维度,也就是说对于一个kernel,他有很多Filter(且当i原创 2021-06-08 23:45:15 · 764 阅读 · 2 评论 -
Back propagation反向传播
Back propagation反向传播文章目录Back propagation反向传播链式求导法则原创 2021-06-08 00:36:17 · 423 阅读 · 0 评论 -
Transformer
Transformer文章目录Transformer参考总体架构Encoder输入部分注意力机制(attention)前馈神经网络Decoder参考Transformer从零详细解读(可能是你见过最通俗易懂的讲解)【NLP】Transformer模型原理详解总体架构Encoder输入部分Embedding对于文本进行拆分,每一个字定义一个x维度的字向量位置编码PE(pos,2i)=sinpos10002idmodelPE_{(pos,2i)} =原创 2021-06-07 17:26:20 · 496 阅读 · 0 评论 -
SoftMax
原创 2021-06-01 22:21:03 · 467 阅读 · 0 评论 -
最大似然估计(MLE)、最大后验概率估计(MAP)
最大似然估计(MLE)、最大后验概率估计(MAP)参考:https://zhuanlan.zhihu.com/p/26614750https://blog.csdn.net/u011508640/article/details/72815981原创 2021-05-18 00:06:32 · 566 阅读 · 0 评论 -
机器学习理论杂记
机器学习理论杂记序号名称1常用的Optimizer:SGD、SGDM、Adagrad、RMSProp、Adam2Bounding Box Regression原创 2021-05-17 23:05:32 · 427 阅读 · 2 评论 -
对Bounding Box Regression的理解
Bounding Box Regression原创 2021-05-17 23:03:44 · 380 阅读 · 0 评论 -
常用的Optimizer:SGD、SGDM、Adagrad、RMSProp、Adam
常用的Optimizer:SGD、SGDM、Adagrad、RMSProp、Adam下面记了几种:SGD、SGDM、Adagrad、RMSProp、Adam原创 2021-05-01 20:27:07 · 984 阅读 · 0 评论