机器学习公式推导理解
理解,总结和归纳常用的机器学习深度学习模型算法。
TransientYear
凑个32块的整
展开
-
Adam优化算法
文章目录算法内容算法内容Adam算法使用了动量变量 vtv_tvt 和RMSProp算法中小批量随机梯度按元素平方的指数加权移动平均变量 sts_tst ,并在时间步0将它们中每个元素初始化为0。给定超参数 0≤β1<10≤β_1<10≤β1<1 (默认设为0.9),时间步 t 的动量变量 vtv_tvt 即小批量随机梯度 gtg_tgt 的指数加权移动平均:vt...原创 2020-04-27 12:36:43 · 761 阅读 · 0 评论 -
Xavier initialization 理解与实现(python 与 C)
文章目录初始化原因基本思想caffe 下的 xavier 实现Glorot & Bengio xavier 实现简单推导初始化原因具体的初始化原因可以关注这篇博客-浅谈深度学习初始化参数。基本思想基本思想是保持输入和输出的方差一致,这样就避免了所有输出值都趋向于0。注意,为了问题的简便,其推导过程是基于线性函数的,但是它在一些非线性神经元中也很有效。caffe 下的 xavier...原创 2019-11-05 13:11:42 · 2677 阅读 · 1 评论 -
浅谈深度学习初始化参数(weight initialization)
文章目录初始化为0的可行性?随机初始化Xavier initializationHe initializationBatch Normalization Layer参考资料深度学习模型训练过程的本质是对weight进行更新,这需要每个参数有相应的初始值。有人可能会说:“参数初始化有什么难点?直接将所有weight初始化为0或者初始化为随机数!” 对一些简单的机器学习模型,或当optimizat...原创 2019-11-01 15:40:40 · 5800 阅读 · 2 评论 -
详解机器学习主成分分析(PCA)
文章目录信息量的损失特征不相关PCA 推导过程PCA的计算过程特征数 k 的选择关于PCA的注意事项信息量的损失看这样一组二维数据:我们想要将数据降到一维,到底是图中的红线好呢还是绿线好呢?降维就意味着信息的丢失,我们需要做的,就是尽可能将这样的信息损失降低。我们可以很直观地看到,数据点和直线的距离就在降维的过程中丢失掉了。显然,绿线丢失的数据要比红线多。所以,我们可以判断,...原创 2019-10-30 17:29:44 · 2343 阅读 · 0 评论 -
深度学习 softmax 函数的C语言和python实现
文章目录Softmax函数数字过大导致溢出问题解决python 实现C语言实现Softmax函数softmax 在深度学习分类任务中常被用于最后一层输出每个类别的概率,其公式如下:σ(z)j=ezj∑k=1Kezzk\sigma(z)_j = \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z^{z_k}}}σ(z)j=∑k=1Kezzkezjzj z_...原创 2019-10-28 16:48:17 · 1044 阅读 · 7 评论 -
如何正确的选择聚类算法
文章目录四种基本算法以及如何选择基于连通性的聚类或层次聚类基于质心的聚类期望最大化算法基于数据密度的聚类这里介绍四种基本的聚类算法—层次聚类、基于质心的聚类、最大期望算法和基于密度的聚类算法,并讨论不同算法的优缺点。聚类算法十分容易上手,但是选择恰当的聚类算法并不是一件容易的事。数据聚类是搭建一个正确数据模型的重要步骤。数据分析应当根据数据的共同点整理信息。然而主要问题是,什么一般性的参数...翻译 2019-10-26 16:38:53 · 7554 阅读 · 0 评论 -
softmax激活+crossEntropy损失求导公式推导
文章目录原创 2019-08-19 10:03:17 · 2655 阅读 · 1 评论 -
理解 LSTM 网络
理解 LSTM 网络递归神经网络(RNN)长期依赖性问题LSTM 网络LSTM 核心想法逐步解析 LSTM 的流程长短期记忆的变种结论鸣谢递归神经网络(RNN)Recurrent Neural Networks人类并不是时刻都从头开始思考。如果你阅读这篇文章,你是在之前词汇的基础上理解每一个词汇,你不需要丢掉一切从头开始思考。你的思想具有延续性。传统的神经网络无法做到这样,并且这成为了...翻译 2019-06-26 14:53:57 · 4112 阅读 · 0 评论 -
机器学习概率基础-高斯分布相关重要知识推导
文章目录高斯分布的最大似然估计参数均值与方差的有偏无偏估计关于均值的无偏估计关于方差的有偏估计高斯分布的最大似然估计数据 X=(x1,⋯ ,xN)⊤=(x1⊤⋮xN⊤)N×p,xi∈RP,xi∼ iid N(μ,Σ)X=\left(x_{1}, \cdots, x_{N}\right)^{\top}=\left(\begin{array}{c...原创 2019-07-15 12:51:18 · 775 阅读 · 0 评论 -
详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解
文章目录概率和统计是一个东西吗?贝叶斯公式到底在说什么?似然函数最大似然估计最大后验概率估计最大似然估计和最大后验概率估计的区别最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种参数估计方法,如果不理解这两种方法的思路,很容易弄混它们。下文将详细说...转载 2019-06-27 17:10:53 · 2502 阅读 · 2 评论 -
线性回归中关于特征收缩与选择的方法比较(七种常用的线性回归)(python-sklearn实现)
文章目录什么是特征收缩或者特征选择设置和数据加载线性回归偏差方差均衡最佳子集回归本文讨论了线性回归中七种常用的特征收缩和选择方法的数学属性和实际的Python应用。什么是特征收缩或者特征选择在线性回归中,特征收缩或者特征选择意味着从可用特征中选择要包含在模型中的子集特征,从而减少其维数。另一方面,收缩意味着减小系数估计的大小(可将它们缩小到零)。请注意,如果系数缩小到恰好为零,则相应的变量将...翻译 2019-05-13 14:27:00 · 6714 阅读 · 2 评论 -
详解机器学习中 ROC曲线、AUC值、正确率、召回率
文章目录前言简介医学图像识别二分类问题ROC 曲线如何画ROC曲线AUC前言简介在分类任务中,人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上,这样的度量错误掩盖了样例如何被分错的事实。在机器学习中,有一个普遍适用的称为混淆矩阵(confusion matrix)的工具,它可以帮助人们更好地了解分类中的错误。比如有这样一个在房子周围可能发现...转载 2019-04-18 10:47:44 · 17617 阅读 · 1 评论 -
最小二乘估计,矩阵求导法(正规方程)全推导
1.矩阵求导:函数自变量是矩阵,求导是对矩阵的每一个元素分别求导后,组成新的矩阵。例:2.矩阵的迹: 矩阵迹的常用性质: 矩阵迹与矩阵求导相关结论:3.证明最小二乘的正规方程(矩阵...原创 2018-05-06 11:28:31 · 14948 阅读 · 0 评论 -
最小二乘法的概率解释
当我们面对回归问题时,为什么会采用线性回归,最小二乘法来定义成本函数,即1/2的差的平方和。这里给出概率解释:我们拟合的直线的函数值即预测值必然和真实值会存在误差。那么假定一个等式: 其中各个样本的误差项,是独立同分布且服从高斯分布(正态分布)。(可根据中心极限定理来看)即就是: 均值为0,容易理解.所以, ...原创 2018-05-05 17:41:41 · 6717 阅读 · 0 评论 -
线性回归学习文档(理论推导+实战)附实战代码
附:实战代码线性回归实战代码局部加权回归实战代码利用线性回归预测鲍鱼年龄实战代码 附PDF学习文档线性回归学习文档PDF 机器学习入门。线性回归学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-07-13 11:53:35 · 459 阅读 · 2 评论 -
AdaBoost(原理公式推导+python实战代码分析)(全)
学习文档:AdaBoost学习文档实战代码:AdaBoost实战代码机器学习入门。AdaBoost学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-11-12 18:03:27 · 1752 阅读 · 2 评论 -
决策树(原理公式推导+python实战代码分析)(全)
学习文档:决策树学习笔记实战代码:决策树实战代码机器学习入门。决策树学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-11-05 17:46:29 · 5296 阅读 · 3 评论 -
感知机(原理公式推导+python实战代码分析)(全)
学习文档:感知机学习笔记实战代码:感知机实战代码机器学习入门。感知机学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-11-05 17:26:09 · 1627 阅读 · 0 评论 -
支持向量机(原理公式推导+python实战代码分析)(全)
实战代码:支持向量机实战代码(全)学习文档:支持向量机学习文档(全)机器学习入门。支持向量机学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:119458...原创 2018-10-12 17:22:55 · 1448 阅读 · 0 评论 -
逻辑回归学习文档(理论推导+实战)附实战代码
附录:逻辑回归实战代码逻辑回归学习文档PDF机器学习入门。逻辑回归学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-07-13 15:25:13 · 525 阅读 · 0 评论 -
朴素贝叶斯算法(原理,似然参数公式推导+python实战代码分析)
实战代码:朴素贝叶斯实战代码python学习笔记文档:朴素贝叶斯学习文档机器学习入门。朴素贝叶斯学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-08-03 09:46:06 · 1325 阅读 · 0 评论 -
高斯判别算法(生成学习算法,完整理论证明,似然估计,参数计算)
原学习文档:高斯判别算法学习文档 机器学习入门。逻辑回归学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,望指出。广泛讨论,共同进步。...原创 2018-07-17 18:31:04 · 1599 阅读 · 0 评论 -
K近邻(原理公式推导+python实战代码分析)(全)
学习文档:KNN学习笔记实战代码:KNN实战代码机器学习入门。KNN学习过程中遇到的问题,记录下来,可以说是学习笔记,希望能给大家带来帮助。由于手写难免会有一些错误察觉不到,广泛讨论,共同进步。邮箱:1194585271@qq.com...原创 2018-11-05 17:41:19 · 756 阅读 · 0 评论 -
AE(Autoencoder)详解 (pytorch实现)
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2019-03-27 18:23:35 · 13287 阅读 · 5 评论 -
线性回归(频率学派-最大似然估计)与岭回归(贝叶斯角度-最大后验估计)的概率解释
回归问题的概率解释线性回归的损失函数线性回归-最小二乘的概率解释(频率学派-最大似然估计)岭回归的损失函数岭回归的概率解释(贝叶斯学派-最大后验估计)对比最大似然估计与最大后验估计线性回归的损失函数J(θ)=12(y(i)−θTx(i))2J(\theta) = \frac{1}{2}(y^{(i)}-\theta^Tx^{(i)})^2J(θ)=21(y(i)−θTx(i))2线性回归-...原创 2019-09-26 20:58:35 · 6472 阅读 · 3 评论