![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning
文章平均质量分 87
-麦_子-
天道酬勤
展开
-
TF2的梯度带(GradientTape),优化器(Optimizer)和损失函数(losses)
因为tensorflow 2.x相对于tensorflow 1.x的变动,API变更和思路也变化了,这节重点介绍的为梯度带(GradientTape)和优化器(Optimizer)因为大多数机器学习任务就是最小化损失,在损失定义的情况下,后面的工作就交给优化器啦。因为深度学习常见的是对于梯度的优化,也就是说,优化器最后其实就是各种对于梯度下降算法的优化。一.梯度带tf.GradientTape梯度带是新版本tensorflow非常常用的一个特性了,因为一旦涉及到计算梯度的问题就离不开这个新的API,转载 2021-04-08 10:24:43 · 1429 阅读 · 0 评论 -
Softmax从小白到深度理解
大家在学习深度学习时,肯定会遇到softmax这个知识点,初学者大都一知半解,没有理解透彻,很多文章直接讲述softmax公式及求导,忽略了其中的原因。初学者通过此文可以梳理知识结构,高手可直接查看公式推导来巩固知识用来面试手推。 softmax公式及理解 在深度学习反向传播算法中,为什么softmax求导如此重要 softmax求导公式推导 ...原创 2021-03-21 22:59:59 · 1433 阅读 · 0 评论 -
深度学习优化器Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)
在机器学习、深度学习中使用的优化算法除了常见的梯度下降,还有 Adadelta,Adagrad,RMSProp 等几种优化器,都是什么呢,又该怎么选择呢?在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较,今天来学习一下:https://arxiv.org/pdf/1609.04747.pdf本文将梳理:每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下一个...转载 2020-01-03 15:49:42 · 408 阅读 · 0 评论 -
通过深度学习鉴定12种癌症
刚刚发表了一片文章,欢迎来交流探讨。https://www.nature.com/articles/s41598-019-53989-3背景:由大量研究表明,癌症是由于基因突变导致的,但是癌症具体的发病原理并没有研究清楚,只知道与一些基因有关,但这些基因与癌症并没有呈现出绝对的相关性。这是因为基因表达是一个完整复杂的网络调控过程。而基于多个隐藏层和非线性变换的深度学习完美适用于端对端模...原创 2019-11-26 10:27:17 · 1074 阅读 · 0 评论 -
最大似然估计(Maximum likelihood estimation)(通过例子理解)
之前看书上的一直不理解到底什么是似然,最后还是查了好几篇文章后才明白,现在我来总结一下吧,要想看懂最大似然估计,首先我们要理解什么是似然,不然对我来说不理解似然,我就一直在困惑最大似然估计到底要求的是个什么东西,而那个未知数θ到底是个什么东西TT原博主写的太好了,这里 我就全盘奉上~似然与概率在统计学中,似然函数(likelihood function,通常简写为likelihood,...转载 2018-08-31 10:29:51 · 148546 阅读 · 21 评论 -
模型评估总结
模型评估是模型开发过程的不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。在数据挖掘中,使用训练集中的数据评估模型性能是不可接受的,因为这易于生成过于乐观和过拟合的模型。数据挖掘中有两种方法评估模型,验证(Hold-Out)和交叉验证(Cross-Validation)。为了避免过拟合,这两种方法都使用(模型没有遇到过的)测试集来评估模型性能。验证(Hold-Out)使...转载 2018-02-27 10:30:27 · 23176 阅读 · 1 评论 -
主成分分析(Principal Component Analysis,PCA)详解
PCA是非常重要的统计方法,其实际应用非常广泛,但是很多讲解太过于公式化,很难让初学者消化,本文将从一个实际例子出发,并对数学公式原理及推导过程作出详细解释,即使你的数学基础比较差,在看完这篇博客之后,相信你会对PCA会有一个透彻的认知。原创 2017-11-29 11:35:28 · 35888 阅读 · 3 评论 -
浅谈贝叶斯
1. 贝叶斯是什么?所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章,在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例原创 2016-10-26 16:04:06 · 980 阅读 · 0 评论 -
决策树学习算法
一、介绍决策树是一种常见的机器学习方法。决策树顾名思义就是基于树结构来进行决策的,这恰是人类面临决策问题时一种很自然最常见的处理机制。例如:我们去超市买瓜,如何判断这个瓜是否是好瓜?面对这样一个问题,我们通常会进行一系列的判断,比如我们先看“它纹路是否清楚?”,如果“清楚”,我们再看“它的根蒂是什么形态?”,如果是“蜷缩”,我们再判断"它敲击起来是什么声音?",如果声音“浊响”,最后我们做出决原创 2017-04-27 14:45:12 · 1932 阅读 · 2 评论 -
BP神经网络学习算法原理
特点是:信号前向传播,误差反向传播。通俗理解就是,BP神经网络通过层与层向前传播,得到最终实际输出后,与期望输出做对比,通过“梯度下降”策略,逐层调节权重和阈值,最终得到与期望输出在误差允许范围内的神经网络模型。原创 2017-04-18 13:31:06 · 12608 阅读 · 6 评论