qq_33228039的博客

BN归一化在mini-batch上梯度下降在测试时候TensorFlow 代码

http://blog.csdn.net/red_stone1/article/details/78348753

单个样本                                                                                                                   多个样本激活函数tanh 比sigmle 好，是因为数据平均值为0.但是数据太大或者太小，在激活函数对应的斜率为0，梯度下降很难，梯度消失。

符号说明：逻辑回归梯度下降（略）导数（略）逻辑回归中的梯度下降对于逻辑回归的解释

公众号：哥达鸭https://mp.weixin.qq.com/mp/homepage?__biz=MzIxMTczNDM4NQ==&hid=3&sn=503781aa7d9035f8c96dfb55fc382edc

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：一、min-max标准化（Min-Max Normalization）也称为

贝叶斯分类器贝叶斯分类器概率和统计似然最大似然估计法最大后验概率法最小错误率的贝叶斯决策最小风险的贝叶斯决策贝叶斯决策的一般过程后验概率最大化的含义朴素贝叶斯贝叶斯估计（拉普拉斯）1.概率和统计概率是一个事件没发生时，将要发生的一个度量。强调的是事件没发生。统计是多个事件发生后，某个事件在全部事件中的一个度量。强调的是事件发生后。2.似然似然和概率的意思差不多，概...

我一直都把K-means当成KNN，所以这次好好分析一下两个方法。1.KNN简单说就是相似的输入得到相似的输出。所以我们想查看一个输入的类别时，只要找到和它相似的输入，那么它的类也就找到了。计算步骤如下：    1）算距离：给定测试对象，计算它与训练集中的每个对象的距离（一般来说计算距离就是求向量之间的欧氏距离）    2）找邻居：圈定距离最近的k个训练对象，作为测

1.首先我们一直说，训练集，通过训练数据得出模型。测试集验证模型的准确率。但是为什么要这样做呢？答：数学上有一个不等式叫做霍夫丁不等式（Hoeffding’s Inequality），这个不等式: 当N足够大的时候，v和u相等的概率很大，意思就是如果我从一大堆数据中，取一部分数据做训练。如果这个训练得到的模型的...

<机器学习与优化>这是一本机器学习的小册子, 短短300多页道尽机器学习的方方面面. . 适合新手入门打基础, 也适合老手温故而知新. http://intelligent-optimization.org/LIONbook/好吧又是英文的，开始翻译。...

现有的模式分类方法主要分为两类，一类是生成式方法，比如GMM（ Gaussian Mixture Model）（EM）kmeans-聚类 ，这类方法主要反映同类数据之间的相似度；一类是判别式方法，比如SVM，主要是反映异类数据之间的差异。fisher kernel是想要结合二者的优势（1，生成式方法可以处理长度不一的输入数据，2，判别式方法不能处理长度不一的数据但是分类效果较好。），将生成式...