东南风的博客

Precision and Recall       在模型评估时，我们往往会参照一些性能指标，最基本的如准确率和召回率。看过西瓜书的同学应该对下面这张表格很熟悉：  predicted:P predicted:Factual:P TP FNactual:N FP TN       这张表其实很好记忆，横着看(actual:P和actual:N)代表实际所属的类别;竖着看(predic...

       两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权...

1，批量梯度下降法（Batch Gradient Descent） ：在更新参数时都使用所有的样本来进行更新。 　　优点：全局最优解，能保证每一次更新权值，都能降低损失函数；易于并行实现。 　　缺点：当样本数目很多时，训练过程会很慢。 　　2，随机梯度下降法（Stochastic Gradient Descent）：在更新参数时都使用一个样本来进行更新。每一次跟新参数都用一个样本，更新很多次...

最大似然估计（MLE）： 最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足一个很重要的假设，就...

       从一个通道的图片进行卷积生成新的单通道图的过程很容易理解，对于多个通道卷积后生成多个通道的图理解起来有点抽象。本文以通俗易懂的方式讲述卷积，并辅以图片解释，能快速理解卷积的实现原理。最后手写python代码实现卷积过程，让Tensorflow卷积在我们面前不再是黑箱子！ 注意： 本文只针对batch_size=1,padding='SAME'，stride=[1,1,1,1]进...

转载请注明作者梦里茶 括号表示概念出现的其他页码 如果发现错误，请到issue中提出或者直接PR 公式采用latex编辑，MathJax渲染 整理by: ahangchen, luopengting, hscspring 概念列表 o 绪论 o 模型评估与选择 线性模型 决策树 神经网络 支持向量机 贝叶斯分类器 集成学习 聚类 ...

         我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网...