2017年12月_zhupc_

12月 08月 07月

原创从零开始学习SVM

SVM是最经典的分类算法之一，笔者觉得难度却是机器学习算法中最难的，对于没有数学基础的同学来说更是一头雾水。笔者作为一个初入机器学习的小白，希望能从最简单的视角分享我的学习过程，从零开始一点一滴学习SVM算法。一、首先,什么是svm,它能够做什么？它是一种二分类模型，解决是非的问题。以对图像猫狗分类为例：下载CIFAR数据集，数据集中有10类，我只取两类：猫、狗获取猫狗混合

2017-12-27 18:51:43 2086 1

原创 LRN ( Local Response Normalization) 局部响应归一化层

LRN ( Local Response Normalization) 局部响应归一化层从网上找了很多博客，不知道为何就是不能把这个公式说的很透，可能是原理本身不好解释的原因，笔者希望能够用简洁的语言，能把LRN 解释的更加通俗易懂首先在弄懂原理之前，希望读者能够认真的看两边公式，而不是直接看别人解释的原理bix,yb^i_x,_y是归一化后的值，i是通道的位置，代表更新第几个通道的值，x与y代

2017-12-19 11:09:32 17014 1

原创为什么Relu会导致死亡节点

y代表真实值，y_代表预测值，损失函数采用交叉熵损失函数如下loss function：L(y,y_)=-(ylny_+(1-y)ln(1-y_))一般更新参数的方式，我们梯度下降的方式，目的是使得损失函数最小，达到一个能够接受的局部最小值，当然如果能到达全局最小最好。对损失函数的研究：当y=1,y_=1 L=-ln1=0 当y=1,y_=0 L=无穷大当y=0,y_=1 L=无穷

2017-12-14 10:41:36 11488 1