努力的小硬币

来自知乎的转载https://zhuanlan.zhihu.com/p/29927638讲得很清楚！！！

刚刚开始学习机器学习，有很多不懂的东西，也是刚刚开始写博客，主要是想记录自己学习的点点滴滴！现在学习的是台湾大学李弘毅的机器学习，在学习视频，可能要多看两遍才能都体会消化这些知识！1.Deep learning只是把原来的非Deep learning问题中的寻找feature的问题转化为寻找一个神经网络结构的问题。只是看哪一种方法解决问题比较方便。2. sigmod function已经比...

参考来源https://blog.csdn.net/haolexiao/article/details/72757796定义所以softmax函数所表示的可以看成为对分类结果的概率分布。softmax可以看成对概率分布的一个刻画，所以既然有概率分布，就可以用cross-entropy来定义损失函数...

CNN–Convolutional NN（卷积神经网络）CNN的目的是以一定的模型对事物进行特征提取，而后根据特征对该事物进行分类、识别、预测或决策等。如下图是CNN的流程下面是CNN的三个特点：1.CNN针对的是某些特征，而不是整个图片的所有特征2.CNN的相同的特征可以是出现在图片的不同的区域3.CNN对图片减少像素是不会影响图片的下面讲一下卷积Convolution:下图...

模块化：使用模块化，使用的数据是可以比较少的如下图，分类中，男生长发的数据是比较少的，那么就模块化！如下图，模块化，先基本分类，男生和女生；长发和短发。半监督学习：为什么需要半监督学习？我们需要data,但是有用的数据是比较少的，会讲下面4个内容一、半监督学习在Generative Model这部分内容应该用不上。。。先忽略掉好了二、半监督学习之self-training...

正则化Regularization正则化方法：防止过拟合，提高泛化能力training data少的时候，或者overtraining时，常常会导致overfitting（过拟合）（即在training上的结果好，但是在testing上的结果却很差）。通常我们会将数据集分为training data、validation data、testing data如下图，一般取得最好的train...

1.在training之后，如果发现training结果不太好，那么就应该回头看那三步，看修改哪一步2.如果在training结果上比较好，但是在testing上结果不好，那就overfitting了。也要回去修改前三步。3.上图，横轴是training次数。看到testing error，56层比20层error大，但是这不是overfitting，因为我们看到training ...

以下内容来自博客理解！1.参数更新将 5000 个子集都计算完时，就是进行了一个 epoch 处理 ，一个 epoch 意思是遍历整个数据集，即 5000 个子数据集一次，也就是做了 5000 个梯度下降，如果需要做多次遍历，就需要对 epoch 进行循环。当数据集很大的时候，这个方法是经常被使用的。2.如何选择 mini batch 的参数 batch size 呢？如果训练集较小，一...

以下内容学习来自台湾大学李弘毅的机器学习讲解，以及其他博客的理解。1.梯度梯度就是函数变化增加最快的地方，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。沿着梯度向量相反的方向，也就是 -(∂f/∂x0, ∂f/∂y0)T的方向，梯度减少最快，也就是更加容易找到函数的最小值。2.梯度下降之adagrad在机器学习算法中，在最小化损失函数时，可以通过梯度下...