- 博客(9)
- 收藏
- 关注
RSS订阅原创 第五讲-卷积神经网络--课时13--卷积和池化
全连接------------------------------------------------------------------------------------------------------------------------------卷积卷积通过卷积核的参数共享，减少了参数数量（非常有效）。卷积核就是参数，需要反向传播学习得到。卷积核与全连接的权重参数不同，它只关心局部特征...
2018-04-30 20:18:41
208
原创 第五讲-卷积神经网络---历史
感知机诞生多层感知机诞生反向传播方法诞生deep NN无法实现，多年无人问津-----------------------------------2006年 Hinton 使用受限玻尔兹曼机预训练，打破僵局2012年 Hinton使用卷积网络在语音和图像方面成功应用，开启热点------------------------------------1998年Le Cun 使用Le Net实现数字识别...
2018-04-30 11:26:05
100
原创 第四讲-介绍神经网络-课时10---神经网络
-------------------------------------------------------------------------------------------------------------------两层神经网络的权重究竟代表什么，看了两遍也没看懂。这门课：没基础看不懂，有基础没必要看。。。---------------------------------------...
2018-04-30 10:55:48
121
原创 第四讲-介绍神经网络-课时9--反向传播
----------------------------------------------------------------------------------------------------这个phd讲的课，感觉在念ppt。。。这门课程不适合入门，吴恩达的课比较基础，易懂，零基础来上这门课的话估计听不懂的。-----------------------------------------...
2018-04-29 21:55:35
157
原创 第三讲-损失函数和优化-课时8-优化
大多数情况下，尤其是深度学习中，想要求损失函数最小值处的参数，是无法通过闭式解得到的。需要使用梯度下降。首先，Random Search是行不通的。一元函数---导数多元函数---偏导数---偏导数组成的向量就是梯度（gradient）----------------------------------------------------------------------------------...
2018-04-29 12:50:00
123
原创 第三讲-损失函数和优化-课时7--损失函数
SVM有点忘记了，记不得score怎么计算的。该复习一下统计学习方法和林轩田的课了。-----------------------------------------------------------------------------------------SVM也是线性分类而已，损失函数是hinge loss，之所以那么复杂的推导来推到去，只是因为：hinge loss不是处处可导，不能用梯...
2018-04-28 19:48:20
706
原创 第二讲课时6-线性分类
linear classifier是神经网络的基础Image Captioning 可以使用卷积神经网络（关注图像）+循环神经网络（关注文本）的乐高积木组合。k近邻中没有参数，而线性分类是参数模型中最简单的之一。在多分类问题中，最后一层的b的大小代表了分类器将物体分类为这一类的意愿。权重矩阵的每一行是一个类的模板，这个模板是分类器对所有这一类的训练数据集取平均得到的，线性模型对于一类物体只能学习一...
2018-04-27 16:25:30
98
原创 第二讲课时5-k近邻算法
k近邻算法还有一些优化，如kd数,参看统计学习方法。http://vision.stanford.edu/teaching/cs231n-demos/knn/ 可调试KNN算法，查看超参数作用k近邻中的距离度量方式有L1，L2距离。如下图，L1的坐标轴转动会有影响，L2的坐标轴转动不影响距离，因此：如果数据本身各个特征有重要意义，那么使用使用L1可能会更好。但是最好的做法是L1，L2都试一下...
2018-04-26 22:43:24
267
原创 第二讲课程4-数据驱动方法
网易云课堂中观看2017年视频记录第一讲为介绍性课程，略过。第二讲课程4k近邻的训练过程很简单，但是预测过程很费时间，并不是一个好的实用性算法。如今，我们的预测过程要在端设备（运算能力差）上完成，因此分类算法的预测过程要尽可能的减少运算量神经网络的预测过程只需要直接使用训练好的参数，因此更适合部署到设备中去。k近邻算法中，如果k=1，很容易由于噪声而过拟合。使用大于1的k可以使决策边界更平滑，得到...
2018-04-26 21:30:06
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人