Learning 01
Pytorch 学习内容
- 经典数据集:CIFAR10,并利用神经网络进行训练
- 基础ndarray数据结构:Tensor和相应的处理类和函数
- DataSet 和 DataLoader:从官方文档中学习
- 神经网络torch.nn 的基本构建
- torch.vision库的学习
李宏毅的机器学习
Lecture 1
Regression
用自己的话总结,就是通过训练集找到一个在输出为实数的函数,函数能够将输入转化为一个数值,从而达到学习预测的目的。
Sigmoid
方法就是一种非线性回归,通过gradient descend
等其他的方法找到Loss最小的参数。
每一个Sigmoid函数就是一个激活函数,一层层的激活函数构成神经网络,实现深度学习。
Classification
输出是离散型,具体的实现方法需要继续学习。
Lecture 2
Optimization Issue
我们知道说,我们今天用的optimization,在这门课裡面,我们其实都只会用到gradient descent,这种optimization的方法,这种optimization的方法很多的问题。
举例来说 ,你可能会卡在local minima的地方,你没有办法找到一个,真的可以让loss很低的参数。
Overfitting
在训练集上loss很小,在测试集上loss很大,不符合预期
解决方法
- 增加训练集(如Data Augment)
- 对model进行一些限制,给比较少的参数,比较少的features
完成了Lecture对应的Homework,为了实现更好的模型,利用已有的图片镜像翻转,改变不同的learning rate和增加训练的epoch,使得loss减小。