ML-Diary01

Learning 01

Pytorch 学习内容

• 经典数据集：CIFAR10，并利用神经网络进行训练
• 基础ndarray数据结构：Tensor和相应的处理类和函数
• DataSet 和 DataLoader：从官方文档中学习
• 神经网络torch.nn 的基本构建
• torch.vision库的学习

李宏毅的机器学习

Lecture 1

Regression

​ 用自己的话总结，就是通过训练集找到一个在输出为实数的函数，函数能够将输入转化为一个数值，从而达到学习预测的目的。

​ Sigmoid方法就是一种非线性回归，通过gradient descend等其他的方法找到Loss最小的参数。

​ 每一个Sigmoid函数就是一个激活函数，一层层的激活函数构成神经网络，实现深度学习。

Classification

​ 输出是离散型，具体的实现方法需要继续学习。

Lecture 2

Optimization Issue

​ 我们知道说，我们今天用的optimization，在这门课裡面,我们其实都只会用到gradient descent，这种optimization的方法,这种optimization的方法很多的问题。

​ 举例来说 ，你可能会卡在local minima的地方，你没有办法找到一个，真的可以让loss很低的参数。

Overfitting

​ 在训练集上loss很小，在测试集上loss很大，不符合预期

解决方法

• 增加训练集（如Data Augment）
• 对model进行一些限制，给比较少的参数，比较少的features

​ 完成了Lecture对应的Homework，为了实现更好的模型，利用已有的图片镜像翻转，改变不同的learning rate和增加训练的epoch，使得loss减小。