深度学习笔记

深度学习&机器学习
the type of funtion 函数的不同功能：
1）regression（回归）： The function outputs a scalar（输出一个数值）
2）classificantion（分类）：The function outputs the correct one（输出类别）
3）structed learning（结构）
How to find a function？（机器学习）
第一步 funtion with unkonwn parameters（也叫model）
第二步 define loss from Training data（loss is a function of parameters（model里面的））
注意：label是指正确的值，error surface （误差曲面）
损失函数：如MSE（均方差）做损失函数

第三步 Optimization（最佳化问题）
用 Gradient Descent（梯度下降方法）
方法的局限性：不能找到global minima，只能找到局部的minima
三步框架

sigmoid函数

x趋向于正无穷时等于C
通过调整c（高度），b（平移），w（斜率）来构造不同的函数

new model（逼近一条曲线）

1）图形展示

每一层叫做hidden layer =》deep learning

2）线性代数表示

第二节 机器学习任务攻略

x：feature

第一步： 定义模型
第二步： 定义loss函数用来判断这组数据好坏
第三步： 寻找能让loss最小的一组数值


Overfitting要增加training data规模

numpy数组的切片操作：[a(表示的行),b(表示的列)]

dataset：



model的设计思路：
1）最简单的linear model
y=w*x+b （w：权重 b：bias ）

loss函数：
loss函数只是针对一个样本的