01-regression

deep learning

01-regression

（1）Machine Learning

让机器具备一个找函式的能力

different types of function

预测-regression：要找的函式，他输出的是一个数值  
分类-classfication：函式的输出，从设定好的选项里面选择当一个当作输出  
创造-structured learning:机器学会创造，产生有结构的东西  
超参数：学习率 batch的大小 模型的层数  一些比较重要的概念和名词需要多看多想多理解多记忆

（2） eg（找到函数3个步骤）：

写model->输入参数个数计算loss->找到能让loss最小的参数

1.Function with Unknown Parameters（写出一个带有未知参数的函式）⇒Model

2. Define Loss from Training Data

y和lable

3. Optimization(优化)

 找到能让损失函数最小的参数

补充：选->算对loss的微分->改参数值

（3）Liner model

 //线性模型  根据周期性，修改模型->考虑前7天，甚至更多天的值

⭐（4）Piecewise Linear Curves

 //（Sigmoid函数的意义）
1.模型定义

 // 定义：由多段锯齿状的线段所组成的线
 ⇒ 可以看作是一个常数,再加上一堆蓝色的 Function（Hard Sigmoid)

• 用一条曲线来近似描述这条蓝色的曲线:Sigmoid函数（S型的function）
• 【事实上，sigmoid的个数就是神经网络中的一层的neuron节点数(使用几个sigmoid是超参数）】

1. 可以用 Piecewise Linear 的 Curves,去逼近任何的连续的曲线  

2. 每一个 Piecewise Linear 的 Curves,都可以用一大堆蓝色的 Function加上一个常量组合起来得到  

3. 只要有足够的蓝色 Function把它加起来,就可以变成任何连续的曲线

（5）Sigmoid函数

x1 的值,趋近於正无穷大的⇒收敛在高度是 c 的地方
​​​​​​​x1 负的非常大的,分母的地方就会非常大⇒ y 的值趋近於 0.

调整 w,b,c ，可以得到各种不同的sigmiod来逼近”蓝色function“，通过求和，最终近似各种不同的 Continuous 的 Function

- 如果你今天改w你就会改变斜率你就会改变斜坡的坡度  
- 如果你动了b你就可以把这一个 Sigmoid Function 左右移动  
- 如果你改  $c$你就可以改变它的高度  ​  
//总结：利用若干个具有不同 w,b,c的Sigmoid函数与一个常数参数的组合，可模拟任何一个连续曲线（非线性函数）

扩展到多个特征：

- j等於1 2 3,输入中x1代表前一天的观看人数,x2 两天前观看人数,x3 三天前的观看人数  
- 每一个i就代表了一个蓝色的 Function,现在每一个蓝色的 Function,都用一个 Sigmoid Function 来近似它  
- $w_{ij}$第i个sigmoid给第j个特征的权重

转化为矩阵计算+激活函数形式：

2. 写出loss函数

因为所有的参数统称为 \theta，所以Loss表示为 L(\theta)

设定的方式没有不同。

3. 优化过程

 仍然是梯度下降。
 （1） 选定初始参数值（向量）$\theta_0
 （2）对每个参数求偏导/微分（即，求梯度向量）
 （3）更新参数，直至设定的次数

（6）Batch training

 批训练->batch training
 每次更新参数时，只使用1个batch里的数据计算Loss，求取梯度，更新参数
 > batch大小也是超参数

（7）ReLU

 模型变型⇒relu
 （Rectified Linear Unit，线性整流单元）
 把两个 ReLU 叠起来,就可以变成 Hard 的 Sigmoid。

（8）Activation Function

 激活函数

正式引入：DeepLearning