machine learning to deep learning

machine learning 基本概念二

接上

linear models are too simple…we need more sophisticated models.

Model Bias:来自model的限制，模型偏差

一、function with unknown

1.线性——>红色折线如何表示

all piecewise linear curves（分段线性曲线） =constant +sum of a set of blue curve. More pieces require more blue curves.

2.Beyond Piecewise Linear曲线如何表示

如果是Beyond Piecewise Linear,也可以由许多piecewise linear curves组成。approximate continuous curve by a piecewise linear curve. To have good approximation, we need sufficient pieces.

3.blue curve——sigmoid function

How to represent the blue function?

调整参数c b w来制造不同的sigmoid function

3.1sigmoid函数形式化推导

下面推导最开始的red curve该怎么用sigmoid函数表示？

其中j表示的是有多少个feature；i表示是有多少个blue curve也就是sigmoid function。w12表示第二个feature对于第一个sigmoid函数的权重。r1、r2、r3和三个参数的关系如下所示。

接下来r1、r2、r3分作sigmoid。

未知参数的定义，将上述函数的所有未知数全部组合成一列得到，所有未知数的一列。

3.2问题记录

1.参数很多，不能使用暴力搜索的方法

2. sigmoid数量是自己定义的，数量越多，函数越复杂。
3. hard sigmoid可以使用别的函数近似替代，本身的hard也可以，只是比较复杂。

二、define loss from training data

Loss is a function of parameters L(θ)

Loss means how good a set of values is.

三、optimization

实际上在做梯度变化时， 不是拿所有的数据进行计算gradient的，而是第一个batch用来计算θ1，第二个batch用来计算θ2。其中batch的大小是由认为选定的。

下面有两个例子来说明update和epoch的区别

至此，我们知道在机器学习中有三个hyperparameters（认为规定的参数）—— 学习率 sigmoid batch的大小

四、模型变形

变换激活函数

100个ReLU可以制造非常复杂的曲线了，因此Loss会显著减少。

增加层

实验数据，使用三层隐藏层效果显著。

It needs a fancy name——Neural Network神经网络——many layer means deep——Deep Learning

733493" style=“zoom: 50%;” />

It needs a fancy name——Neural Network神经网络——many layer means deep——Deep Learning

one two 3 未完待续…