Datawhale X 李宏毅苹果书 AI夏令营 入门班Task2

1. 线性模型

        输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。

2. 分段线性曲线

        1. 分段线性曲线（piecewise linear curve）可以看作是一个常数，再加上一堆蓝色的函数。

        2. 可以用Sigmoid 函数逼近这一个蓝色的函数

           Sigmoid 函数: ，为了简洁，去掉了指数的部分

           蓝色函数的表达式为：

           此外，我们可以不只用一个特征 x1，可以用多个特征代入不同的 c, b, w，组合出各种不同的函数，从而得到更有灵活性（flexibility）的函数

 

        是未知参数，一律统称 

3. 损失

        损失函数：，其中可以使损失函数最小的一组被称为

        一开始要随机选一个初始的数值 。接下来计算每一个未知的参数对  的微分，得到向量 ，即可以让损失变低的函数.

4. 变形

        HardSigmoid 可以看作是两个修正线性单元（Rectified Linear Unit，ReLU）的加总，ReLU 的图像有一个水平的线，走到某个地方有一个转折的点，变成一个斜坡，

        此表示一个 Hard 的 Sigmoid 不是只有一种做法。在机器学习里面，Sigmoid 或 ReLU 称为激活函数（activation function）。

        Sigmoid 或 ReLU 称为神经元（neuron），很多的神经元称为神经网络（neural network）。人脑中就是有很多神经元，很多神经元串起来就是一个神经网络，跟人脑是一样的。人工智能就是在模拟人脑。神经网络不是新的技术，80、90 年代就已经用过了，后来为了要重振神经网络的雄风，所以需要新的名字。每一排称为一层，称为隐藏层（hiddenlayer），很多的隐藏层就“深”，这套技术称为深度学习。

5. 机器学习框架