Datawhale X 李宏毅苹果书 AI夏令营 Task02 了解线性模型

1.线性模型：是一种广泛应用于统计学和机器学习中的模型，其基本假设是因变量与自变量之间存在线性关系。这种模型通常可以用一组线性方程来描述，并且可以通过最小化误差来确定模型的参数。线性模型的应用范围广泛，包括回归分析、分类问题、时间序列分析等。

2.梯度下降：是一个常用的优化算法，用于求解目标函数的最优解或局部最优解。它通过不断调整模型参数的值，使目标函数的值逐渐下降。具体来讲，每次迭代时，它计算目标函数的梯度（即函数在当前点处的斜率），并朝着梯度的反方向更新参数值，以使函数值下降。这个过程一直持续到目标函数的值收敛（即不再变化或变化极小），此时，算法得到的参数值就是目标函数的最优解或近似最优解。

3.分段线性曲线：红色曲线（分段线性曲线）=常数+一组蓝色曲线的和。如果分段线性曲线越复杂，转折的点越多，所需的蓝色函数就越多。

4.Sigmoid 函数的表达式为 ，Sigmoid 函数就是 S 型的函数。因为它长得是有点像是 S 型，所以叫它 Sigmoid 函数。Sigmoid函数是一种常用的神经网络激活函数，能够使神经元产生非线性作用。其定义式为f(x)=1/(1+e^-x)，函数图像呈“S”形曲线，可将输入值映射到0~1之间。也常用于二分类问题中的概率估计和平滑函数的计算。

5.过拟合：是指一个机器学习模型在训练数据上表现得很好，但在测试数据上表现不佳的现象。过拟合可能是因为模型过于复杂或者数据量太小。如果一个模型过于复杂，它可能会在训练数据中学习到噪声，而这些噪声可能并不普遍存在于测试数据中，这样就会导致过拟合。解决过拟合的方法包括增加训练数据、减小模型复杂度、使用正则化方法等。

6.Sigmoid 或 ReLU 称为神经元（neuron），很多的神经元称为神经网络（neural network）。在机器学习里面，Sigmoid 或 ReLU 称为激活函数（activation function）。