Datawhale AI夏令营Task2---学习笔记-CSDN博客

本文链接：https://blog.csdn.net/Fengai_cn/article/details/141601539

任务二深入学习 --线性模型

一，线性模型

线性模型指的是在模型中用线性方程或线性函数来描述变量之间的关系，即变量之间的函数关系可以用一条直线来描述。例如，在回归分析中，如果自变量和因变量之间存在线性关系，那么我们就可以使用线性回归模型来描述它们之间的关系

二，线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w T x + e y = w^Tx+ey=w Tx+e，e ee为误差服从均值为0的正态分布。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

简单的说：线性回归对于输入x xx与输出y yy有一个映射f ff，y = f ( x ) y=f(x)y=f(x),而f ff的形式为a X + b aX+baX+b。其中a 和b 是两个可调的参数

三，分段线性曲线

分段线性曲线（Piecewise Linear Curve）是由一系列线段组成的曲线，每个线段连接两个相邻的控制点。在计算机图形学和计算机辅助设计中，分段线性曲线常用于表示平滑的曲线形状。

1，优势：

简单直观：分段线性曲线的构造和计算相对简单，易于理解和实现。
灵活性：通过调整控制点的位置和数量，可以创建各种形状的曲线，包括直线、曲线、曲面等。
低存储需求：由于只需要存储控制点的坐标，分段线性曲线的存储需求相对较低。

2，应用场景：

计算机图形学：分段线性曲线常用于绘制平滑的曲线和曲面，如二维图形的绘制、三维模型的建模等。
计算机辅助设计：分段线性曲线可用于绘制平滑的曲线形状，如CAD软件中的绘图工具、曲线编辑工具等。
数据可视化：分段线性曲线可用于绘制数据的趋势线、插值曲线等，帮助分析和展示数据。

四，模型变形

其实还可以对模型做更多的变形，不一定要把 Hard Sigmoid 换成 Soft Sigmoid。HardSigmoid 可以看作是两个修正线性单元（Rectified Linear Unit，ReLU）的加总，ReLU 的图像有一个水平的线，走到某个地方有一个转折的点，变成一个斜坡，其对应的公式为c ∗ max(0, b + wx1) (1.29)max(0, b + wx1) 是指看 0 跟 b + wx1 谁比较大，比较大的会被当做输出；如果 b + wx1 < 0，输出是 0；如果 b + wx1 > 0，输出是 b + wx1。通过 w, b, c 可以挪动其位置和斜率。把两个 ReLU 叠起来就可以变成 Hard 的 Sigmoid，想要用 ReLU，就把 Sigmoid 的地方，换成max(0, bi + wijxj )。