梯度更新
斜率:斜率k为正值过第一和第三象限,为负值过第二和第四象限。
梯度更新的几何意义:
https://blog.csdn.net/yangwohenmai1/article/details/96955667
将P(损失)看作函数值,要使得损失下降,则x如果在右边,则x需要减小,这样可以使得损失减小,如果x在左边,则需要增大,这样可以使得损失减小。
过拟合
过拟合的解决方法:
https://www.cnblogs.com/jiangxinyang/p/9281107.html
L1正则化 和 L2正则化,或者 L1范数 和 L2范数。对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)。
L1正则化是指权值向量w ww中各个元素的绝对值之和。
L2正则化是指权值向量w ww中各个元素的平方和然后再求平方根
正则化的理解:
https://blog.csdn.net/jinping_shi/article/details/52433975
线性回归
线性回归+L1正则就是Lasso回归,线性回归+L2正则就是岭回归。
数据离散化的意义
- 离散化的特征相对于连续型特征更易理解,更接近知识层面的表达。比如工资收入,月薪2000和月薪20000,从连续型特征来看高低薪的差异还要通过数值层面才能理解,但将其转换为离散型数据(底薪、高薪),则可以更加直观的表达出了我们心中所想的高薪和底薪。
- 可以有效的克服数据中隐藏的缺陷,使模型结果更加稳定
泰勒展开
线性特征和非线性特征
对于这个概念可以模糊一点,不一定非常清晰
https://blog.csdn.net/sazass/article/details/87265316