回归分析

回归分析

一、线性回归

1. 定义

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

单变量情形：y=ax+b，b为误差服从均值为0的正态分布。

多变量情形：

2. 损失函数

要找到最好的权重/参数[θo,…θn]= θ
那怎么去衡量“最好”呢?
把x到y的映射函数f记作θ的函数hθ(x)
定义损失函数为：

最小化损失函数可得最优值。

3. 梯度下降

逐步最小化损失函数的过程，如同下山，找准方向(梯度)，每次迈进一小步，直至山底。

假如现在有n个特征/变量xj(j=1…n)，则

4. 过拟合与正则化

欠/过拟合

过拟合问题:如果我们有特别多的特征，我们的假设函数曲线可以对原始数据拟合得非常好(J(θ)≈0 )，但丧失了一般性，从而导致对新给的待预测样本，预测效果差。

正则化

1. 正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识(如一般的l-norm先验，表示原问题更可能是比较简单的，这样的优化倾向于产生参数值量级小的解，一般对应于稀疏参数的平滑解)。
2. 同时，正则化解决了逆问题的不适定性，产生的解是存在，唯一同时也依赖于数据的，噪声对不适定的影响就弱，解就不会过拟合，而且如果先验(正则化)合适，则解就倾向于是符合真解(更不会过拟合了)，即使训练集中彼此间不相关的样本数很少。
   

二、逻辑回归

1. 定义

逻辑（logistic）回归是一种广义的线性回归分析模型。有时候需要解决分类问题。
明明对离散值预测(分类)，为啥叫回归?——归功于sigmoid函数：

2. 损失函数

损失函数J(θ)非凸，

我们希望它是凸函数：

故有：

则：

3. 梯度下降与正则化

梯度下降求最小值：

三、工程应用经验

1. 关于样本的处理

（1）样本量太大怎么办?

​ 离散化后用one-hot编码处理成0, 1值

​ 如果要用连续值，注意做scaling

​ 试试spark MIIib

​ 试试采样(注意采样方式:日期or用户or行为)

（2）注意样本的平衡

​ 对样本分布敏感

​ 下采样(样本量足的情况下)，上采样(样本数量不太足)

​ 修改loss function， 给不同权重

​ 采样后的predict结果，用作排序0K， 用作判定请还原

2. 关于特征的处理

（1）离散化
映射到高维空间，用linear的LR(快，且兼具更好的分割性)
稀疏化，0, 1向量内积乘法运算速度快，计算结果方便存储，容易扩展;
离散化后，给线性模型带来一定的非线性模型稳定，收敛度高，鲁棒性好
在一定程度上降低了过拟合风险

（2）通过组合特征引入个性化因素
uuid + tag
uuid + cluster_ id…
（3）注意特征的频度
区分特征重要度
可以产出层次判定模型
（4）聚类/Hash
增强了极度稀疏的特征表达力
减小了模型.加速运算

3. 关于算法调优

​ 选择合适的正则化(L1，L2，L1+L2)
​ 正则化系数C
​ 收敛的阈值e，迭代轮数
​ 调整loss function给定 不同权重
​ Bagging或其他方式的模型融合
​ 最优化算法选择(‘newton-cg’, ‘lbfgs’, liblinear’,‘sag’)
​ 小样本liblinear，大样本sag，多分类’newton-cg’和‘lbfs’(当然你也可以用liblinear和sag的one-vs-rest)