一、概述
1.回归:利用样本(已知数据),产生拟合方程,从而对未知数据进行预测
2.分类
*线性回归:一元线性;多元线性
*逻辑回归:实际上预测的是数据X属于分类Y的概率p。逻辑回归公式由 log(p/(1-p))=β0+β1X 推导求得。
*非线性回归
3.求解回归时需考虑的问题
1)样本是否符合正态分布假设?
2)误差是否满足独立性、等方差、正态分布等假设条件?
3)是否存在离群值导致模型产生较大误差?
4.)线性模型是否合理,是否存在拟合不足?
5)观察拟合方程,是否存在多重共线性?
6)如何选择变量?如何进行特征工程?
4.需要进一步解决的问题
1)怎么进行正态性检测?
2)怎么处理离群点?
3)非线性回归方程要怎么构建?
4)R中有岭回归可以解决多重共线性的问题,python中要怎么处理?
5)怎么构建多重逻辑回归模型,用于预测分类大于2的情形?
5.个人思考
从本质上来看,回归分析不管是线性回归还是逻辑回归,拟合的都是一条线(二维)或者一个平面(三维)或者更高维度,因此更适合使用连续型的数值型特征进行预测,而对于有太多分类型特征的数据,即使转换为哑变量,也必然会存在拟合不足的现象。
二、线性回归
1.协方差和相关系数:评估线性相关性
*协方差
cov(X,Y)=E[(X-E[X])(Y-E[Y])]
相关系数:消除协方差中数据变动的影响
相关系数r=(x和y的协方差)/(x的标准差y的标准差)
*相关系数函数:data.corr()
2.决定系数R2:评估模型精确度
有多少百分比的y波动被回归曲线描述=R2=1-误差平方和/总波动
值大小:R2越大,回归模型越精确
3.线性回归算法概述
将拟合平面(线)整合成矩阵形式,矩阵计算通常比较高效
真实值和预测值之间肯定是存在差异(用ε表示误差)。误差服从高斯分布,将拟合函数带入到误差服从的高斯分布中。
通过最大似然估计推导出最小二乘法。
求解最小二乘法。在实际应用中一般使用梯度下降策略,而不是直接求解。
4.python进行线性回归一般框架
a.在sklearn中搜索linear regression用法
b.提取特征和标签
c.建立训练数据和测试数据
d.训练模型
e.评估模型:决定系数R2
f.最佳拟合线
三、逻辑回归:最经典,最牛逼的二分类算法
1.sigmoid函数
y=S(z)=1/(1+exp(-z))
其中,z=Θ(转置) · x(例如,z=a+bx)
2.使用python进行逻辑回归分析
a.谷歌Sklearn logistic regression用法
b.提取特征和标签
c.建立训练数据和测试数据
d.训练模型
e.评估模型
3.预测
a.标示出各标签概率
b.预测结果值
c.构建回归函数
了解更多分析及数据抓取可查看:
http://cloud.yisurvey.com:9081/html/bd9fb365-ae11-4182-84d0-af28197bac71.html?ly=csdn
本文转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请联系我们删除处理。
特别说明:本文旨在技术交流,请勿将涉及的技术用于非法用途,否则一切后果自负。如果您觉得我们侵犯了您的合法权益,请联系我们予以处理。