寻求两组数据之间的关系,可以选择以下几种模型:
- 相关性分析:用来分析两个或多个变量之间的相关程度,可以用相关系数、散点图和显著性系数来判断
- 聚类分析:用来将数据集分成不同的组,使得同一组内的数据相似度高,不同组内的数据相似度低。常用的聚类算法有K-means、Mean-Shift、DBSCAN、GMM等2。
- 分类分析:用来预测数据所属的类别,需要区分自变量和因变量。常用的分类算法有朴素贝叶斯、逻辑回归、决策树、支持向量机、KNN、神经网络等2。
- 回归分析:用来确定两种或两种以上变量间的定量关系,需要区分自变量和因变量。常用的回归分析有一元回归、多元回归、线性回归、非线性回归等2。
-
回归分析是一种统计分析方法,它可以研究一个或多个自变量(X)和一个因变量(Y)之间的关系,从而进行预测、估计或检验。回归分析有很多种类型,根据自变量和因变量的个数、类型和分布,以及回归线的形状,可以分为以下几种:
- 线性回归:当因变量是连续的,自变量可以是连续的也可以是离散的,且二者之间存在线性关系时,可以使用线性回归。线性回归可以进一步分为一元线性回归(只有一个自变量)和多元线性回归(有多个自变量)。线性回归的目标是找到一条最佳拟合直线,使得数据点到直线的距离平方和最小。常用的方法是最小二乘法。
- 逻辑回归:当因变量是二元的(0/1,是/否,真/假等),自变量可以是连续的也可以是离散的时,可以使用逻辑回归。逻辑回归的目标是找到一个函数,使得因变量的概率与自变量之间存在对数几率关系。常用的方法是极大似然估计。
- 多项式回归:当因变量和自变量之间存在非线性关系时,可以使用多项式回归。多项式回归的目标是找到一条最佳拟合曲线,使得数据点到曲线的距离平方和最小。常用的方法也是最小二乘法。
- 逐步回归:当有多个自变量时,可以使用逐步回归来选择最重要的自变量。逐步回归的目标是通过添加或删除自变量,使得模型的拟合效果最好。常用的方法有向前选择法、向后剔除法和逐步筛选法。
- 岭回归:当有多个自变量且存在多重共线性(自变量之间高度相关)时,可以使用岭回归来降低模型的方差。岭回归的目标是通过给模型参数加上一个惩罚项,使得模型更稳定。常用的方法是岭迹法。
- 泊松回归:当因变量是非负整数且服从泊松分布时,可以使用泊松回归。泊松回归的目标是找到一个函数,使得因变量的对数期望与自变量之间存在线性关系。常用的方法也是极大似然估计。
- Cox回归:当因变量是生存时间或死亡风险时,可以使用Cox回归。Cox回归的目标是找到一个函数,使得风险比与自变量之间存在指数关系。常用的方法也是极大似然估计。
时间序列分析:用来预测数据随时间变化的趋势和规律,需要考虑数据的平稳性和周期性。常用的时间序列分析有移动平均法、指数平滑法、模型拟合法等2。- 主成分分析:用来降低数据的维度,保留原始数据的最大信息量,消除变量之间的相关性。主成分分析是一种线性变换方法,通过求解特征值和特征向量来得到主成分2。
- 集成学习:用来将多个模型组合起来,提高预测的准确性和稳定性。常用的集成学习方法有装袋(bagging)和增强(boosting),例如随机森林、AdaBoost等2。