- 博客(10)
- 收藏
- 关注
RSS订阅原创 数据分析学习笔记（三）
导入numpy、pandas包import pandas as pdimport numpy as npdf=pd.read_csv('train-left-up.csv')将data文件夹里面的所有数据都载入，观察数据的之间的关系df1=pd.read_csv('train-left-up.csv')df2=pd.read_csv('train-left-down.csv')df3=pd.read_csv('train-right-up.csv')df4=pd.read_csv('tra
2021-09-18 23:24:58
93
原创 李宏毅机器学习——回归问题
宝可梦实例寻找一个function，将宝可梦的一些相关信息作为输入（input），如cp值（Xcp）、宝可梦的物种（Xs）、宝可梦的生命值（Xhp)、宝可梦的重量（Xw）、宝可梦的高度（Xh)等。该function的输出值为宝可梦进化后的cp值具体步骤找一个模型（function set）如：线性模型 ，其中Xi为需要输入的宝可梦信息，称为feature，Wi称为weight ，b称为bias。则function set 为线性模型的集合（在该实
2021-08-18 22:59:32
125
原创 [集成学习]Blending与Stacking集成
Blending集成将总数据集分为训练数据集与测试数据集，再将训练数据集细分成训练集与验证集。使用训练集通过SVM、random forests、XGBoost等方法创建K个模型。将验证集数据分别输入K个模型进行验证，得到K个结果，这K个结果组成一个新的训练集。将测试集数据分别输入K个模型得到K个结果，这K个结果组成一个新的测试集。使用新的训练集训练一个新模型将新的测试集输入新模型中，得到最终预测结果Stacking集成由于Blending集成方法存在浪费数据信息的缺点，这个缺点可以通
2021-07-28 21:38:42
159
原创 [集成学习]Boosting
思路由于在PAC学习框架下，弱可学习与强可学习等价，但强可学习算法难以找到，故我们可以通过对弱可学习算法进行改进得到强可学习算法。Adaboost算法向前分步算法梯度提升决策树XGBoostLightGBM...
2021-07-25 23:20:29
65
1
原创 [集成学习]Bagging集成
Bagging集成Boostrap抽样对于线性模型从抽样总体中抽出一个容量为n的样本，通过这n个数据得到参数Beta1的一个估计值。将该过程重复k次（自助采样），可以得到k个Beta1的估计值，利用公式可以求得Beta1的方差，以衡量该线性模型的波动性Bagging集成Bagging集成以boostrap抽样为基础。在得到beta1的k个估计值后，可以通过k个样本集得到k个y的预测值，取k个y的估计值的平均值作为最终预测值。（对于回归问题来说，最终预测值是取k个预测值的平均值，但对于分类问
2021-07-22 22:16:02
344
原创 [集成学习]task03：方差与偏差理论
**[集成学习]task03：方差与偏差理论**由于在建模过程中使用的是训练数据集，而我们要预测的是测试数据集，因此建立的模型不仅要在训练数据集中表现良好，还要在测试数据集中表现良好。也是就说，Loss Function的值在训练数据集与测试数据集中都是最小的。训练均方误差与测试均方误差的关系随着训练均方误差的逐渐减小，测试均方误差先减小后增大。这是由于当训练数据集的均方误差很小时，模型过拟合，缺乏泛性。估计测试均方误差估计测试均方误差时可以使用间接估计或直接估计的方法。· 间
2021-07-18 23:31:50
149
2
原创 [集成学习]task02:回归问题
[集成学习]task02:回归问题回归问题线性回归模型求解线性回归模型的参数：构建一个含有参数的 Loss Function，求解使得 Loss Function最小的参数的值。一般的 Loss Function的形式有：
2021-07-15 23:16:38
145
2
原创 [集成学习]task01：机器学习数学基础
雅可比矩阵定义：几何意义：该函数变化率最大的方向当该函数为二次函数时，其雅可比矩阵即为梯度向量。极值与二次型由二次型的知识可知：一个线性方程组可以写成如下形式，故该线性方程组的图像由矩阵A决定，以二次多项式为例：当矩阵A正定时，图像开口向上，故有极小值；当A负定时，图像开口向下，故有极大值。黑塞矩阵为正定矩阵，在该点取极小值黑塞矩阵为负定矩阵，在该点取极大值黑塞矩阵为不定矩阵，在该点不是极值点黑塞矩阵为半正（负）定矩阵，不一定是极值点最大线性无关组与矩阵的秩最大线性.
2021-07-13 22:55:49
1127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人