- 博客(7)
- 收藏
- 关注
RSS订阅原创 sklearn中的预处理和特征工程
先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，将权重从小到大排列，代表了特征对模型的贡献重要性，例如决策树的feature_importance。对于有feature_importances_的模型，取值为[0,1]，设置阈值很小，0.001，可以删除对标签完全没作用的特征，阈值很接近1，可能只有一两个特征留下。需要遍历或者升维的算法，KNN，决策树，SVM，神经网络，回归算法等方差过滤影响很大，降低运算成本，想随机森林等影响不大。1）经验来说，过滤法更快速，但更粗糙。
2023-10-10 21:34:26
118
1
原创 随机森林机器学习中调参的基本思想
有增有减，默认为aoto，特征总数的开平方，位于中间复杂度，既可以增加也可以减少。（3）对树模型和树的集成模型，树的深度越深，树叶越多，模型越复杂。增大min_samples_split*，泛化误差增大，往右边偏。（1）模型太复杂或者太简单，都会让泛化误差高，追究的中间平衡点。增大min_samples_leaf，泛化误差增大，往右边偏。（4）树和树的集成模型，都是减少模型复杂度，把模型往左偏移。有增有减，默认最小为1（最大复杂度），增大单调。有增有减，默认最小为2（最大复杂度），增大单调。
2023-10-06 19:55:58
410
1
原创 sk-learn 随机森林
随机数种子控制每次划分训练集和测试集的模式，其取值不变时划分得到的结果一模一样，其值改变时，划分得到的结果不同。对于除了特征T外，其他特征也有缺失的，遍历所有特征，对于特征缺失最少的开始填补（因为填补缺失最少的特征所需要的信息最少）random_state控制的是每次决策树所选的部分特征，所以不同random_state下的树的最优不纯度不一样。填补一个特征时，先将其他特征缺失值设为0，每完成一次回归预测，将预测值带入原本的特征矩阵，再继续填补下一个特征。，从而构建强评估器。
2023-10-06 15:49:24
73
1
原创 泰坦尼克号生存者预测
网格搜索会把所有参数都利用上，不会舍弃任何一个输入参数，有可能会导致比自己拟合的低。将criterion=“gini”换成“entropy”a.只要该标签的值不超过10个就可以用以上的方法。帮助调整多个参数，采用枚举，找到最好的组合。（1）对比train和test。**网格搜索：**指数级增长。（3）将文字处理为数字。（4）设置特征和标签。
2023-09-27 21:30:16
56
原创 回归树-sklearn
u是残差平方和，v是总平方和，N是样本数量，i是每个数据样本，fi是模型得出的数据，yi是样本i的实际标签值，y是真实取值的平均数。思路：生成一组随机分布在0-5上的x取值，在对应生成纵坐标y，对y加上噪声。将数据划分为n份，每次使用其中一份为测试集，其他n-1份为训练集，多次计算求出平均值。父节点和叶子节点之间的均方误差的差额，通过使用叶子节点的均值来最小化L2损失。mse不只是分枝衡量指标也是衡量回归树的回归质量的指标。3.mae 绝对平均误差。score返回的是R2。3.实例化&训练模型。
2023-09-27 19:15:54
64
1
原创 算法笔记记录
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入学习内容：学习时间：学习产出：欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎
2021-01-11 16:47:50
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人