![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习笔记
文章平均质量分 52
也有会包含数学建模的笔记
深海的幽灵
坚持与努力
展开
-
【个人学习用】利用随机森林学习调参总结
按照这个博主写的进行了学习,在文章的后半段开始有调参的过程,前半段为随机森林的基础知识。https://www.jianshu.com/p/8a2e4e2872c8数据集:sklearn自带的乳腺癌数据涉及内容:sklearn,随机森林,交叉验证与网格搜索,调参的方法## 用sklearn 自带的乳腺癌数据进行随机森林的调参学习## 调参先根据前人经验入手## 对于random forest来说一般调参是针对降低模型复杂度,因为大部分树类的模型,模型复杂度都很高,容易过拟合,准确度当然也高,但泛化原创 2022-02-14 16:00:49 · 1218 阅读 · 0 评论 -
机器学习之交叉验证(sklearn相关)【个人总结用】
定义及使用的原因:提交叉验证之前,先说一下验证集。一般,验证集用来调参。调参是针对超参数来说的,比如SVM的超参数C。验证集设置的原因:When evaluating different settings ( hyperparameters ) for estimators, such as the C setting that must be manually set for an SVM, there is still a risk of overfitting on the test set原创 2022-02-11 00:28:01 · 1654 阅读 · 0 评论 -
偏差,残差,方差在机器学习中的区别
1.偏差与方差的区别定义偏差(bias):偏差衡量了模型的预测值与实际值之间的偏离关系。通常在深度学习中,我们每一次训练迭代出来的新模型,都会拿训练数据进行预测,偏差就反应在预测值与实际值匹配度上,比如通常在keras运行中看到的准确度为96%,则说明是低偏差;反之,如果准确度只有70%,则说明是高偏差。方差(variance):方差描述的是训练数据在不同迭代阶段的训练模型中,预测值的变化波动情况(或称之为离散情况)。从数学角度看,可以理解为每个预测值与预测均值差的平方和的再求平均数。通常在深度学原创 2022-01-21 16:04:17 · 4881 阅读 · 0 评论 -
各种损失函数的总结
原文见这里:https://www.jianshu.com/p/47172eb86b39原文从基本概念开始介绍,并利用基本概念推出各个损失函数的由来。转载 2021-10-01 21:29:36 · 71 阅读 · 0 评论 -
数据处理总结
消除量纲的方法归一化处理1.正向指标:越大越好,常见于熵权法2.负向指标:越小越好,常见于熵权法3.常见于Topsis方法标准化处理标准化后的数据均值为0,方差为1题外话:熵权法:算出指标的权重后乘标准化或归一化后的样本数据可以得到综合评价得分topsis方法:...原创 2021-09-04 14:17:17 · 318 阅读 · 0 评论 -
关于随机梯度下降法小心得
上述代码一次运行后的结果如下表明陷入了loss的局部极小值其他几次运行的结果也不稳定为了解释上述原因首先上面用的loss是梯度下降法就是每次迭代时计算的是训练样本的误差的和(也叫批量学习batch learning)对于非凸误差空间来说,模型的优化结果取决于权重的随机初始值可能会陷入局部极小值中出不来。为了避开这种情况,我们会使用随机梯度下降法,每一次迭代是每个训练样本的误差去更新,相当于上面的公式的累计和符号去掉而回到主题,我们上面虽然采用的是SGD(随机梯度下降法)但是由于训练.原创 2021-08-11 23:54:48 · 254 阅读 · 0 评论 -
反向传播算法(BP)(学习用,有注释笔记)
思想有点类似于动态规划,但又有点不同原文地址:https://blog.csdn.net/u014313009/article/details/51039334转载 2021-08-05 21:58:55 · 54 阅读 · 0 评论 -
如何决定神经网络的层数和一层的神经元个数?
原文地址https://zhuanlan.zhihu.com/p/47519999非常形象的解释了上述问题转载 2021-08-05 19:52:20 · 7361 阅读 · 0 评论 -
机器学习中的正则化到底什么意思?
分享一篇在知乎上看到的,解释的非常好的文章https://www.zhihu.com/question/20924039感谢作者:陶轻松内容如下:解答:转载 2021-07-23 14:49:05 · 62 阅读 · 0 评论 -
《机器学习实战》学习笔记之第四章朴素贝叶斯进行文档分类
朴素贝叶斯有两个假设:1.“朴素”:特征之间相互独立,单词出现的概率相同,当然这个假设不合理2.“权重相同”:每个特征等同重要,这个假设也不太合理尽管如此朴素贝叶斯的效果可观朴素贝叶斯有两种实现方式1.基于贝努利模型:不考虑词在文档中出现的次数,只考虑出不出现,相当于假设词是等权重的2.基于多项式模型:考虑词在文档中出现的次数实列...原创 2021-08-02 13:10:38 · 466 阅读 · 0 评论 -
《机器学习实战》学习笔记之第六章SVM
1.原始数据来源:https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE144269https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE144269原始数据:行为特征(基因),列为样本(两类,B为与癌症无关记-1类,A为癌症有关记1类)34262*1402.数据预处理import numpy as npimport randomfrom sklearn.decomposition .原创 2021-07-19 15:35:33 · 437 阅读 · 0 评论 -
《机器学习实战》学习笔记之第五章logistic回归
如何理解在logis回归中求解最优回归系数用梯度上升或者下降法:原创 2021-06-14 20:55:44 · 143 阅读 · 3 评论 -
层次分析法笔记
层次分析法笔记评价类问题三个问题权重表格如何确定具体权重评价类问题确定评价指标,形成评价体系三个问题1.评价的目标最佳旅游景点2.有哪些可选的方案上海,北京,苏州3.评价的准则或指标景色,花费,居住,饮食,交通若题目没给相关数据支撑需要自行查阅相关资料搜索文献的地方 :知网(优先),万方,百度学术,谷歌学术美赛查文献推荐地址:美赛必备的两个网址清风up推荐的:虫部落-快搜(此类型题的关键词:旅游选择因素,旅游景点评价指标),goog搜索,微信搜索,知乎搜索权重表格根据以上信息原创 2021-02-23 00:16:21 · 988 阅读 · 1 评论