![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ML原理及应用
文章平均质量分 63
记录ML的原理(知识点、概念)及应用(具体实现)
hellopbc
追求代码世界的白话(转战UEFI)
展开
-
sklearn的k折交叉验证的详细过程(数据和模型的角度)
前提:一般博客大家都是介绍K折在数据上的拆分,再加一个sklearn代码的demo,就没了。这样对于我来说,这两年就一直停留在这个阶段,知道他甚至感觉熟悉他,就是吃不透他。直到今天,我才想到去看sklearn的交叉验证源码,sklearn的流程一般是公认的。大概知道这个流程,但是由于缺乏看见权威资料什么的一直没敢确定。所以这个卡了2年就很是无语。分析的逻辑:sklearn有现成的k折交叉验证代码,只要看懂了sklearn的流程,体会了它的思路,那么在神经网络上也是一样应用的。分析:进入,第行原创 2022-07-12 11:36:52 · 1418 阅读 · 0 评论 -
Batch Normalization推理验证
Batch Normalization原理Batch Normalization原理随着网络深度的加深,在参数更新的时候,每层的输入值的数据分布会发生变化,导致ICS(Internal Covariate Shift)问题。ICS问题会:反正,网络的训练过程容易陷入梯度饱和区,减缓网络收敛速度。解决上面的问题:一、白化(whitening)主要是PCA白化与ZCA白化。白化是对输入数据分布进行变换,进而达到以下两个目的:使得输入特征分布具有相同的均值与方差。其中PCA白化保证了所有特征分布均值为0,方差为1原创 2022-06-23 11:44:37 · 444 阅读 · 0 评论 -
从计算过程领悟反向传播原理
文章目录反向传播**为什么引入反向传播?**简介原理及推算过程图一:总方程式图二:图一的左上角局部图图三:前向反向图四:反向(一)解决∂a/∂z\partial a / \partial z∂a/∂z图五:反向(二),解决∂C∂a\partial C \over \partial a∂a∂C图六:反向(三),==重点部分==,反着求两个**未知偏导**图七:反向(三-1),假设是算到了**输出层**图八:方向(三-2),假设还没算到输出层反向总结图九:反向总结(九-1)图十:反向总结(九-2)总结反向传原创 2022-03-21 09:07:18 · 428 阅读 · 1 评论 -
统一常见机器学习模型的保存与加载
统一常见机器学习模型的保存与加载包括如下:thundersvmlightgbm(gpu)deepforestxgboost(gpu)sklearn代码:import deepforestimport joblibimport lightgbmimport sklearnfrom sklearn.datasets import make_classificationimport thundersvmimport xgboostimport numpy as npdef原创 2022-02-04 02:44:55 · 2085 阅读 · 0 评论 -
信息增益(ID3)
文章目录信息增益(ID3)**ref****note****demo**信息增益(ID3)ref通俗理解kaggle比赛大杀器xgboostnote信息增益:用于量化分类的效果;用**熵(entropy)**去量化信息增益,熵的取值范围是[0,1]Entropy(S)=−p负log2p负−p正log2p正Entropy(S)=-p_负log_2p_负-p_正log_2p_正Entropy(S)=−p负log2p负−p正log2p正p正p_正p正、p负p_负p负是正、负样本数原创 2021-12-30 10:57:47 · 740 阅读 · 1 评论 -
周志华-深度森林(Deep Forest)
文章目录深度森林refnotemore深度森林一种决策数集成方法refDeep ForestDeep Forest,非神经网络的深度模型(周志华)paper pdfpaper 在线原文githubapiapi-参数微调note只要就是理解它的gcForest方法级联森林结构(Cascade Forest)多粒度扫描(Multi-Grained Scanning)Deep Forest,非神经网络的深度模型(周志华)这里说的很清楚more支持自定义级联森林结构的每个e原创 2021-12-27 16:12:59 · 1882 阅读 · 0 评论 -
sklearn naive_bayes
文章目录sklearn naive_bayesrefnotesklearn naive_bayes朴素贝叶斯sklearn.naive_bayes.***NBrefsklearn朴素贝叶斯类库使用小结主要介绍都在这里(2017)python机器学习小记——基于朴素贝叶斯(Native Bayes,NB)模型的分类预测原理介绍note三种贝叶斯分类算法:GaussianNB(高斯朴素贝叶斯)sklearn.naive_bayes.GaussianNB(priors=N原创 2021-12-02 08:58:40 · 1186 阅读 · 0 评论 -
交叉验证具体流程
文章目录评估方式评估方式交叉验证是一种评估方式,目的是得到一个稳定的结果;相当于多次实验取平均值。交叉验证也可以调参的时候不用。在训练集上得到的结果是交叉验证得到的就可以。前提:一次K折交叉验证的具体过程具体流程一(先调参、再五折评估):先定参数训练集分为测试集和验证集调参对训练集做五折,得到每折的模型对测试集测试,K折就是测试K次取最终的平均值具体流程二(网格五折同时评估):网格搜索时,每取一组参数,就在训练集上做一次交叉验证每组参数会得到一个交叉验证的结果,最好的原创 2021-11-24 10:38:32 · 3827 阅读 · 0 评论 -
sklearn_scaler
文章目录sklearn_scalerrefnote1. scale 和 StandardScalersklearn_scalersklearn 缩放from sklearn.preprocessing import scalefrom sklearn.preprocessing import StandardScalerrefref1:关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化代码demo和原理说明ref2:真的明白sklearn.preprocessing原创 2021-11-18 14:47:53 · 1176 阅读 · 0 评论 -
KNN Kmeans
文章目录KNN KmeansKNN Kmeansref:最通俗的话解释KNN,KMeans算法note:KNNK近邻算法属于监督学习,需要label类别是已知的,通过对已知分类的数据进行训练和学习,找到这些不同类的特征,再对未分类的数据进行分类。原理:将预测点与所有已知点进行距离计算,然后保存并排序,选出前面K个值看看哪些类别比较多,则预测的点属于哪类。Kmeans:K均值算法属于无监督学习,不要label.事先不知道数据会分为几类,通过聚类分析将数据聚原创 2021-09-16 15:39:18 · 72 阅读 · 0 评论 -
Separable Convolution和(regular)Convolution
Separable Convolution卷积神经网络中的Separable ConvolutionSeparable Convolution的参数个数是常规卷积的约1/3。节省运算量**层次结构:**input---->(depthwise-conv)---->map------>(pointwise-conv)---->output步骤:假设in-channel是3depthwise-conv使用与channel数相同的fiters,也就是3个filter原创 2021-07-09 10:28:38 · 540 阅读 · 0 评论 -
评价指标(metrics)
文章目录评价指标(metrics)参考文档precision(查准率P)、recall(查全率R)、sensitive(灵敏度、敏感性、真阳率)、specificity(特效度、特异性、真阴率)ROC、AUC画图:(1-specificity,sensitivity)使用sklearn计算查准率-查全率曲线(P-R图)、AUPRF1-score其他评价指标评价指标(metrics)参考文档机器学习中的PR曲线和ROC曲线分类指标准确率(Precision)和正确率(Accuracy)的区别机器学习原创 2021-05-10 22:49:36 · 4190 阅读 · 0 评论