![](https://img-blog.csdnimg.cn/20210923170018474.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
ML
ML
燥栋
这个作者很懒,什么都没留下…
展开
-
ML学习笔记-2021-08-27-无监督学习K-means算法
4.6 无监督学习-K-means 算法目标说明K-means算法原理说明K-means的性能评估标准轮廓系数说明K-means的优缺点应用instacart用户聚类4.6.1 什么是无监督学习没有目标值——无监督学习4.6.2 无监督学习包含算法聚类:K-means降维:降维4.6.3 K-means 原理步骤4.6.4 API4.6.5 案例:k-means对instacart market 用户聚类"""无监督学习: PCA降维原创 2021-08-28 08:44:09 · 166 阅读 · 0 评论 -
ML学习笔记-2021-08-27-模型保存
4.5 Sklearn 模型的保存和加载4.5.1 API4.5.2 线性回归的模型保存加载案例from sklearn.externals import joblib""" 这是个工具文件, 用于保存和加载模型 前面部分没有使用这个工具, 只在逻辑回归里面使用了"""def store_model(estimator, name): joblib.dump(estimator, "../../models/"+name) return "SUCCESS"原创 2021-08-27 19:54:11 · 174 阅读 · 0 评论 -
ML学习笔记-2021-08-27-模型评估-精确率、召回率、F1score、ROC、AUC
4.4.5 分类的评估方法1. 混淆矩阵2. 精确率3. 召回率4. F1 - score衡量模型的稳健性若F1 - score 大的化,就说明不仅精确率高,召回率也高,那模型的稳健性就高5. API6. 衡量样本不均衡下的评估 —— ROC ACU 曲线如下所示,当样本不均衡时,精度,召回率,F1score得分都很高。6.1 ROC曲线当TPR = FPR 图中的虚线,就是不管什么时候都预测为1,那么一定是瞎猜。API...原创 2021-08-27 17:25:19 · 196 阅读 · 0 评论 -
ML学习笔记-2021-08-27-逻辑回归
4.4 逻辑回归学习目标2.应用:癌症患者预测4.4.1 逻辑回归的应用场景4.4.2 逻辑回归的原理输入:线性回归的输出就是逻辑回归的输入激活函数:sigmoid函数分析:回归结果的输入到sigmoid函数当中输出结果:[0,1]区间中的一个概率值,默认为0.5的阈值。构造损失函数夹设函数是概率模型其带入到sigmoid函数中如下 1/(1 + e^(-(w1x1 + w2x2 + w3x3 + … + wnxn+ b)))之前的线性回归的输出为某原创 2021-08-27 16:52:34 · 135 阅读 · 0 评论 -
ML学习笔记-2021-08-27-岭回归
4.3 岭回归学习目标目标说明岭回归的原理与线性回归的不同之处说明正则化对参数的影响说明L1和L2正则化的区别应用:波士顿房价预测4.3.1 带有L2正则化的线性回归岭回归岭回归,其实也是一种线性回归。只不过在算法建立回归方程的时候,加上了正则化的限制,从而达到解决过拟合的效果。4.3.2 API4.3.3 观察正则化程度,对结果的影响。从图上可知:正则化力度越大,权重系数越小正则化力度越小,权重系数越大4.3.4 波士顿放假预测def ridge():原创 2021-08-27 14:51:57 · 99 阅读 · 0 评论 -
ML学习笔记-2021-08-27-过拟合和欠拟合
4.2 过拟合、欠拟合4.2.1 什么是过拟合和欠拟合学习特征过少学习特征过多定义如下图所示,在训练集和测试集上表现都不好,就是欠拟合,在训练集上表现得好在测试集上表现的不好就是过拟合4.2.2 原因以及解决办法欠拟合是增加特征数量,那么过拟合如何解决——使用正则化4.2.3 正则化L-2正则化 Ridge 岭回归L-1正则化...原创 2021-08-27 14:19:07 · 76 阅读 · 0 评论 -
ML学习笔记-2021-08-26-梯度下降的改进方法
1. GD2. SGD3. SAG总结原创 2021-08-26 21:57:27 · 101 阅读 · 0 评论 -
ML学习笔记-2021-08-26-回归算法-线性回归
4.1 线性回归回归问题:目标值-连续型的数据。4.1.1什么是线性回归定义与公式:找到函数关系,表示特征值和目标值,该函数就是线性模型2.线性回归中线性模型有两种,一种是线性关系,一种是非线性关系。单特征值与目标值的关系成直线关系,多特征值与目标值呈平面关系。非线性关系:线性模型包括线性关系和非线性关系两种线性模型包括参数一次幂和自变量一次幂 线性关系一定是线性模型, 反之不一定优化方法有两种: 一种是正规方程, 第二种是梯度下降4.1.2 线性回归的损失和优化原创 2021-08-26 21:24:59 · 138 阅读 · 0 评论 -
ML学习笔记-2021-08-26-分类算法-随机森林
3.6 集成学习方法之随机森林目标说明随机森林每棵决策的建立过程知道为什么需要随机又放回Bootstrap的抽样说明随机森林的超参数应用泰坦尼克号生存3.6.1 什么集成学习方法3.6.2 什么是随机森林随机:森林:概念如下3.6.3 随机森林原理过程训练集:包含N个样本;特征值 目标值:包含M个特征随机包含两层:特征值随机:M个特征随机抽取m个特征,M>>m,起到了降维的作用,正确的结果脱颖而出。训练集随机:N个样本中随机有放回的抽样N个,为了生成多颗树原创 2021-08-26 15:35:59 · 135 阅读 · 0 评论 -
ML学习笔记-2021-08-25-分类算法-决策树
5. 决策树5.1 认识决策树如何高效的进行决策?特征的先后顺序5.2 决策树分类原理详解已知四个特征,来判断是否贷款给他情况1:如果先看房子,都能拿到贷款。如果没有房子,则不一定能同意贷款,则应加入别的特征。如工作。因此先看房子,再看工作,一共两个特征就能决定上面样本是否可以进行贷款了情况2:但是如果先看年龄,后信贷情况,还是无法决定是否贷款,则需要再加入其他特征,如工作。那么这个顺序需要看三个特征情况三:有工作作为第一个特征那么如何判断特征的先后顺序呢?5.2.1 信原创 2021-08-25 17:12:22 · 184 阅读 · 1 评论 -
ML学习笔记-2021-08-24-分类算法-朴素贝叶斯算法
4. 朴素贝叶斯算法4.1 什么是朴素贝叶斯分类方法根据公式,分母为0,但是公式为朴素贝叶斯,朴素的意思是,特征与特征之间是相互独立的。4.2 概率基础已知小明是产品经理,体重超重,是否会被女神喜欢,二分类问题。4.3 联合概率、条件概率与相互独立案例1应用场景:文本分类单词作为特征案例2:为了避免概率为0,引入拉普拉斯平滑系数4.4 API4.5 案例:20类新闻分类1)获取数据2)划分数据集3)特征工程:文本特征抽取4)朴素贝叶斯预估器流程5)模型原创 2021-08-24 23:45:41 · 117 阅读 · 0 评论 -
ML学习笔记-2021-08-24-分类算法-模型选择与调优
3. 模型选择和调优3.1 交叉验证定义目的为了让模型得精度更加可信3.2 超参数搜索 Grid Search对K值进行选择。k=[1,2,3,4,5,6]循环遍历搜索。API参数1:传入预估器。参数2:超参数得取值,字典类型,{‘超参数名称’:[参数列表]}参数3:cv 几折交叉验证返回值:可查看最佳参数啥的。3.3 鸢尾花案例增加K值调优def KNN_optimal(): # 模型选择和调优 # 网格搜索和交叉验证 x_train, x_test原创 2021-08-24 17:39:25 · 130 阅读 · 0 评论 -
ML学习笔记-2021-08-24-分类算法-KNN
1.sklearn转换器和预估器1.1 转换器实例化(实例化的是一个转换器类Transformer)调用fit_transform(对于文档建立分类词频矩阵,不能同时调用)标准化: (x - mean) / std fit_transform() fit() # 计算每一列的平均值和方差 transform() # (x - mean) / std 根据公式进行最终转换1.2 估计器实例化一个estimatorestimator原创 2021-08-24 14:33:59 · 84 阅读 · 0 评论 -
ML学习笔记-2021-08-23-特征工程-特征降维
1.降维基本概念numpy 中维度0维 标量1维 向量2维 矩阵3维以上 张量此处的降维是指,降低特征的个数定义正是因为在进行训练的时候,我们都是用特征进行学习,如果特征本身存在问题,或者特征之间的相关性较强,那么对于算法学习和预测都会存在较大的影响。2.特征选择定义:识别鸟的类别,根据是否含有羽毛作为特征是合适的。2.1 Filter过滤式2.1.1 方差选择法定义:低方差特征过滤,一组特征的方差小,就说明这个特征比较相似,因此过滤掉一些方差较小的特征,可以达原创 2021-08-24 10:35:59 · 165 阅读 · 1 评论 -
ML学习笔记-2021-08-23-特征工程-特征与处理
1. 特征预处理定义:通过一些函数,将特征转换成更加适合算法模型的特征数据。包含内容归一花标准化API:sklearn.preprocessing为什么我们要进行归一化和标准化(无量纲化)?特征值的单位或者大小相差交大,或者某个特征的方差相比其他的特征要大出来几个数量级。容易支配结果,使得一些算法无法学习到他的特2. 归一化定义:公式:3. APIfrom sklearn.preprocessing import MinMaxScalerimp原创 2021-08-23 19:43:16 · 56 阅读 · 0 评论 -
ML学习笔记-2021-08-23-特征工程-特征提取
1. 字典特征抽取from sklearn.feature_extraction import DictVectorizerdef sklearn_feature(): data = [{'city': '北京', 'temperature': 100}, {'city': '北京2', 'temperature': 50}, {'city': '北京3', 'temperature': 20}] # transfer = DictVectorizer(spar原创 2021-08-23 19:05:53 · 165 阅读 · 0 评论 -
ML学习笔记-2021-08-23-sklearn数据集使用
1. 监督学习和无监督学习监督学习:输入为特征值+目标值,输出若为离散值则为分类问题,若为连续纸则为回归问题。分类:K-近邻算法,贝叶斯算法,决策树,随机森林,逻辑回归回归:线性回归,岭回归无监督学习输入为特征值聚类:K-means2. 数据集数据集获取:sklearn kaggle ucisklearn中的数据类型:BunchBunch和字典结构类似,也是由键值对组成,和字典区别:其键值可以被实例对象当作属性使用。from sklearn import da原创 2021-08-23 10:59:33 · 80 阅读 · 0 评论