机器学习专栏
文章平均质量分 93
机器学习专栏
Tao_RY
很久不学习了
展开
-
机器学习——集成学习基础
文章目录一、集成学习介绍二、随机森林(Random Forest)1、Bagging2、随机森林3、sklearn实现RF分类三、提升方法(Boosting)1、AdaBoost(Adaptive boosting)2、GBDT(Gradient Boost Decision Tree)一、集成学习介绍在机器学习的有监督学习算法中,我们的目标是学习出一个稳定的且在各个方面表现都较好的模型,但实际情况往往不这么理想,有时我们只能得到多个有偏好的模型(弱监督模型,在某些方面表现的比较好)。集成学习就是组合这原创 2021-11-14 10:30:25 · 384 阅读 · 0 评论 -
机器学习——常用性能指标及sklearn中的模型评估
机器学习专栏:机器学习专栏模型评估一、回归指标二、分类指标导入方式:sklearn.metricsfrom sklearn.metrics import mean_squared_errorfrom sklearn.metrics import r2_score一、回归指标回归方差(反应自变量与因变量之间的相关程度)explained_variance_score(y_true...原创 2020-04-15 11:10:49 · 664 阅读 · 0 评论 -
机器学习——sklearn实现半监督学习
前言:简单介绍半监督学习,无公式推导,并用sklearn实现机器学习专栏:机器学习专栏文章目录一、算法思路1、生成模型2、物以类聚(label propagation)二、标签传播算法的两种计算方式1. RBF2. KNN三、sklearn实现LP算法一、算法思路1、生成模型先计算样本特征的总体的联合分布,将所有有标注的样本计算出一个分布,然后把没有标注的样本放入这个分布中,看根据这个...原创 2020-04-13 23:54:29 · 2812 阅读 · 1 评论 -
机器学习——主成分分析及sklearn实现
前言:数学知识太复杂,似懂非懂机器学习专栏:机器学习专栏主成分分析一、主成分分析原理二、最近重构性和最大可分性1、最近重构性2、最大可分性三、sklearn实现PCA一、主成分分析原理主成分分析(Principal components analysis,以下简称PCA)是最重要的降维方法之一。由于各变量间存在一定的相关关系,因此有可能用较少的综合指标分别综合存在于各变量中的各类信息,在...原创 2019-12-04 22:31:03 · 1104 阅读 · 0 评论 -
机器学习——KNN及sklearn实现
前言:简单介绍KNN算法,sklearn实现机器学习专栏:机器学习专栏文章目录一、KNN算法原理二、算法参数1、距离2、K值二、sklearn实现KNN一、KNN算法原理K近邻算法是一种“懒惰学习”(lazy learning),就是你给我一个测试样本,我才需要去处理。与其相反的是“急切学习”(eager learning),即是在训练阶段就对数据进行处理。对于分类问题,KNN算法步骤...原创 2019-12-03 01:09:19 · 782 阅读 · 0 评论 -
机器学习——朴素贝叶斯分类器及sklearn实现
前言:参考《机器学习》,简单介绍朴素贝叶斯分类器机器学习专栏:机器学习专栏文章目录一、贝叶斯定理二、贝叶斯分类法三、sklearn实现贝叶斯分类一、贝叶斯定理贝叶斯定理(Bayes’ theorem)是概率论中的一个定理,描述在已知一些条件下,某事件的发生概率。条件概率公式:P(B∣A)=P(A,B)P(B)P(B|A)=\frac {P(A,B)}{P(B)}P(B∣A)=P(B)...原创 2019-11-30 01:39:08 · 918 阅读 · 0 评论 -
机器学习——支持向量机及sklearn实现
前言:参考《机器学习》,对偶问题没看懂。。。。(我只是一个代码的搬运工。。。)机器学习专栏:机器学习专栏文章目录支持向量机(SVM)1、基本原理2、软间隔3、核函数4、sklearn实现SVM5、SVM多分类4.1多分类原理4.2sklearn实现SVM多分类支持向量机(SVM)1、基本原理现给定数据集D=((x(1),y(i)),(x(2),y(2)),...,(x(m),y(m))...原创 2019-11-26 21:11:14 · 257 阅读 · 0 评论 -
机器学习——k-均值算法(聚类)
前言:有三维聚类图,我只是一个代码的搬运工。。。机器学习专栏:机器学习专栏文章目录k-均值(k-means)聚类1、k-均值算法2、k-均值算法的代价函数3、k-均值算法步骤4、初始化聚类中心点和聚类个数5、sklearn实现k-means算法k-均值(k-means)聚类1、k-均值算法k-均值算法是一种无监督学习,是一种“基于原型的聚类”(prototype-based clust...原创 2019-11-20 21:26:26 · 3139 阅读 · 1 评论 -
机器学习——决策树(分类)
前言:内容参考周志华老师的《机器学习》,确实是一本好书,不过本科生读懂还是有很大难度的,大多数模型都是直接给出公式,其实自己私下有推导,涉及好多自己不懂的数学知识,会一点点补充的机器学习专栏:机器学习专栏文章目录一、决策树基本流程二、划分选择1、信息增益(ID3算法)2、信息增益率(C4.5算法)3、基尼指数(CART算法)三、剪枝处理1、预剪枝2、后剪枝三、连续与缺失值处理1、连续值处理2...原创 2019-11-18 19:17:24 · 368 阅读 · 0 评论 -
机器学习——逻辑回归(分类)
前言:真的是改了很多次!细节真的很多!机器学习专栏:机器学习专栏文章目录逻辑回归(分类)1、基本原理4、梯度下降法4、sklearn实现逻辑回归5、多分类问题5.1多分类原理5.2sklearn实现多分类逻辑回归(分类)1、基本原理逻辑回归用于分类,是对样本属于某一类的概率进行预测,对数几率函数:g(z)=11+e−zg(z)=\frac{1}{1+e^{-z}}g(z)=1+e−z...原创 2019-11-17 14:20:33 · 4101 阅读 · 0 评论 -
机器学习——正则化
前言:大多数模型都是直接给出公式,其实自己私下有推导,涉及好多自己不懂的数学知识,会一点点补充的机器学习专栏:机器学习专栏文章目录正则化1、过拟合问题2、正则化2.1正则化原理2.2L2正则化线性回归2.3L2正则化逻辑回归3、sklearn实现L2正则化正则化1、过拟合问题什么是过拟合?顾名思义,过度拟合,对训练集的学习过于充分,以至于一些影响很小的属性都学到了,但是这并不是我们需要...原创 2019-11-17 14:18:14 · 394 阅读 · 0 评论 -
机器学习——特征缩放
前言:大多数模型都是直接给出公式,其实自己私下有推导,涉及好多自己不懂的数学知识,会一点点补充的机器学习专栏:机器学习专栏文章目录特征缩放1、特征缩放作用2、特征缩放的四种方式3、sklearn实现特征缩放特征缩放1、特征缩放作用面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),...原创 2019-11-15 19:41:12 · 5374 阅读 · 0 评论 -
机器学习——线性回归(预测)
前言:大多数模型都是直接给出公式,其实自己私下有推导,涉及好多自己不懂的数学知识,会一点点补充的机器学习专栏:机器学习专栏文章目录线性回归(预测)1、单变量线性回归1.1基本原理1.2最小二乘法1.3sklearn实现单变量线性回归2、多元线性回归2.1基本原理2.2正规方程法2.3梯度下降法2.4sklearn实现多元线性回归2.5模型优化2.5.1多项式回归2.5.2sklearn实现多...原创 2019-11-13 20:35:13 · 3467 阅读 · 1 评论