![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 64
理论+实战
_(*^▽^*)_
个人水平有限,如果有写错的地方,或者可以改进的地方,希望网友能够批评指正!
展开
-
机器学习(18)-- SVM支持向量机(根据身高体重分类性别)
目录一、基础理论二、身高体重预测性别1、获取数据(男女生身高体重)2、数据处理(合并数据)3、设置标签4、创建分类器(支持向量机)4-1、创建svm分类器4-2、设置分类器属性(线性核)5、训练6、预测总代码一、基础理论SVM本质:寻求一个最优的超平面进行分类。(分类器)SVM核:支持很多核(这里主要使用线性核)左图分类比较简单,一条线就可以分类;但右图一条线明显无法完成分类,这时则需要多条线甚至曲线才能完成分类。这里用的是监督原创 2021-09-22 14:36:28 · 2379 阅读 · 3 评论 -
机器学习(17)无监督学习 -- K-means算法与性能评估
目录一、K-means1、概念2、过程3、API(K-means)二、K-means性能评估1、轮廓系数2、API(轮廓系数)一、K-means1、概念无监督学习:没有目标值(没有标签)。(聚类一般在分类之前,没有目标值的时候使用聚类)采用迭代式的算法,直观易懂且实用。缺点:容易受到局部最优解(避免:多次聚类,取多次聚类中心)。最优解:k个中心点挤在一起。例:对这些人物的分类,没有目标值,就是无监督学习。2、过程例...原创 2021-09-13 18:58:38 · 3159 阅读 · 0 评论 -
机器学习(16)ROC曲线与AUC指标(癌症分类的模型检测--AUC指标)
目录一、基础理论0、引言1、TPR与FPR1、TPR(召回率)2、FPR2、ROC曲线3、AUC指标二、癌症分类的模型检测(AUC指标)1、正反例转1、02、计算AUC指标总代码一、基础理论0、引言在开始讲解以前,先假设一种情况:这种情况样本不均衡(正样本太多,没法预测到正确的结果)。要衡量样本不均衡时的分类器效果,这时引入:ROC曲线和AOC指标。1、TPR与FPR1、TPR(召回率)TPR = TP / (TP+FN.原创 2021-09-13 12:07:17 · 1940 阅读 · 0 评论 -
机器学习(15)精确率&&召回率&&F1-score(查看癌症预测结果的精确率、召回率)
目录一、基础理论1、混淆矩阵2、精确率3、召回率4、F1-score二、查看癌症预测结果的精确率、召回率API查看癌症预测结果的精确率、召回率总代码一、基础理论1、混淆矩阵预测结果与正确标记之间存在四种不同的组合:2、精确率精确率: 预测结果为正例样本中真实为正例的比例。3、召回率召回率:真实为正例样本中,预测结果为正例的比例。(真实为癌症能够被检测出来的概率)(重要,检测查的全不全)4、F1-score反映..原创 2021-09-13 10:55:59 · 1234 阅读 · 0 评论 -
机器学习(14)逻辑回归(实战) -- 癌症分析
如果不做数据处理直接划分,会出现如下的错误:ValueError: Found input variables with inconsistent numbers of samples: [697, 699]原创 2021-09-12 22:29:48 · 1297 阅读 · 0 评论 -
机器学习(14)逻辑回归(理论)
一、基础理论原创 2021-09-12 20:41:48 · 362 阅读 · 0 评论 -
机器学习(13)岭回归(线性回归的改进)
目录一、基础理论API二、岭回归:预测波士顿房价总代码一、基础理论岭回归:带有L2正则化的线性回归。(为了解决过拟合)对病态数据的拟合要强于最小二乘法()APIsklearn.linear_model.Ridge(横坐标:正则化力度; 纵坐标:权重系数)二、岭回归:预测波士顿房价# 3、岭回归def Linear3(): # 1、获取数据集 boston = load_boston() ...原创 2021-09-11 21:05:52 · 467 阅读 · 0 评论 -
机器学习(12)欠拟合&&过拟合、模型分析与正则化
目录一、欠拟合二、过拟合三、模型分析四、正则化4-1、L2正则化4-2、L1正则化一、欠拟合机器学习的特征过少,导致预测不准确。(训练集和测试集表现都不好)解决方法:增加数据的特征数量。二、过拟合机器学习的特征过多,导致预测错误。 (训练集表现很好,但测试集表现不好)解决方法:三、模型分析左边模型过于简单,拟合情况比较糟糕。中间的模型既不简单,也不复杂,比较理想。右边模型过于复杂,泛化...原创 2021-09-11 20:33:44 · 247 阅读 · 0 评论 -
机器学习(11)线性回归(2)实战 -- 正规方程优化、梯度下降优化(波士顿房价预测)
三、正规方程优化(波士顿房价预测)APIsklearn.linear_model.LinearRegression1、获取数据集# 1、获取数据集 boston = load_boston()2、划分数据集# 2、划分数据集 train_data, test_data, train_target, test_target = train_test_split(boston.data, boston.target, random_state=22)..原创 2021-09-11 18:11:22 · 830 阅读 · 0 评论 -
机器学习(11)线性回归(1)理论:损失函数(含最小二乘法)、正规方程、梯度下降、回归性能评估(均方差)
目录一、线性回归基础理论定义:线性关系公式:单特征线性关系:双特征平面关系:其他线性模型:二、线性回归的损失和优化原理1、损失函数/最小二乘法2、优化方法:2-1、正规方程1、公式2、原理2-2、梯度下降1、单特征2、双特征3、梯度下降过程(单特征)4、梯度下降过程(双特征)三、正规方程优化(波士顿房价预测)API1、获取数据集2、划分数据集3、标准化4、 创建预估器,得到模型代码四、梯度下降优...原创 2021-09-11 17:30:40 · 8834 阅读 · 0 评论 -
机器学习(10)随机森林(预测泰坦尼克号旅客存活率)
目录一、基础理论1、集成学习方法2、随机森林API二、过程1、创建随机森林预估器2、参数准备(网格搜索)3、训练模型评估结果:总代码一、基础理论1、集成学习方法集成学习通过建立几个模型组合的来解决单一预测问题。工作原理:生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。2、随机森林随机森林是一个包含多个决策树的分类器,输出类别由个别树输出类别的众数决定。例:...原创 2021-09-11 12:23:08 · 3133 阅读 · 0 评论 -
机器学习(实战)泰坦尼克号(游客存活率预估)
目录一、读取数据二、设置特征值和目标值三、数据处理1、缺失值处理2、特征值转换为字典四、划分数据集五、特征工程(特征值提取)六、获取决策树预估器,训练七、模型评估方法一:比对方法二:计算得分总代码一、读取数据资源下载链接1(推荐):https://download.csdn.net/download/great_yzl/22363793资源下载链接2(不推荐):https://pan.baidu.com/s/17DeVm48VRG0tlEzQM原创 2021-09-10 22:22:00 · 717 阅读 · 2 评论 -
机器学习(9)决策树(决策树分类鸢尾花)
目录一、基础理论二、决策树分类鸢尾花API1、读取数据2、划分数据集3、创建决策树预估器,训练4、模型评估方法一:比对法方法二:计算错误率代码一、基础理论决策树思想:程序设计中的条件分支结构是if-else分支结构,最早的决策树就是利用这类结构分割数据。二、决策树分类鸢尾花APIsklearn.tree.DecisionTreeClassifier1、读取数据# 1、获取数据集iris = loa...原创 2021-09-10 20:32:28 · 1851 阅读 · 0 评论 -
机器学习(8)朴素贝叶斯算法(20条新闻分类)
一、基础理论朴素贝叶斯算法:(朴素:假设数据集属性之间是相互独立的)因此算法的逻辑性十分简单,并且算法较为稳定,当数据呈现不同的特点时,朴素贝叶斯的分类性能不会有太大的差异。贝叶斯公式:最后概率最大的即为预测结果。...原创 2021-09-10 17:35:48 · 2113 阅读 · 0 评论 -
机器学习(实战)facebook地址预测
目录一、读取数据二、 数据处理1、缩小数据范围2、得到正常时分秒2-1、时间戳化时分秒2-2、得到时间列表2-3、添加时间信息到数据data中3、得到数据集3-1、获取各地点签到次数3-2、过滤签到次数过少的地点3-3、筛选特征值和目标值3-4、数据集划分4、特征工程(标准化)5、KNN算法预估器训练6、模型评估总代码特征值:坐标、准确度、hour、day、weekday。目标值:地址id。一、读取数据文件下载地址1..原创 2021-09-10 10:24:56 · 475 阅读 · 0 评论 -
机器学习(7)模型选择与调优(超参数搜索/网格搜索)
目录一、基础理论1、交叉验证2、模型选择与调优(超参数搜索/网格搜索) -- k的取值3、模型选择与调优API二、模型选择与调优(超参数搜索/网格搜索)1、首先进行参数准备2、开始搜索查看结果总代码一、基础理论1、交叉验证交叉验证目的:为了让被评估的模型更加准确可信。为了让结果更加准确,做以下处理:训练集:训练集+验证集测试集:测试集2、模型选择与调优(超参数搜索/网格搜索) -- k的取值有一些算法是需要手动指定的...原创 2021-09-10 08:34:30 · 1759 阅读 · 0 评论 -
机器学习(6)KNN算法(K-近邻算法)
一、基础理论1、定义高维数据转化为低维数据的过程,在此过程中可能会舍弃原有数据,创造新的变量。2、作用数据维数压缩,尽可能降低数据的维数(复杂度),损失少量信息。原创 2021-09-09 21:23:02 · 1960 阅读 · 0 评论 -
机器学习(5)降维 -- 特征选择(低方差过滤与相关系数)与主成分分析(PCA降维)
一、基础理论1、降维定义降维是指在特定条件下,降低随机变量(特征)个数,得到一组“不相关”变量的过程。(不仅仅是降低纬度)零维:标量一维:向量二维:矩阵三维:多个二维数组嵌套......相关特征:例如相对湿度与降水量。2、降维对象及目标降维对象:二维数组。降维目标:得到不相关特征变量。(太多相关特征会造成特征冗余(即特征过多))...原创 2021-09-08 21:25:56 · 3532 阅读 · 3 评论 -
机器学习(4)特征预处理
目录一、基础理论1、定义2、特征数据的无量纲化3、归一化、标准化分析归一化标准化 二、归一化1、归一化基本原理过程:1、读取待处理数据2、创建归一化转换器3、归一化处理(调用fit_transform)代码三、标准化1、标准化基本原理2、API过程:1、读取待处理数据2、创建标准化转换器3、标准化处理代码总代码一、基础理论1、定义特征预处理:通过一些转换函数,将特征数据转换成更加适合...原创 2021-09-08 15:31:51 · 941 阅读 · 0 评论 -
机器学习(3)特征提取2 -- 文本特征提取(包括中文文本特征提取)
一、文本特征提取1、基础理论分隔依据:以空格作为分隔。排序依据:按照顺序进行排序(即数字->A->Z)(注:标点符号和单个字符忽略。)stop_words( )停用单词2、过程1、获取数据集2、实例化转换器类3、提取特征值3、API介绍sklearn.feature_extraction.text.CountVectorizer4、特征值转化为二维矩阵# 数据集data = ['life is short,...原创 2021-09-08 11:46:07 · 7020 阅读 · 0 评论 -
机器学习(2)特征提取1 -- 字典特征提取
目录一、基础理论1、特征工程2、过程3、API二、特征提取转化为二维矩阵0、获取数据集1、实例化转换器类2、提取特征值3、显示三、特征值转化为稀疏矩阵0、获取数据集1、实例化转换器类2、提取特征值3、显示一、基础理论1、特征工程特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。文本类型 -> 数值2、过程1、实例化转换器类2、提取特征值3、API# 特.原创 2021-09-07 21:34:43 · 3950 阅读 · 0 评论 -
机器学习(1)机器学习基础 && 鸢尾花数据集
一、机器学习基础理论1、机器学习过程获取数据 数据处理 特征工程(特征值、目标值)(也是数据处理) 机器学习算法训练 -> 得到模型 模型评估2、机器学习分类学习阶段可用数据集:sklearn、kaggle、UCI3、数据集返回值介绍load返回小数据集,fetch返回大数据集。返回datasets.base.Bunch数据类型(字典格式)标签(target):目标值特征(data):特征值返回方式1...原创 2021-09-07 19:48:10 · 1743 阅读 · 0 评论