![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 96
Mekeater
梦想似乎很遥远,但我愿用一生去追逐。
展开
-
基于卷积神经网络的图像识别技术从入门到深爱(理论思想与代码实践齐飞)
基于卷积神经网络的图像识别技术从入门到深爱(理论与代码实践齐飞!)零、前言一、手写数字识别入门神经网络(入门篇)1. 手写数字数据集及神经网络数据概念介绍1.1 手写数字数据集1.2 神经网络数据集1.3 基于tensorflow实现神经神经网络常用的包1.4 one-hot编码2. 基于最邻近分类法实现手写数字识别2.1 最近邻算法原理2.2 最近邻手写数字识别代码实现2.3 算法问题与改进3. 基于神经网络实现手写数字识别4. 基于卷积神经网络实现手写数字识别二、遥感图像分类吃透各种卷积神经网络模型(提原创 2021-11-12 21:15:55 · 5070 阅读 · 2 评论 -
dbscan算法思路以及sklearn的DBSCAN聚类方法应用
sklearn的DBSCAN聚类方法应用前言: 对于前面博文中的k-means聚类方法,它有一个很大的缺陷,就是它对于简单成团的数据样本聚类效果较好,但是对于复杂的样本数据分布就搞不定了,比如环形分布的样本数据,或者其它复杂分布的样本数据如下图那么DBSCAN能够很好解决k-means算法的这个缺陷,它将具有足够高密度的区域划分为簇,并可以发现任何形状的聚类。一、DBSCAN聚类算法基本概...原创 2020-05-03 17:31:46 · 2230 阅读 · 0 评论 -
sklearn实现k-means聚类算法
sklearn实现k-means聚类算法前言: 调用sklearn.cluster包中KMeans库可以很方便的实现k-means聚类算法,本文举一个简单的例子介绍如何使用sklearn进行l-means聚类一、使用sklearn实现k-means聚类的代码import numpy as npimport matplotlib.pyplot as pltfrom sklearn.clu...原创 2020-05-03 15:14:08 · 11623 阅读 · 4 评论 -
python实现k-means算法及对k-means算法缺陷的优化
python实现k-means算法前言: k-means算法用于聚类,它的核心思想是确定分类数k,之后用每类样本数据平均值代表中心值,反复迭代中心值,直至中心值不改变或者在一定的误差范围内。具体的理论知识,可以查看我的这篇博文一、k-means算法实现代码import numpy as npimport matplotlib.pyplot as plt# 读取数据data = np....原创 2020-05-03 13:32:37 · 3152 阅读 · 3 评论 -
python实现主成分分析(PCA)
python实现主成分分析(PCA)前言: 主成分分析主要是用于降维,减少样本的特征量,其核心思想是将样本数据映射到最重要的方向,而最重要的方向就是方差最大的方向。关于主成分分析详细的理论知识,请至我的这篇博文中查看一、PCA的简单实现示例代码import numpy as npimport matplotlib.pyplot as plt# 将二维数据通过主成分分析(PCA)降为一维...原创 2020-05-02 17:53:31 · 4398 阅读 · 2 评论 -
sklearn实现非线性逻辑回归
skeater实现非线性逻辑回归前言: 上一篇博文,我使用python实现了非线性逻辑回归的梯度下降算法进行分类,看上去比较复杂,这篇博文将利用sklearn包进行非线性逻辑回归的实现,非线性实现的思想也是通处理样本数据将非线性转为线性,具体思路看我的这篇博文一、sklearn实现非线性逻辑回归Demoimport matplotlib.pyplot as pltimport numpy ...原创 2020-05-02 13:28:56 · 1621 阅读 · 0 评论 -
非线性逻辑回归的梯度下降算法python实现以及决策边界的绘制
非线性逻辑回归的梯度下降算法python实现以及决策边界的绘制前言: 对于逻辑回归的决策边界有很多并不是线性的而是非线性的,那么这样我就需要训练非线性的逻辑回归,如何训练非线性的逻辑回归呢?仍然利用sklearn的特征转换思路,将非线性问题转为线性问题进行解决,具体思路参考我这篇博文 关乎逻辑回归的理论知识参考我这篇博文一、非线性逻辑回归解决分类问题Demoimport matplotli...原创 2020-05-02 12:36:54 · 1456 阅读 · 1 评论 -
sklearn实现线性逻辑回归
sklearn实现逻辑回归前言: 上篇博文通过梯度下降算法实现了逻辑回归的分类问题,整个核心算法都是我们自己用python实现的,看起来比较复杂,本次博文介绍如何使用sklear包实现逻辑回归一、sklearn实现逻辑回归Demoimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.metrics import cl...原创 2020-05-02 10:37:40 · 361 阅读 · 1 评论 -
线性逻辑回归的梯度下降算法python实现
逻辑回归的梯度下降算法python实现前言: 逻辑回归是解决分类问题的一种的方法,关于逻辑回归的具体理论知识请至我的博文中查看一、逻辑回归python实现示例代码import matplotlib.pyplot as pltimport numpy as npfrom sklearn.metrics import classification_reportfrom sklearn im...原创 2020-05-01 23:49:29 · 1929 阅读 · 5 评论 -
sklearn值弹性网算法应用以及线性回归模型算法总结
sklearn值弹性网算法应用以及线性回归模型算法总结前言: 本文介绍另一种回归模型算法–弹性网,它结合了岭回归和LASSO算法,应该来说效果比单一的岭回归或者LASSO算法效果更好。一、线性回归模型算法总结目前已更新的博文中介绍了如下的几种方法去训练回归模型1、梯度下降法2、标准方程法3、岭回归4、LASSO5、本博文的弹性网算法二、弹性网算法介绍弹性网算法结合了岭回归和L...原创 2020-04-30 17:23:34 · 1135 阅读 · 2 评论 -
sklearn之LASSO算法应用
sklearn之LASSO算法应用前言: 本文介绍LASSO算法理论以及sklearn中Lasso算法如何调用和使用一、LASSO算法和岭回归算法对比•Tibshirani(1996)提出了Lasso(The Least Absolute Shrinkage andSelectionator operator)算法。• 通过构造一个一阶惩罚函数获得一个精炼的模型;通过最终确定一些指标(...原创 2020-04-30 17:01:15 · 5453 阅读 · 1 评论 -
标准方程法的改进--岭回归算法的python实现
标准方程法的改进–岭回归算法的python实现实现前言: 岭回归相比标准方程法就是多了一个岭系数,目的是防止数据不可逆导致的参数无法估计的问题,关于岭回归的具体理论请点击此处,到我的一篇博文中查看一、岭回归算法python实现代码此处岭系数默认为0.2,对于程序中的数据比较合适,而具体应用中需要结合交叉验证法,试验多次才能找到合适的岭系数import numpy as npfrom nu...原创 2020-04-30 16:20:50 · 866 阅读 · 1 评论 -
sklearn岭回归应用
sklearn岭回归应用前言: 前面博文关于线性回归模型我们可以用梯度下降法或者标准方程法进行训练,但是两种方法各有优缺点。特别是标准方程法一个比较重要的缺点是数据存在不可逆现象则无法训练出结果,而岭回归就是解决标准方程法这一缺点出现的,岭回归模型是由带正则化的代价函数推导得到,他避免数据不可逆的现象,进而得到近似最优解。关于岭回归的具体理论请点击此处,到我的一篇博文中查看一、sklearn岭...原创 2020-04-30 15:39:06 · 607 阅读 · 1 评论 -
机器学习之线性回归模型标准方程法的python实现
机器学习之线性回归模型标准方程法的python实现前言: 线性回归模型的训练求解可以用梯度下降法也可以用标准方程法,这两种方法各有优缺点,其中,梯度下降法的优点是即使模型的特征数量很多也可以很好的执行,缺点是需要确定学习率以及迭代次数还有初始参数的选择,得到的结果也是无线趋近的近似最优解;标准方程法的优点是不需要学习率,迭代次数,初始参数选择,且求解结果是无偏差的全局最优解,缺点是如果模型...原创 2020-04-29 18:07:37 · 960 阅读 · 1 评论 -
sklearn实现非线性回归模型
sklearn实现非线性回归模型前言: sklearn实现非线性回归模型的本质是通过线性模型实现非线性模型,如何实现呢?sklearn就是先将非线性模型转换为线性模型,再利用线性模型的算法进行训练模型。一、线性模型解决非线性模型的思想1、样本数据如下xy1450002500003600004800005110000615000...原创 2020-04-29 12:12:23 · 8391 阅读 · 1 评论 -
机器学习之多元线性回归模型梯度下降法的python实现
机器学习之多元线性回归模型梯度下降法的python实现前言: 本文利用python实现多元线性回归模型的梯度下降算法,以二元线性回归模型为例,实现梯度下降算法,以及训练得到的三维图形结果展示。一、二元线性回归模型的梯度下降算法代码本数据的学习率选择0.0001,初始参数选择0,最大梯度下降迭代次数为1000次import numpy as npfrom numpy import genf...原创 2020-04-29 09:29:50 · 3444 阅读 · 1 评论 -
sklearn包实现线性回归模型
sklearn包实现线性回归模型前言: 上篇文章我们利用python实现了梯度下降算法用于训练一元线性回归模型,但正常我坐机器学习多会使用比较成熟的相关包,因为这些封装好的包,算法效率相对较高,并且使用方便。本文使用sklearn包中线性模型实现一元线性回归模型的训练。一、sklearn训练线性回归模型只需要两句代码1、model = LinearRegression() # 建立模型...原创 2020-04-28 23:25:06 · 2758 阅读 · 1 评论 -
机器学习之一元线性回归模型梯度下降算法的Python实现
机器学习之一元线性回归模型梯度下降算法的Python实现前言: 关于一元线性回归梯度下降法的详细理论知识可至我机器学习类别的博文中查看,本文基于Python实现梯度下降算法。一、算法实现代码本数据的学习速率选择0.0001,迭代次数为50次,初始参数值为0import numpy as npimport matplotlib.pyplot as plt# 导入数据data = np...原创 2020-04-28 22:14:02 · 1022 阅读 · 1 评论 -
从统计学中学习机器学习的基本知识梳理
从统计学中学习机器学习的基本知识梳理前言: 本文从统计学入手,梳理统计学中机器学习的基本知识,从概念和思想上理解统计学的基础以及监督学习,非监督学习,半监督学习和强化学习。一、统计学框架统计学:研究随机现象和统计规律性的一门学科。研究如何以有效的方式收集、整理和分析受随机因素影响的数据。它以概率论为基础推断或预测受随机因素影响的数据。本文讲解统计学内容如下:二、描述性统计1、总体、个...原创 2020-04-15 15:40:37 · 2551 阅读 · 0 评论 -
机器学习(十二)如何选择学习模型以及如何评估和优化你的学习模型?
如何评估和优化你的学习算法以及学习模型如何选择?前言 :前面我们学习了线性回归,逻辑回归,神经网络等相关的机器学习算法,那么你如何评价你的算法好坏?如果你的算法执行结果并不是令人满意的结果,那么你又如何改进和优化你的学习算法?本文将讲解一些评价算法的方法,以及优化算法的一些高效指标。一、如果你测试发现你的预测函数表现得并不好,你如何做?假设你实现了线性回归去预测房价,但是你测试发现hθ(...原创 2020-01-07 20:30:58 · 1070 阅读 · 0 评论 -
机器学习(十一)神经网络模型之代价函数及利用反向传播算法实现梯度下降算法
机器学习(十一)神经网络模型之代价函数及利用反向传播算法实现梯度下降算法前言上篇博文已经详细解释了什么是神经网络,以及如何理解一个神经网络模型的计算过程,并利用反向传播算法实现了神经网络模型中预测函数的获得。那么和逻辑回归以及线性回归一样,得到了预测函数,下一步就是利用梯度下降法求解预测函数中的参数,来使得预测函数尽可能的接近样本数据,最终得到完整的预测函数hθ(x),那么在使用梯度下降法时,...原创 2020-01-04 22:11:33 · 1356 阅读 · 0 评论 -
机器学习(十)神经网络理解及利用向前传播算法得模型预测函数
机器学习(十)神经网络前言:我们前面已近学习了线性回归解决预测问题,逻辑回归解决分类问题,那么现在我们学习神经网络能解决什么问题呢?我认为它是为了解决线性回归和逻辑回归存在的不足而出现的。我们想想对于逻辑回归,如果我们的特征要素比较少的情况下,比如只有x1,x2,x3,那么我们得到的多项式还能够接受,但是如果我们问题的特征要素很多的情况,比如x1,x2,x3,…,x100,有100个特征要素,...原创 2020-01-03 19:37:03 · 1117 阅读 · 0 评论 -
机器学习(九)正则化解决线性回归和逻辑回归的过拟合问题
机器学习(九)正则化解决线性回归和逻辑回归的过拟合问题前言:关门关于机器学习,我们学习了线性回归和逻辑回归的相关算法,这两类问题都是监督分类问题,也就是事先有一定的训练样本,然后在这些训练样本的基础上得到我们的学习算法。那么这就存在一个问题,那就是根据已有的训练样本训练出来的学习器可能过分依赖现有的样本,即它能够在现有的训练样本中起到很好的作用,但一旦换本问题的另一些训练样本,该学习器就不能够...原创 2020-01-02 14:59:05 · 681 阅读 · 0 评论 -
机器学习(八)二元分类思想解决多元分类问题
机器学习(八)二元分类思想解决多元分类问题前言前面博文中讲到的逻辑回归解决的都是二元分类的问题,比如邮件是垃圾邮件还是非垃圾邮件;癌症是良性还是恶性等,那么实际生活中我们会遇到很多不仅仅分两类的问题,比如,邮件归类问题,可以归为work,friend,family,hobby 等等类型;再比如天气分类,可以分为晴天,阴天,下雨,多云等等类型;那么对于这种非二元分类问题,我们如何使用逻辑回归思想...原创 2019-12-24 20:42:11 · 2224 阅读 · 0 评论 -
机器学习(七)逻辑回归之代价函数
机器学习(七)逻辑回归之代价函数前言:由机器学习(六)我们得到了二分类问题的假设函数 hθ(x),那么下一步我们需要确定代价函数 J(θ),然后通过梯度下降法确定拟合参数θ。一、代价函数1、假设函数:2、对于线性回归的代价函数3、但是因为 hθ(x)是S型的非线性函数,因此我们得到的J(θ)图形,可能是如下图所示的非凸函数4、那么对于这样的代价函数J(θ),我们就很难用梯度下降...原创 2019-12-24 17:05:32 · 3702 阅读 · 0 评论 -
机器学习(六)逻辑回归---二分类问题
机器学习(六)逻辑回归—二分类问题前言:前面讲到的线性回归都是属于对样本数据拟合,得到学习器,进而预测数据的方法。本节学习逻辑回归,一种数据的监督分类方法。对于分类问题,本节我们首先主要学习两种类别的分类问题例如:举例类别邮件垃圾邮件/非垃圾邮件(YES/NO)在线交易欺诈交易/非欺诈交易(YES/NO)肿瘤恶性/良性(YES/NO)二分类问题,...原创 2019-12-23 23:13:48 · 543 阅读 · 0 评论 -
机器学习(五)线性回归之梯度下降法 VS 标准方程法
线性回归之梯度下降法 VS 标准方程法原创 2019-12-20 16:01:26 · 456 阅读 · 0 评论 -
机器学习(四)梯度下降法之特征缩放、学习速率判断与选择
机器学习(四)梯度下降法之特征缩放、学习速率判断与选择前言:由前面梯度下降法的学习可知,如果特征要素对应的样本数据值过大,会使得寻找最小代价函数的“路程”过于坎坷,降低算法效率。针对这种情况我们可以师兄特征缩放方法,一定程度上解决该问题。同时对于梯度下降法中学习速率,如果选择不当也会造成严重的后果,甚至使得代价函数不能收敛。那么解决这个问题,就需要我们在选择学习速率的同时,实时监控选择的学习...原创 2019-12-19 22:37:44 · 625 阅读 · 1 评论 -
机器学习(三)多元线性回归以及多元梯度下降法
机器学习(三)多元线性回归以及多元梯度下降法前言: 一般的假设函数都与多个特征相关,比如我们在机器学习(一)中提到的房子价格只是与面积有关。但实际房子价格和多种特征要素有关,比如与房子的大小,房子的卧室个数,房子的楼层数,房龄等等,因此本篇博客将在一元线性回归算法之上理解多元线性回归算法,其实他们直接本质是一样的原理,我们也就是使用了从从特殊到一般的方法论。案例例如预测房价与房子大小,卧室...原创 2019-12-02 17:04:41 · 1350 阅读 · 0 评论 -
机器学习(二) 梯度下降法
机器学习(二) 梯度下降法前言: 在上篇博文机器学习(一)中,最后我们提到,通过计算代价函数J(Θ)是否收敛于最小值来确定假设函数的参数Θ,进而训练出机器学习中的线性回归算法,那么如何来找到使得J(Θ)最小话的参数Θ呢,本篇博文将介绍一种常用的方法,梯度下降法来确定参数Θ值。一、对于单特征线性回归,梯度下降法的算法如下:repeat untile Θ no change{}其中 α是...原创 2019-12-01 12:36:29 · 408 阅读 · 0 评论 -
机器学习(一) 一元线性回归算法
机器学习(一) 线性回归算法前言: 身处于大数据时代,又置身于科研的征途上,如果没有合理的数据处理和分析方法,那么你置身于无穷无尽的大数据之中只有迷茫的份了。关于机器学习这个类别的博文,我将跟随着吴恩达老师的机器学习视频为基础,然后以我对视频的理解来记录机器学习相关的算法。吴恩达老师的机器学习视频B站链接一、机器学习一般步骤二、公式中符号解释m:训练样本的数量X:输入变量Y:输出...原创 2019-12-01 10:42:12 · 1587 阅读 · 0 评论