![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning
卷曲的葡萄藤
这个作者很懒,什么都没留下…
展开
-
机器学习----多项式回归详解
前言我们在使用线性回归的时候有个局限性,就是他是假设数据背后是存在线性关系的,实际中这种情况还是比较少的。较多的还是非线性关系,多项式回归法正是解决数据之间非线性关系进行预测的机器学习算法,思路还是线性回归的原理。本质还是线性回归,只是增加了样本的特征。如下右图:将x、x^2当成两个特征。 在右图中 相当于在左边的基础上增加了一个特征...原创 2019-06-14 16:27:05 · 4220 阅读 · 0 评论 -
机器学习----决策树学习记录、信息熵详解
什么是决策树?决策树是广泛用于分类和回归的模型,本质上是一层层if/else问题中进行学习,并得出结论的。决策树的思路在生活中很常见,比如公司招聘一个机器学习工程师流程:这一系列问题呢就可以表示一颗决策树,树的每一个叶子节点代表一个问题或者结果。即为了分类录用和考察,利用三个特征论文、研究生、GPA、项目来构建一个模型。下面简单用鸢尾花数据实现以下:import nump...原创 2019-06-23 15:01:49 · 915 阅读 · 0 评论 -
机器学习----keras,Tensorflow安装记录
前言安装的时候走了些弯路,费了点时间,特记录一下。本文只针对如何安装进行介绍,对于keras、Tensorflow不做介绍。一、安装anaconda官网可以下载,建议走清华园开源软件镜像站,速度快。包括后边的pip操作,建议走镜像,否则网速很慢,还会出现其他问题。本次安装的是这个版本,其他版本也差不多。下载好安装包进行安装即可了,参考网上教程。二、创建个tensorfl...原创 2019-06-23 11:50:41 · 1074 阅读 · 0 评论 -
机器学习--方差(Variance)与偏差(Bias)的平衡及正则化岭回归
首先理解一下什么是方差和偏差:类比到打靶,低方差就是每次打靶的点都比较集中在某部分,低偏差就是每次打靶都离目标较远。方差就是描述的离散程度,偏差描述的命中程度。模型的误差:偏差+方差+不可避免的误差(数据本身的噪音)偏差+方差和算法模型关系密切。导致偏差:如非线性数据使用线性回归,即欠拟合。导致方差:数据的扰动对模型影响很大,即模型学习过多的噪音数据。kNN 天生高方差,非参...原创 2019-06-18 15:01:01 · 2637 阅读 · 0 评论 -
机器学习----核函数
什么是核函数?前面我们知道SVM的本质就是求解有条件的最优化的问题。变形成求解最优化问题。即对于样本数据集任意两个向量都要做一次点乘计算。如果想使用多项式特征的话,我们之前的做法呢是对于本来的特征xi给他添加多项式特征变成x~i,xj一样,。即上面红色方框中变成求解,我们能不能不把xi 和 xj 先转换成和在做计算呢?设置一个K函数 --->,即有,这个K函数就叫核函数!K就是就是省略...原创 2019-06-21 16:20:28 · 354 阅读 · 0 评论 -
机器学习----SVM(支撑向量机)
什么是支撑向量机Suppor Vector Machine ,既支持回归又支持分类。之前我们进行分类使用的时决策边界,分布在不同边界的数据被分类成不同类别。如果决策边界不唯一的情况叫做不适定问题,逻辑回归解决不适定问题,定义概率函数sigmoid。 根据sigmoid 建模形成损失函数,最小化损失函数形成边界,损失函数完全由训练集决定的。以上左图的决策边界离红色点太近,...原创 2019-06-21 14:09:06 · 1397 阅读 · 0 评论 -
机器学习基础--kNN算法
一、kNN算法介绍首先先介绍下kNN算法,有这么一个场景给定了肿瘤块的大小和时间的一组数据,其中每一组数据对应一个结果数据,即恶性还是良性。这么一组数据: raw_data_x = [[3.39,2.33], #特征 [3.11,1.78], [1.34,3.37]...原创 2019-06-10 20:53:07 · 1218 阅读 · 0 评论 -
机器学习--利用学习曲线观察模型泛化能力详解
前言上一节说到了模型欠拟合和过拟合的概念知道,过拟合会导致模型的泛化能力很差,增加新的数据的话并不能预测较为准确的值,甚至错的离谱。那么我们怎么知道一个模型泛化能力的好坏呢?很容易想到的就是使用训练集测试集分离,我们用训练集进行模型的fit,然后拿测试集进行预测,最后对比测试集的特征数据预测出来的结果 对比测试集合的真实结果,就能知道这个模型预测的准确性和泛化能力。除此之外也可以通过学习曲...原创 2019-06-14 21:36:44 · 3264 阅读 · 0 评论 -
机器学习----过拟合和欠拟合 实例+效果图详解
前言使用多项式回归 可能出现的问题:过拟合和欠拟合过拟合(Over Fitting):算法所训练的模型过多的表达了数据间的噪音关系 。就是太过于细节了!欠拟合(Under Fitting):算法所训练的模型不能完全表述数据关系。就是太笼统了!上手实践线性回归:x=np.random.uniform(-3,3,size=100) #生成x特征 -3到3 100个...原创 2019-06-14 17:11:11 · 10223 阅读 · 1 评论 -
机器学习----集成学习和随机森林详解(未完)
什么是集成学习?集成学习是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。一般情况下,集成学习中的多个学习器都是同质的"弱学习器"。我们生活中也有很多集成学习的思想,比如买手机找别人推荐,几个人推荐几部手机,看他们综合意见。看电影,10个人7个说好,3个说不好,综合他们决定去看。。。比如利用:逻辑回归,svn,决策树进...原创 2019-06-23 22:29:08 · 335 阅读 · 0 评论