![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
ShaneHolmes
研究生
展开
-
机器学习之支持向量机SVM(二)
@TOC已经说明线性区分性的定义,以下将对线性不可区分做介绍1.线性不可区分的解决方案(linear inseparable):数据集在空间中对应的向量不可被一个超平面区分开两个步骤来解决:1,利用一个非线性的映射把原数据集中的向量点转化到一个更高维度的空间中2,在这个高维度的空间中找一线性的超平面来根据线性可分的情况处理所以对线性不可划分得情况,关键是找出一种由低维向高维得映射...原创 2019-06-12 15:42:41 · 305 阅读 · 0 评论 -
机器学习之正则化
吴恩达机器学习 上一篇 主目录 下一篇 文章结构1. 代价函数的正则化参数2. 正则化线性回归3. 正则化的逻辑回归模型【前言】正则化可以解决 过度拟合 的问题,本文介绍在代价函数...原创 2019-08-27 12:46:32 · 421 阅读 · 0 评论 -
机器学习之过拟合
目录过度拟合模型对比【前言】线性回归和逻辑回归,它们能够有效地解决许多问题,但是当将它们应用到某些特定的机器学习应用时,会遇到 过度拟合(over-fitting) 的问题,可能会导致它们效果很差。这里介绍什么是过度拟合,过度拟合可以使用一种称为正则化(regularization)的技术来改善或者减少过度拟合问题。过度拟合模型对比回归中的问题:第一个模型是一个线性模型,欠拟合,不...原创 2019-08-27 11:26:32 · 275 阅读 · 0 评论 -
机器学习笔记整理
关于我的Github以下是机器学习部分的学习笔记的集合整理:1.《机器学习前言之基本概念》2.《机器学习之决策树》3.《机器学习之最邻近规则分类KNN》4.《机器学习之支持向量机SVM(一)》5.《机器学习之支持向量机SVM(二)》6.《机器学习之神经网络NN》7.《机器学习之简单线性回归》8.《机器学习之多元线性回归》9.《机器学习之目标函数,损失函数和代价函数》10.《机...原创 2019-07-09 20:07:57 · 2911 阅读 · 0 评论 -
机器学习之支持向量机SVM(一)
机器学习之支持向量机SVM1.什么是SVM?2. 基本思想1.什么是SVM?SVM(Support Verctor Machine)支持向量机,最常拿来就是做分类。也就是说,如果我有一堆已经分好类的东西(可是分类的依据是未知的),那当收到新的东西时,SVM可以预测新的数据要分到哪一堆去。支持向量机通过求得一个划分超平面来划分两类不同的数据样本,把正例放在一边,反例放在一边。它是一类按监督学习...原创 2019-06-12 14:43:35 · 538 阅读 · 0 评论 -
机器学习之层次聚类
目录1. 层次聚类分类2. 凝聚层次聚类3. 分裂层次聚类1. 层次聚类分类层次聚类算法又分为两种形式:(1). 凝聚层次聚类:首先将每个对象作为一个簇,然后合并这些原子簇为越来越大的簇,直到某个终结条件被满足。这是自底向上的方法,首先将每个对象作为单独的一个聚类,然后根据性质和规则相继地合并相近的类,直到所有的对象都合并为一个聚类中,或者满足一定的终止条件。经典的层次凝聚算法以AGNE...原创 2019-06-16 11:06:02 · 592 阅读 · 0 评论 -
机器学习之K-means聚类算法
目录1. 算法思想2. 算法描述3. 应用实例3. 小结K-means聚类算法属于非监督学习(unsupervised learning),即训练集无类别标记,详情见前言1. 算法思想样本数据没有分类,例如体现为上图中的点。根据点的分布,可以将这些点划分为不同的簇cluster。划分好的cluster满足聚类中的对象相似度较高,而不同的聚类中的对象的相似度较小。这些数据划分为K个聚类,其...原创 2019-06-15 12:53:05 · 356 阅读 · 0 评论 -
机器学习之最邻近规则分类KNN
机器学习之最邻近规则分类KNN1.什么是KNN(k-nearest neighbor)?2. 基本思想1.什么是KNN(k-nearest neighbor)?K最近邻(K-Nearest Neighbor,KNN)算法,是著名的模式识别统计学方法,在机器学习分类算法中占有相当大的地位。它是一个理论上比较成熟的方法。既是最简单的机器学习算法之一,也是基于实例的学习方法中最基本的,又是最好的文...原创 2019-06-10 11:39:13 · 551 阅读 · 0 评论 -
机器学习之回归中的相关度和决定系数
目录1. 相关度1.1 相关度(Relevancy)1.2 应用实例2. 决定系数(R^2)机器学习中关于回归模型有时候需要衡量自变量和因变量之间的相关度,接下来介绍两个衡量相关度的指标:1. 相关度1.1 相关度(Relevancy)相关度是指两个事物间存在相互联系的百分比相关度使用皮尔逊相关系数来进行衡量:取值:[-1,1]该值>0 表示两个变量之间是正相关的,值为0表示...原创 2019-06-15 11:13:04 · 4713 阅读 · 0 评论 -
机器学习之非线性回归(Logistic Regression)
目录1. 线性回归存在的问题2. Logistic Regression基本模型3. 逻辑回归推导4. 应用实例5. python实现代码1. 线性回归存在的问题(为什么举这个例子?逻辑回归为什么Y是0,1分类。。。哎,咱也不知道,咱也不敢问)假设肿瘤的良(0)恶(1)性与肿瘤尺寸大小(tumor size)有如下关系:某一尺寸大小的肿瘤均划分成了良性、恶性,其划分Malignant可能...原创 2019-06-14 22:38:18 · 3360 阅读 · 0 评论 -
机器学习之决策树
机器学习之决策树1.什么是决策树/判定树(decision tree)2. 基本概念2.1 熵(entropy)2.2 其他熵3. 决策树归纳算法 (ID3)3.1 信息获取量(Information Gain)3.2 其他算法4. 使用示例5. 总结1.什么是决策树/判定树(decision tree)决策树是一个类似于流程图 的树结构,决策树由有向边和结点构成,决策树的结点有两种,一种是...原创 2019-06-09 19:03:57 · 838 阅读 · 0 评论 -
机器学习前言之基本概念
机器学习前言之基本概念一些基本概念在机器学习中,一般将样本分成独立的三部分:训练集(train set):用于建立模型验证集(validation set):用来确定网络结构或者控制模型复杂程度的参数(优化)测试集(test set):则检验最终选择最优的模型的性能如何特征向量(feature vector):属性的集合,通常用一个向量来表示,附属于一个实例标记(label):实...原创 2019-06-09 16:21:53 · 959 阅读 · 0 评论 -
机器学习之目标函数,损失函数和代价函数
1. 基本概念:损失函数(loss function):计算的是一个样本的误差代价函数(cost function):是整个训练集上所有样本误差的平均目标函数:代价函数 + 正则化项2. 实际应用损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,举例说明:上面三个图的曲线函数依次为f1(x),f2(x),f3(x),我们想用这三个函数分别来拟合真实值Y。我们给定...原创 2019-06-14 12:17:06 · 1960 阅读 · 0 评论 -
机器学习之多元线性回归
机器学习之多元线性回归1.多元线性回归在上一篇简单线性回归中我们已经介绍简单和多元线性回归的概念划分1.多元线性回归原创 2019-06-14 00:33:51 · 1158 阅读 · 0 评论 -
机器学习之简单线性回归
在前言中我们可以看到,目标标记为连续型数值的是回归。而回归又分为线性和非线性原创 2019-06-13 19:20:02 · 786 阅读 · 0 评论 -
1-1 线性模型_梯度下降及框架实现
from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npnp.random.seed...原创 2019-10-03 21:04:09 · 418 阅读 · 0 评论 -
机器学习之神经网络NN
机器学习之神经网络NN1.什么是神经网络?2.多层向前神经网络(Multiplier Feed-Forward Neural Network)1.什么是神经网络?神经网络(Neural Network)以人脑中的神经网络为启发而产生的,最著名对的算法是backpropagation(BP)算法2.多层向前神经网络(Multiplier Feed-Forward Neural Network...原创 2019-06-12 16:49:29 · 765 阅读 · 0 评论