MachineLearningTheory
小小书童ss
吾生也有涯,而知也无涯 。以有涯随无涯,殆已!已而为知者,殆而已矣!为善无近名,为恶无近刑。缘督以为经,可以保身,可以全生,可以养亲,可以尽年。
展开
-
机器学习-KNN-2020-7
KNN(k-nearest neighbor)k近邻 用途:回归 or 分类 KNN分类预测时,一般是选择多数表决法,即训练集里和预测的样本特征最近的K个样本,预测为里面有最多类别数的类别。 KNN做回归时,一般是选择平均法,即最近的K个样本的样本输出的平均值作为回归预测值。 分类: 原理:当预测一个新的输入实例x类别,根据它最近k个点是什么类别来判断x属于什么类别(k个点多数属于的那个类,就是预测x的类 多数表决) 算法 : 输入:训练数据集 T = {} ,其中是特征向量,是标签 ...原创 2020-07-05 16:45:32 · 287 阅读 · 0 评论 -
机器学习-K-means-2020-5-7
一:聚类的目的 使同一类对象近可能的大,不同对象之间的相似度尽可能的小 二:聚类的分类: 1 :基于划分 K-Means ,K-Medoids,CLarans 2:基于层次 BIRCH , CURE ,CHAMELEON 3: 基于密度 DBscan ,Optics ,DenClue 推荐网站可视化: https://www.naftaliharris.com/blo...原创 2020-05-07 10:55:16 · 348 阅读 · 0 评论 -
机器学习-主成分析PCA-2020-5-1
特征提取: 主成分分析(Principal Component Analysis) 许多变量之间可能存在相关性,从而增加了问题分析的复杂性,因此需要找到一个合理的方法,在减少需要分析的指标同时,尽量减少原指标包含信息的损失。 例如:样本中有n维特征,特征之间可能存在相关性。如何去掉冗余特征! 如线性代数的中的:向量组是线性相关的,其中一些向量可由这个向量组的极大无关组线性表示。主成...原创 2020-05-01 16:58:26 · 225 阅读 · 0 评论 -
机器学习-001-SVM线性可分-2020-4-28
SVM(support vector machine)支持向量机 二分类模型: 特征空间上的间隔最大线性分类器,这点跟感知机不同。 通过核技巧,变成非线性分类器 求解算法,凸二次规划的最优算法( 运筹学 ) 模型简单到复杂: 线性可分支持向量机Linearsupportvectormachineinlinearly separable case ...原创 2020-04-28 15:59:07 · 784 阅读 · 0 评论 -
机器学习001-感知机-2020-4-6
感知机perceptron: 二分类的线性分类模型,属于判别模型 基本概念: 数据集T: T= { (x1,y1),(x2,y2) , .....(xn,yn)} yi ={ -1, +1 } i∈(1,n) 线性可分数据集:(linearly separable date set) 存在某个超平面 w.x+b = 0,能够将数据集的正实例点和负实例点全部正确划...原创 2020-04-07 20:23:44 · 587 阅读 · 0 评论 -
机器学习001-熵-2020-3-14
信息是什么? 百度百科中的定义:信息,泛指人类社会传播的一切内容,指音讯、消息、通信系统传输和处理的对象。 信息可不可以被量化,怎样量化? 一条信息的信息量大小和它的不确定性有直接的关系,信息量的度量就等于不确定性的多少 熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system) 信息熵”香农(Shannon)《通信的数学原理》论文中指出...原创 2020-03-18 16:55:03 · 423 阅读 · 0 评论 -
机器学习001-逻辑回归-2020-3-10
从多元回归到逻辑回归: 多元线性回归: 一个因变量y和一组自变量x1, x2, x3, ... , xn,其中y为连续变量,我们可以拟合一个线性方程: y=θ0+θ1*x1+θ2*x2+θ3*x3+...+θn*xn 取值范围(-∞ ,+∞) 逻辑回归(Logistic Regression, LR) 定义: 如果y 现在取值为一个有限范围内[ ] , ...原创 2020-03-18 16:52:22 · 467 阅读 · 0 评论 -
机器学习-线性回归-多元-2020-3-9
多元线性回归:一个因变量y ,开始由多个自变量(x1,x2,...xn)来决定 假设我们要去预测一套房子的价格:(多因素觉得房价): eg: 房子的面积, 几室几厅 ,房龄 ,周围配套,环境,政策,银行房贷利率等等。 考虑的因素越多,我们对房价就能预测得更准确. 简单理解多元线性回归: 多个变量对一个事物的影响,例如房价,房子面积这个单变量,就对房价影响大,两百平的大豪宅,肯定贵...原创 2020-03-09 19:58:33 · 198 阅读 · 0 评论 -
机器学习-线性回归-一元线性回归-2020-3-9
线性回归: 简单案例 y = w*x + b w: 权重 b: 偏置 w,b 都是向量 y: 标签 x: 特征 """ 简单线性回归实例 y = 3*x + 2 人工制造数据集: 随机生成一个近似采样随机分布,使得w=3.0, b=2, 并加入一个噪声,噪声的最大振幅为0.4 学习目标: w ...原创 2020-03-09 19:56:57 · 445 阅读 · 0 评论 -
机器学习-梯度下降-2020-3-2
What is Gradient Descent?(慢慢看,英语有点吃力,不过质量还不错) https://www.analyticsvidhya.com/blog/2017/03/introduction-to-gradient-descent-algorithm-along-its-variants/ ------------------------------------------...原创 2020-03-02 19:17:43 · 212 阅读 · 0 评论