机器学习
文章平均质量分 90
奔跑的大西吉
这个作者很懒,什么都没留下…
展开
-
机器学习接口和代码之 KNN
官网地址:https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighborsclass sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, algorithm=’auto’, leaf_size=30,...原创 2020-03-14 22:29:57 · 254 阅读 · 0 评论 -
激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout
Sigmoid函数Sigmoid函数具体的计算公式如下sigmoid函数的因变量x取值范围是(-∞,+∞),但是sigmoid函数的值域是(0, 1)。下面我们用通过spyder用python语言把logistic曲线画出来,如下所示。# -*- coding: utf-8 -*-"""@author: tom"""import numpyimport math...原创 2020-03-14 22:29:51 · 7221 阅读 · 0 评论 -
机器学习之线性回归 损失函数、代价函数、目标函数
损失函数(Loss Function)定义在单个样本上,算的是一个样本的误差。比如: 其中0-1损失函数:感知器损失函数:平方和损失函数:绝对损失函数:对数损失函数:代价函数(Cost Function)定义在整个训练集上,是所有样本误差的平均值,也就是损失函数的平均,比如:,其中目标函数(Object Functi...原创 2020-03-14 22:29:48 · 963 阅读 · 0 评论 -
机器学习之梯度下降法(GD)和坐标轴下降法(CD)
梯度下降法梯度下降法(Gradient Descent, GD)常用于求解无约束情况下凸函数(Convex Function)的极小值,是一种迭代类型的算法,因为凸函数只有一个极值点,故求解出来的极小值点就是函数的最小值点梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向,因为该方向为当前位置的最快下降方向,所以梯度下降法也被称为“最速下降法”。梯度下降法中越接近目标值,变量变...原创 2020-03-25 14:44:24 · 2349 阅读 · 0 评论 -
机器学习之特征工程
特征工程-概念特征工程是一个面向十分广的概念,只要是在处理数据就可以认为是在做特征工程。个人理解,真正意义上的特征工程还是数据降维和数据升维的过程。而前期对数据的处理过程:需要哪些数据? 数据如何存储? 数据如何清洗?将这三步归纳到数据准备的过程。1、需要哪些数据?根据领导提出的一个分析要求,我们需要构思自己需要哪些数据,这个时候我们要和企业中的运维人员进行沟通,看看运...转载 2020-03-14 22:29:44 · 884 阅读 · 0 评论 -
机器学习算法之隐马尔可夫模型
马尔可夫性质及马尔可夫链马尔可夫性质设是一个随机过程,E为其状态空间,若对于任意的任意的 ,随机变量X(t) 在已知变量之下的条件分布函数只与有关,而与 无关,即条件分布函数满足下列等式,此性质称为马尔可夫性质。如果随机过程满足马尔可夫性,则该过程称为马尔可夫过程。 马尔可夫链马尔可夫链...原创 2020-03-14 22:29:11 · 702 阅读 · 0 评论 -
机器学习之单标签多分类及多标签多分类
单标签二分类算法Logistic算法单标签多分类算法Softmax算法One-Versus-One(ovo):一对一One-Versus-All / One-Versus-the-Rest(ova/ovr): 一对多ovo和ovr的区别Error Correcting Output codes(纠错码机制):多对多多标签多分类算法Problem Transfor...转载 2020-03-14 22:29:06 · 7629 阅读 · 0 评论 -
机器学习之 EM
什么都不要想,先来感受一个例子:公司有男同事=[A,B,C],同时有很多漂亮的女职员=[小甲,小章,小乙]。(请勿对号入座)你迫切的怀疑这些男同事跟这些女职员有“问题”。为了科学的验证你的猜想,你进行了细致的观察。于是:观察数据:1、A,小甲、小乙一起出门了; 2、B,小甲、小章一起出门了; 3、B,小章、小乙一起出门了; 4、C,小乙一起出门了;收集到了数据,你开始了神秘的E...转载 2020-03-14 22:28:45 · 242 阅读 · 0 评论 -
机器学习之最大似然估计(MLE)和最大后验概率估计(MAP)
最大似然估计MLE(Maximum Likelihood Estimation)就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值的计算过程。直白来讲,就是给定了一定的数据,假定知道数据是从某种分布中随机抽取出来的,但是不知道这个分布具体的参数值,即"模型已定,参数未知",MLE就可以用来估计模型的参数。MLE的目标是找出一组参数(模型中的参数),使得模型产出观察数据的概率最...原创 2020-03-14 22:28:40 · 712 阅读 · 0 评论 -
机器学习算法之支持向量机 SVM
距离知识点到直线/平面的距离公式:1、假定点p(x0,y0),平面方程为f(x,y)=Ax+By+C,那么点p到平面f(x)的距离为:2、从三维空间扩展到多维空间中,如果存在一个超平面f(X)=θX+b; 那么某一个点X0到这个超平面的距离为:参考文献:https://wenku.baidu.com/view/d26d2ba39e31433239689374.html感...原创 2020-03-14 22:28:12 · 1045 阅读 · 0 评论 -
机器学习接口代码之 Ridge、Lasso、Elasitc Net
是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。为什么需要集成学习弱分类器间存在一定的差异性,这会导致分类的边界不同,也就是说可能存...原创 2020-03-14 22:27:53 · 416 阅读 · 0 评论 -
机器学习之拉格朗日乘子法和 KKT
有约束的最优化问题最优化问题一般是指对于某一个函数而言,求解在其指定作用域上的全局最小值问题,一般分为以下三种情况(备注:以下几种方式求出来的解都有可能是局部极小值,只有当函数是凸函数的时候,才可以得到全局最小值):无约束问题:求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等; ...原创 2020-03-14 22:26:26 · 383 阅读 · 0 评论 -
机器学习算法之 K-means、层次聚类,谱聚类
K-means算法,也称为K-平均或者K-均值,是一种使用广泛的最基础的聚类算法假设输入样本为T=X1,X2,…,Xm;则算法步骤为(使用欧几里得距离公式):Step1:随机选择初始化的k个类别中心a1,a2,…ak; Step2:对于每个样本Xi,将其标记位距离类别中心aj最近的类别j 更新每个类别的中心点aj为隶属该类别的所有样本的均值,然后更新 重复上面两步操作,直到达到某...转载 2020-03-25 00:08:27 · 3056 阅读 · 0 评论 -
机器学习之聚类概述
为机器学习占地转载 2020-03-14 22:25:41 · 643 阅读 · 0 评论 -
机器学习之 sklearn.preprocessing 模块
sklearn.preprocessing.PolynomialFeatures多项式扩展。它是使用多项式的方法来进行的,如果有a,b两个特征,那么它的2次多项式为(1,a,b,a^2,ab, b^2),这个多项式的形式是使用poly的效果。apiclass sklearn.preprocessing.PolynomialFeatures(degree=2, interactio...原创 2020-03-14 22:27:40 · 416 阅读 · 0 评论 -
机器学习之 朴素贝叶斯、贝叶斯网络
目录贝叶斯定理朴素贝叶斯算法高斯朴素贝叶斯伯努利朴素贝叶斯多项式朴素贝叶斯贝叶斯网络最简单的贝叶斯网络全连接贝叶斯网络一般化的贝叶斯网络引子参赛者会看见三扇关闭了的门,其中一扇的后面有一辆汽车,选中后面有车的那扇门可赢得该汽车,另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门,但未去开启它的时候,节目主持人开启剩下两扇门的其中一扇,露出其中一只山羊。...转载 2020-03-14 22:28:17 · 803 阅读 · 0 评论 -
机器学习接口和代码之 线性回归
线性回归sklearn 接口和代码官网api:https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squaresLinearRegressionclass sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=...原创 2020-03-14 22:27:20 · 344 阅读 · 0 评论 -
机器学习算法之集成学习
集成学习的思想是将若干个学习器(分类器&回归器)组合之后产生一个新学习器。弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。集成算法的成功在于保证弱分类器的多样性(Diversity)。而且集成不稳定的算法也能够得到一个比较明显的性能提升。常见的集成学习思想有:Bagging、Boosting、Stacking...转载 2020-03-13 16:22:26 · 712 阅读 · 0 评论 -
机器学习算法之生成树
1. 什么是决策树?决策树(Decision Tree)是一种基本的分类和回归的方法。分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点有两种形式:内部结点和叶节点。一句话概括:通过信息增益,采用递归的方式生成树(找出最合适的节点顺序以及叶子对应的类标签)1.1 决策树直观理解通过一个例子来理解决策树,若我...转载 2020-03-12 21:25:37 · 1043 阅读 · 0 评论 -
机器学习算法之 KNN
K近邻法(k-nearst neighbors,KNN)是一种很基本的机器学习方法了,在我们平常的生活中也会不自主的应用。比如,我们判断一个人的人品,只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类,也可以做回归,这点和决策树算法相同。KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类预测时,一般是选择多数表决法,即...原创 2020-03-11 17:16:57 · 1766 阅读 · 0 评论 -
机器学习算法之线性回归
一、机器学习初识1.1机器学习定义Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data.机器学习是一门从数据中研究算法的科学学科。机器学习直白来讲,是根据已有的数据,进行算法选择...转载 2020-02-25 22:40:48 · 1084 阅读 · 0 评论 -
机器学习入门
一、机器学习初识1.1机器学习定义Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data.机器学习是一门从数据中研究算法的科学学科。机器学习直白来讲,是根据已有的数据,进行算法选择...转载 2020-02-25 22:43:53 · 763 阅读 · 1 评论 -
机器学习算法之 logistic、Softmax 回归
逻辑回归本质是分类问题,而且是二分类问题,不属于回归,但是为什么又叫回归呢。我们可以这样理解,逻辑回归就是用回归的办法来做分类。它是在线性回归的基础上,通过Sigmoid函数进行了非线性转换,从而具有更强的拟合能力sigmoid 函数https://blog.csdn.net/fenglepeng/article/details/104829873Logistic回归分类器为了实现...原创 2020-02-25 22:36:16 · 619 阅读 · 0 评论