【机器学习】
文章平均质量分 73
残阳摧雪
行有不得,反求诸己!
展开
-
感知机
概念感知机是根据输入实例特征向量xx对其进行二分类的线性分类模型:原创 2017-06-20 10:47:07 · 384 阅读 · 0 评论 -
EM算法
本文转载至http://blog.csdn.net/yzheately/article/details/51164441。 参考http://blog.csdn.net/zouxy09/article/details/8537620 参考 http://www.cnblogs.com/jerrylead 之前介绍了EM算法在混合高斯模型中的应用,现在让我们来看看问什转载 2017-10-05 17:18:53 · 427 阅读 · 0 评论 -
逻辑回归
版权声明:本文为原创文章:http://blog.csdn.net/programmer_wei/article/details/52072939Logistic Regression(逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模型(不是回归模型)。本文主要介绍了Logistic Regression(逻辑回归)模型的原理以及参数估计、公式推导方法。转载 2017-09-20 21:21:57 · 302 阅读 · 0 评论 -
EM算法
EM是什么指期望最大化算法(Expectation Maximization Algorithm),是一种迭代算法,用于含有隐变量(latent variable)的概率参数模型的最大似然估计或极大后验概率估计,也就是用于函有隐变量概率参数模型的参数估计。在介绍EM算法之前,先补充如下几点基础知识。正定矩阵设M是nn阶实系数对称矩阵,若对任何非零向量 X=(x1,...xn)X=(x_1,...x_原创 2017-10-10 11:53:34 · 556 阅读 · 0 评论 -
如何防止过拟合
原文参考 http://blog.csdn.net/heyongluoyao8/article/details/49429629Early stopping通过迭代次数截断的方法来防止过拟合,即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。 具体做法是,在每一个Epoch结束时(一个Epoch集为对所有的训练数据的一轮遍历)计算validation data的accuracy,当accurac转载 2017-10-21 11:39:13 · 498 阅读 · 0 评论 -
Batch Normalization
本文转至http://blog.csdn.net/shuzfan/article/details/50723877#2-normalization-via-mini-batch-statistics。什么是BNBatch Normalization是一种网络变换层,它能使数据具有0均值、单位方差、弱相关等特性,改善数据分布,加快网络训练速度。为何做BN网络训练过程中参数不断改变导致后续每一层输入的分转载 2017-10-12 16:48:52 · 302 阅读 · 0 评论 -
梯度下降
版权声明:本文转载至http://blog.csdn.net/programmer_wei/article/details/51941358梯度下降算法是一个很基本的算法,在机器学习和优化中有着非常重要的作用,本文首先介绍了梯度下降的基本概念,然后使用python实现了一个基本的梯度下降算法。梯度下降有很多的变种,本文只介绍最基础的梯度下降,也就是批梯度下降。实际应用例子就不详细说了,网上关于梯度下转载 2017-09-20 22:16:06 · 253 阅读 · 0 评论 -
Repmat
功能介绍这是一个处理大矩阵且内容有重复时使用,其功能是以A的内容堆叠在(MxN)的矩阵B中,B矩阵的大小由MxN及A矩阵的内容决定,如果A是一个3x4x5的矩阵,有B = repmat(A,2,3)则最后的矩阵是6x12x5。%% 输入一个矩阵A = [1,2,3;4,5,6;7,8,9];%% 将矩阵作为大矩阵的一个元素B = repmat(A,1,1);C = repmat(原创 2018-01-12 15:46:18 · 476 阅读 · 0 评论 -
拉格朗日 & KKT条件
有什么用拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。(前提:只有当目标函数为凸函数时,使用这两种方法才保证求得的是最优解。)拉格朗日乘子法如上所述,拉格朗日乘子法可以将等式约束优化问题转换为无约束优化问题,即将问题:(原创 2017-09-29 16:01:32 · 1360 阅读 · 0 评论 -
高效稀疏编码公式理解
问题描述先上原文如下,要使用拉格朗日对偶求解字典,原文在《Efficient sparse coding algorithms》。基础预备关于矩阵求导的基础可以参考我的上一篇博客。开始推导上述(7)式后面一项,可以知道算出来就是一个实值,可以换做trace(BTBΛ−cΛ)" role="presentation" style="p原创 2018-01-29 16:34:56 · 448 阅读 · 0 评论 -
矩阵求导基础
[1] 矩阵导数定义需要用到矩阵的一些求导技术,假设对于一个大小为m×n" role="presentation" style="position: relative;">m×nm×nm×n的矩阵A" role="presentation" style="position: relative;">AAA,我们存在这样的一个映射f" role="presentation" style=原创 2018-01-29 12:24:53 · 1296 阅读 · 0 评论 -
主成分分析PCA
部分内容转至知乎,具体细节待整理。线性降维给定d维的原始数据X∈Rd×nX∈Rd×nX\in R^{d \times n},选择一个r<dr<drfX(⋅)fX(·)f_X( · )可以得到一个投影矩阵P∈Rr×dP∈Rr×dP\in R^{r \times d},最终可以得到Y=PX∈Rr×nY=PX∈Rr×nY=PX\in R^{r \times n}为降维后的数据。P...原创 2018-02-09 13:58:37 · 436 阅读 · 0 评论 -
SEMMDL
模型构建minP,B,S,&amp;amp;amp;amp;lt;W,b&amp;amp;amp;amp;gt;s.t.&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;||PX−BS||2F+λ1||S||22+λ2||X−PTPX||2F+2λ3∑c=1CL(S,yc,wc,bc)PPT=I,∑i=1rB2i,j≤1,∀j=1,...,原创 2018-06-06 10:18:48 · 201 阅读 · 0 评论 -
联合/先验/后验概率、似然函数
这是一个由联合概率引发的一连串有趣的故事。联合概率p(x)p(x)表示xx发生的概率,p(y)p(y)表示yy发生的概率,则x,yx,y同时发生的概率为:p(x,y)=p(x|y)p(y)=p(y|x)p(x)p(x,y)=p(x|y)p(y)=p(y|x)p(x)特别的,当x,yx,y独立时,上式可以写作: p(x,y)=p(x)p(y)p(x,y)=p(x)p(y) 原因在于,当x,原创 2017-10-06 18:02:16 · 4516 阅读 · 1 评论 -
SVM常见问题
本文转至blog.csdn.net/szlcw1应聘数据挖掘工程师或机器学习工程师,面试官经常会考量面试者对SVM的理解。以下是我自己在准备面试过程中,基于个人理解,总结的一些SVM面试常考问题(想到会再更新),如有错漏,请批评指正。(大神请忽视)转载请注明出处:blog.csdn.net/szlcw1SVM的原理是什么?SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分转载 2017-09-19 23:33:21 · 2606 阅读 · 0 评论 -
k均值聚类
什么是K均值聚类K-means算法是最简单的一种聚类算法。算法的目的是使各个样本与所在类均值的误差平方和达到最小(这也是评价K-means算法最后聚类效果的评价标准)一般步骤初始化 输入基因表达矩阵作为对象集X,输入指定聚类类数N,并在X中随机选取N个对象作为初始聚类中心。设定迭代中止条件,比如最大循环次数或者聚类中心收敛误差容限。进行迭代。根据相似度准则将数据对象分配到最接近的聚类中心,从而原创 2017-08-31 18:36:20 · 420 阅读 · 0 评论 -
77个数据科学家常见面试题
随着大数据概念的火热,数据科学家这一职位应时而出,那么成为数据科学家要满足什么条件?或许我们可以从国外的数据科学家面试问题中得到一些参考,下面是77个关于数据分析或者数据科学家招聘的时候会常会的几个问题,供各位同行参考。1、你处理过的最大的数据量?你是如何处理他们的?处理的结果。2、告诉我二个分析或者计算机科学相关项目?你是如何对其结果进行衡量的?3、什么是:提升值、关键绩效指标、强壮性、模型按合度转载 2016-08-29 15:31:04 · 3881 阅读 · 1 评论 -
粒计算
粒计算背景20 世纪 70 年代到 80年代初 , 人们将物理学中把大型物质划分为颗粒、分子、原子的思想引入到信息领域,用于处理现实世界中的不精确、不完整的海量信息以实现智能系统或智能控制。人类智能的一个公认特点, 就是人们能从极不相同的粒上观察和分析同一问题。 人们能在不同粒的世界上进行问题求解, 且能够很快地从一个粒世界跳转到另一个粒世界, 往返自如, 毫无困难。 这种处理不同粒世界的能力, 正原创 2017-01-03 20:39:23 · 5886 阅读 · 1 评论 -
K-Means聚类
什么是K-Means一种最简单的无监督聚类算法。步骤1. 初始化聚类中心最简单的确定初始类簇中心点的方法是随机选择K个点作为初始的类簇中心点,如下面k为要聚成几类,dataCount为数据量。for (int i = 0; i<k; i++){ centroidx[i] = x[rand() % dataCount]; centroidy[i] = y[rand() % dataCo原创 2017-09-03 18:13:52 · 381 阅读 · 0 评论 -
k-medoids聚类
什么是k-medoidsk-means受异常值或极端值的影响比较大,因此,针对k-means在离群噪声点表现出的不够鲁棒,提出了改进的k-medoids聚类方法,其核心思想在于“中心”,也就是说算法计算出的聚类中心一定是出现在样本中的点。与k-means有何不同不一样的地方在于中心点的选取,K-means中,我们将中心点取为当前cluster中所有数据点的平均值K-medoids中,我们将从当前原创 2017-09-03 22:16:08 · 1087 阅读 · 0 评论 -
性能指标(模型评估)之mAP
为什么性能指标用于评价模型的好坏,当然使用不同的性能指标对模型进行评价往往会有不同的结果,也就是说模型的好坏是“相对”的,什么样的模型好的,不仅取决于算法和数据,还决定于任务需求。因此,选取一个合理的模型评价指标是非常有必要的。错误率 & 精度针对数据集DD和学习器ff而言:1、错误率:分类错误的样本数占总样本的比例 E(f;D)=1m∑i=1mI(f(xi)≠yi)E(f;D)=\frac 1原创 2017-08-26 15:33:21 · 80837 阅读 · 25 评论 -
性能指标(模型评估)之ROC与AUC
为什么ROC在前面已经介绍了mAP性能指标,用于评估模型的性能(查全&查准双高)了。这里为什么还需要介绍ROC呢?他是何方妖孽?通过前面的P-R曲线可以看出来,选取的top-N随着N的不同,模型对查全和差准的重视程度各有不同,比如N较小时更看重“查准率”,N越大越重视“查全率”。因此,排序本身的好坏,体现了综合考虑学习器在不同任务下的“期望泛化性能”的好坏,或者是“一般情况下”泛化性能的好坏。ROC原创 2017-08-26 21:19:45 · 1720 阅读 · 0 评论 -
神经网络--误差反传
什么是神经网络一般的,典型的三层神经网络的基本构成如下,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层。 我们现在手里有一堆数据{x1,x2,x3,...,xn}\{ x_1,x_2,x_3,...,x_n\},输出也是一堆数据{y1,y2,y3,...,yn}\{y_1,y_2,y_3,...,y_n\},现在要他们在隐含层做某种变换,让你把数据灌进去后得到你期望的原创 2017-08-24 13:31:10 · 1186 阅读 · 0 评论 -
Hive
是什么hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive可以直接使用SQL语句进行相关操作? (×)Hive 定义了简单的类 S原创 2017-09-07 17:09:12 · 655 阅读 · 0 评论 -
LDA(Fisher判别)
核心思想现在要找一个直线,如何将这两个类最大限度的分开,直观的如果找一个投影法相,就像下面两个图,右边的结果更好:它阐述了一个怎样的准则: 类间最大,类内最小!类内最小在一个类中来说,每一个样本要尽可能地靠近类地中心,类的中心在哪?mi=1Ni∑xj∈Xixjm_i=\frac 1 N_i \sum_{x_j \in X_i} x_j怎样表示类内最小?使用类内离散度矩阵表示:Si=∑xj∈Xi(xj原创 2017-09-07 20:35:59 · 739 阅读 · 0 评论 -
常用分类&聚类方法
什么是分类分类任务就是明确对象属于哪个预定义的目标类。其中预定义的目标类是离散时为分类,连续时为回归。有哪些分类方法常用的分类算法有决策树,基于规则的分类算法,神经网络,支持向量机和朴素贝叶斯分类法等。(参考常用分类算法总结)决策树基于规则的分类算法朴素贝叶斯 杂货铺最近邻分类器贝叶斯信念网络(BBN)人工神经网络支持向量机的特征(SVM)什么是聚类聚类就是按照某个特定标准(如距离准原创 2017-09-08 10:03:42 · 2116 阅读 · 0 评论 -
朴素贝叶斯
贝叶斯定理贝叶斯能干什么?求逆向概率问题,也就是已知P(A|B)P(A|B)的情况下,求解P(B|A)P(B|A)的问题。通常P(A|B)P(A|B)很容易由统计特性得出,P(B|A)P(B|A)则很难知道。P(B|A)=P(A|B)P(B)P(A)P(B|A)=\frac {P(A|B)P(B)}{P(A)}朴素贝叶斯为何称朴素?叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素,朴素贝叶斯的思原创 2017-09-08 10:54:46 · 358 阅读 · 0 评论 -
ID3算法
关于ID3算法这里有一篇文章写的很通俗,本文转载至http://blog.csdn.net/acdreamers/article/details/44661149,原文内容大致如下。今天,我来讲解的是决策树。对于决策树来说,主要有两种算法:ID3算法和C4.5算法。C4.5算法是对ID3算法的改进。今天主要先讲ID3算法,之后会讲C4.5算法和随机森林等。 Contents 1. 决策树的转载 2017-09-08 15:58:46 · 918 阅读 · 0 评论 -
Pycharm安装cv2 [python3.6]
python解释器为Anaconda的3.6版本下载在这里选择对应的版本进行下载,其中参数分别为3.4.2(opencv3.4.2)、cp36(python3.6)、win_amd64(windows64位系统),根据自己的实际情况进行调整。安装将下载的文件拷贝至E:\Anaconda3\Lib\site-packages目录下,并打开命令窗口cd 至该目录下输入如下命...原创 2018-07-29 16:47:32 · 15871 阅读 · 1 评论