- 博客(12)
- 收藏
- 关注
原创 KKT条件
KKT条件是解决最优化问题的时用到的一种方法。最优化问题通常是指对于给定的某一函数,求其在指定作用域上的全局最小值。 一般情况下,最优化问题会碰到一下三种情况:(1)无约束条件 这是最简单的情况,解决方法通常是函数对变量求导,令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。(2)等式约束条件 设目标函数为f(x),约束条件为hk(x),形如下:则解决方法是消元法或者...
2018-03-09 11:47:24
19006
2
原创 K-折交叉验证
目的:在实际训练中,模型通常对训练数据拟合程度较好,但是对训练数据之外的数据拟合程度差。为了得到可靠稳定的模型,用于评价模型的泛化能力,从而进行模型选择。基本思想:把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对模型进行训练,再利用验证集来测试模型的泛化误差。另外,...
2018-03-02 11:38:33
638
原创 线性回归(原理推导)
1.方程式表示:数学形式:矩阵形式:其中,X矩阵是m行(n+1)列的,每一行是一个样本,每一列是样本的某一个特征矩阵(n+1)行1列的,它是X的权重,也是线性回归要学习的参数.2.损失函数(Loss function)对数极大似然和最小二乘的联系:由线性函数的假设知道,噪音项满足高斯分布,其中一个样本的正态分布的数学表达为:那么,通过极大估计求得似然函数为所有样本的乘积,如下:经过数学运算和推导,...
2018-03-01 19:16:24
989
原创 【机器学习】高斯分布
1.单变量高斯分布单变量高斯分布概率密度函数定义为: p(x)=12πσ−−−√exp{−12(x−μσ)2}(1.1)式中μ为随机变量x的期望,σ2为x的方差,σ称为标准差: μ=E(x)=∫∞−∞xp(x)dx(1.2)σ2=∫∞−∞(x−μ)2p(x)dx(1.3)可以看出,该概率分布函数,由期望和方差就能完全确定。高斯分布的样本主要都集中在均值附近,且分散程度可以通过标准差来表示,其越大,...
2018-03-01 17:35:54
718
原创 KPCA原理及部分代码
KPCA,中文名称”核主成分分析“,是对PCA算法的非线性扩展。PCA是线性的,其对于非线性数据往往显得无能为力(虽然这二者的主要目的是降维,而不是分类,但也可以用于分类),其中很大一部分原因是,KPCA能够挖掘到数据集中蕴含的非线性信息。一、KPCA较PCA存在的创新点:1. 为了更好地处理非线性数据,引入非线性映射函数,将原空间中的数据映射到高维空间,注意,这个是隐性的,我们不知道,也不需要知...
2018-02-27 15:39:27
34563
5
原创 不确定性
不确定性产生的原因:信息不完全、来源不一致、表述不精确、内容具有变化性等,不确定性可以是某个量,某种结构等。涉及到的概念:1.概率的本质:概率就是一个理论上无限次的试验序列的属性,而不是单一事件的属性,在试验总体未知的情况下,或者没有充足的经验数据时,很难评估出概率,其主要适用于掷骰子这样的机会事件。2.澄清事件:为了使一个有意义的概率分布可以被估计,事件或者数量必须良好设定的,所谓良
2018-01-25 21:17:31
4302
原创 python之file用法
1、file 打开文件open()函数作用:打开文件,创建一个file 对象。语法: file object = open(file_name [, access_mode][, buffering])其中: file_name : 是一个包含了需要访问的文件名的字符串值。 access_mode : 决定了打开文
2018-01-25 14:45:05
2792
原创 KPCA降维
KPCA是一种非线性主元分析方法,用于降维。主要思想:通过某种事先选择的非线性映射函数Ф将输入矢量X映射到一个高维线性特征空间F之中,然后在空间F中使用PCA方法计算主元成分,核主成分分析最主要是非线性映射函数Ф的选取。算法步骤:Step 1. 数据标准化处理。Step 2. 求核矩阵K,使用核函数来实现将原始数据由数据空间映射到特征空间。采用的核函数为径向基核函数,公
2018-01-25 11:00:52
5905
3
原创 MATLABR2012a如何激活
MATLABR2012a版本用过一阵子后,突然显示过期了,需要激活密钥,整理一个小时也没激活成功。突然在网上查到资料,然后试了一下果然有效。具体操作如下:在MATLABR2012a安装目录下找到licenses目录,然后在它的目录下创建license.lic文件,之后把以下内容复制到license.lic文件中%%%%%%%%%%%%%%%%%%%%%%%%%%%%INCREMEN
2017-11-15 15:37:24
13053
12
原创 python——File用法
1、file 打开文件open()函数作用:打开文件,创建一个file 对象。语法: file object = open(file_name [, access_mode][, buffering])其中: file_name : 是一个包含了需要访问的文件名的字符串值。 access_mode : 决定了打开文
2017-10-29 19:07:41
8943
原创 Python安装及pycharm的使用
一、Windows环境下安装Python过程1、下载--登陆python 官网https://www.python.org/downloads/ 下载安装包,然后选择下载的版本。2、安装。选择自己的安装目录,点击“next”,直到完成。3、环境变量。在控制面板\用户帐户和家庭安全\用户帐户下选择更改我的环境变量。如下所示:在path中添加下面两个路径,一个是python 的安装路
2017-10-17 16:37:44
4888
1
转载 回归分析
转载:原文链接:7 Types of Regression Techniques you should know!什么是回归分析?回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。例如,司机的鲁莽驾驶与道路交通事故数量之间的关系,最好的研究方法就是回归。回归分析是建
2017-10-16 16:46:41
6832
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人