- 博客(41)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 核范数与规则项参数选择
机器学习中的范数规则化之（二）核范数与规则项参数选择zouxy09@qq.comhttp://blog.csdn.net/zouxy09 上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。 三、核范数 核范数||W||*是指矩阵奇异
2017-04-25 22:28:45
3470
转载 L0、L1与L2范数各自功能
机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都
2017-04-25 22:24:52
886
转载 稀疏表示学习
1.提出问题：什么是稀疏表示 假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0。 稀疏表示的含义是，寻找一个系数矩阵A（K*N）以及一个字典矩阵B（M*K），使得B*A尽可能的还原X，且A尽可能的稀疏。A便是X的稀疏表示。书上原文为（将一个大矩阵变成两个小矩阵，而达到压缩）“为普通稠密表达的样
2017-04-25 21:22:42
18716
5
原创 C++实现栈中元素排序
题目：将一个栈中的元素排序，借助另外一个栈！思路：将排序的栈每次出栈一个元素，第一次直接放入缓冲栈中，第二开始直至结束，每个出栈元素都需要跟缓冲栈里面元素比较找到排序位置（缓冲栈这个时候也需要吐栈可以考虑把元素放回到排序栈中待会再放回来），直到所有元素排序完毕。#include <iostream>#include <stack>void sortStack(stack<int>& a){
2017-04-25 21:01:52
4235
转载 随机模拟和采样方法
通常，我们会遇到很多问题无法用分析的方法来求得精确解，例如由于式子特别，真的解不出来；一般遇到这种情况，人们经常会采用一些方法去得到近似解（越逼近精确解越好，当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界，那么这种近似算法比较好，因为人们可以知道接近程度，换个说法，一般一个近似算法被提出后，人们通常都会去考察或寻求刻划近似程度的式子）。本文要谈的随机模拟就是一类近
2017-04-24 23:41:09
1272
原创 进化规划算法
算法描述 EP 是 L. J. Fogel 于20世纪60年代在人工智能研究中提出的一种有限状态机进化模型，在此模型中机器的状态基于分布的规律进行编译。 D. B. Fogel 在90年代拓广了 EP 思想，使它可处理实数空间的优化问题，并在变异运算中引入了正态分布变异算子，这样 EP 就变成了一种优化搜索工具，并在很多实际问题中得到了应用。
2017-04-20 22:23:32
6619
原创 正态随机数和柯西随机数
要想实现随机数和柯西随机数，先要有任意随机数产生，后面柯西需要。代码基于C++，如下：template<typename T>T randT(T Lower, T Upper){ T temp; if (Lower > Upper) { temp = Upper; Upper = Lower; Lower = temp;
2017-04-20 18:04:46
2400
原创 二维数组传参数问题
1、直接上数组，但一定给出列的个数void func1(int iArray[][10]){}int main(){ int array[10][10]; func1(array);}2、用指针数组实现二维指针，但是也要注意列个数也要给出void func2(int (*pArray)[10]){}
2017-04-18 12:01:18
452
原创 指示函数与符号函数
1、指示函数数学中，指示函数是定义在某集合X上的函数，表示其中有哪些元素属于某一子集A。 指示函数有时候也称为特征函数。现在已经少用这一称呼。概率论有另一意思迥异的特征函数。 可以说为真输出1，为假输出0.2、符号函数数学上的Sgn 函数返回一个整型变量，指出参数的正负号。语法Sgn(number)， number 参数是任何有效的数值表达式。返回值如果 num
2017-04-15 12:34:26
17766
原创 三种常见的替代损失函数
对于有些损失函数，数学性质很差的，可以用下面的函数替代，当然也可以寻找其他的，只要保证是凸函数即可。1、hinge损失：f(x)=max(0,1-x)，函数的图形如下：2、指数损失函数，f(x)=exp(-x)函数关系图如下：3、对率损失函数，f(x)=log(1+exp(-x))总结：以上三个函数的共同点就是都是凸函数，且函数的
2017-04-14 14:40:24
4642
原创 结构风险和经验风险
经验风险：主要是计算目标函数存在的误差，最小经验风险是使得目标函数取得最小化的模型。结构风险：（既考虑经验风险还考虑置信范围）结构风险最小化(Structural Risk Minimization）是指把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围，取得实际风险的最小化。即SRM准则。所
2017-04-14 11:08:58
3320
原创 决策树
1、决策树2、原理熵（Entropy）错误率3、参考1、http://www.cnblogs.com/bourneli/archive/2013/03/15/2961568.html2、http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decisio
2017-04-13 20:28:12
647
原创 类别样本不平衡问题
类别不平衡就是指分类任务中不同类别的训练样例数目差别很大的情况。下面以这样的一种情况作为假设实例，假定正类样例较少，反类样例较多。一半对于样本平衡的二类分类任务，事实上是用预测出的y值与一个阈值进行比较，例如我们通常这样子比较预测值y>0.5，则样本为正类，而y几率y/(1-y)反映了正例可能性与负例可能性之比值，阈值设置为0.5恰表明分类器认为真实正、反例可能性相同，即分类器决策规则为：
2017-04-12 23:37:47
4022
原创 极值、凹凸性、导数关系
1、极值和一阶导导数的关系对于可导函数，极值点必然有一阶导数为0，但是一阶导导数为0不一定是极值点，这个很明显有f(x)=x^3，函数图形如下，在x=0处的时候有一阶导数为0，但是此点不是极值点。2、凹凸性和导数关系一阶导数与函数凹凸性没有关系，与二阶导数有关系。对于凸函数二阶导函数的值必有大于等于0，大于0则表明严格的凸，防之则反。
2017-04-12 18:09:09
13350
1
原创 牛顿法
1、牛顿法牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导。可能你有些疑问，对于求函数的最优解，直接对函数进行求导令其为0，求解即为函数的优解。但有些函数的导函数不是很容易求解，或者根本无法用一些办法公式求得函数的解。这个时候只能用迭代的方法，不断的逼近最优解。在机器学习中主要应用在非线性函数优化问题，相比于梯度下降具有快速收敛的效果。2、原理
2017-04-12 17:55:51
710
原创 常见跳出局部最小值策略
现实任务中，人们常采用以下策略来试图“跳出”局部最小值，从而达到全局最小值：1、以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数，这相当于从多个不同的初始化点开始搜索，从而可能寻找全局最优。2、使用模拟退化技术，模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于“跳出”局部极小。在每步迭代过程中，接受“次优解”的概率随着时间的推移而逐渐降低
2017-04-12 14:39:58
13522
1
原创 机器学习三种数据集的作用
利用交叉验证方法选择模型思路是：使用训练集(trainset)数据所有候选模型进行参数估计，使用验证集(validationset)为检验样本，然后计算预测均方误差，比较各个模型的预测均方误差，选择预测均方误差最小的拟合模型为选择模型。 测试集用于对模型的泛化能力的评估！
2017-04-11 23:11:47
4795
原创 机器学习的两类参数
机器学习常涉及两类参数：1、算法的参数，这一类也称为超参数，数目常常是10以内，例如神经网络的层数和每一层神经元个数。2、另外一类是模型参数，这一类参数数目很多，例如大型深度学习的权重系数，上百亿都是有可能。两者调参方式相似，均是产生多个模型之后基于某种评估方法来进行选择，不同之处在于前者通常是由人工设定多个参数候选值后产生模型，而后者则是通过学习来产生多个候选模型。
2017-04-11 22:13:41
1760
原创 人脸识别常用的数据库
1.FERET人脸数据库 - 由FERET项目创建,包含1万多张多姿态和光照的人脸图像,是人脸识别领域应用最广泛的人脸数据库之一.其中的多数人是西方人,每个人所包含的人脸图像的变化比较单一2.CMU-PIE人脸数据库 由美国卡耐基梅隆大学创建,包含68位志愿者的41,368张多姿态,光照和表情的面部图像.其中的姿态和光照变化图像也是在严格控制的条件下采集的,目前已经逐渐成为人脸识别领域的一
2017-04-11 17:09:26
2514
转载 人脸识别—特征脸方法
人脸识别之特征脸方法（Eigenface）zouxy09@qq.comhttp://blog.csdn.net/zouxy09 因为需要，花了一点时间写了下经典的基于特征脸（EigenFace）的人脸识别方法的Matlab代码。这里仅把该代码分享出来。其实，在较新版本的OpenCV中已经提供了FaceRecognizer这一个类，里面不仅包含了特征脸EigenFace，
2017-04-11 17:03:11
3052
1
转载 DP算法设计与分析
http://blog.csdn.net/trochiluses/article/details/37966729进行算法设计的时候，时常有这样的体会：如果已经知道一道题目可以用动态规划求解，那么很容易找到相应的动态规划算法并实现；动态规划算法的难度不在于实现，而在于分析和设计—— 首先你得知道这道题目需要用动态规划来求解。本文，我们主要在分析动态规划在算法分析设计和实现中的应用，讲解动态
2017-04-11 09:56:35
1016
原创 大白菜安装系统两种方式
大白菜软件下载http://www.winbaicai.com/1、默认模式安装，U盘之前先格式化U盘制作完毕之后，下载win7系统包，一般下载之后的格式是iso后缀，如果是这种普通默认的方式的，还要把下载到的iso镜像文件进行解压，之后放到U盘，就可以进行安装系统了，进入PE之后选择里面的GHO文件安装即可。2、第二种安装时采用iso模式选择下载好的ISO
2017-04-09 22:48:42
4889
原创 win8系统怎么装会win7系统
由于win8系统采用的是UEFI加速开机引导模式，开机会跳过bios的自检，从而达到减少开机时间。因此如果不改掉这个模式的话，你是无法进入U盘启动盘的，Win8改装回win7的步骤如下：1、进入BIOS将UEFI模式设置Leacy模式2、用工具将硬盘的分区模式改变为MBR，之前win8用的是GPT
2017-04-09 21:11:17
487
原创 BIOS的两种引导模式
efi和legacy是两种不同的引导方式, uefi是新式的BIOS，legacy是传统BIOS。你在UEFI模式下安装的系统，只能用UEFI模式引导；同理，如果你是在Legacy模式下安装的系统，也只能在legacy模式下进系统。uefi只支持64为系统且磁盘分区必须为gpt模式，传统BIOS使用Int 13中断读取磁盘，每次只能读64KB，非常低效，而UEFI每次可以读1MB，载入更快。此外，
2017-04-09 20:42:01
61425
1
原创 集成学习
集成学习（Esemble learning） 在机器学习领域，如何根据观察数据学习一个精确的估计数据是一个主要问题。将多个弱分类器提升为强分类器！ 通常，我们通过训练数据应用某个算法得出一个训练模型，然后使用评估数据来评估这个模型的预测正确率，最后如果我们可以接受这个正确率就使用该模型进行预测数据。通常我们将训练数据进行交叉验证，比如说10则交叉验证，我们将训练数据
2017-04-09 10:08:45
583
转载 虚函数在C++上应用
浅谈C++中的虚函数虚函数的作用在类的继承层次结构中，在不同的层次中可以出现名字相同、参数个数和类型都相同而功能不同的函数。编译系统按照同名覆盖的原则决定调用的对象。C++中的虚函数就是用来解决这个问题的。虚函数的作用是允许在派生类中重新定义与基类同名的函数，并且可以通过基类指针或引用来访问基类和派生类中的同名函数。//在下面的程序中Student 是基类，Grad
2017-04-05 17:45:32
318
原创 C++开源项目
1、STL源码分析2、opencv源码3、Linux下的很多软件都是开源的，浏览器，输入法，编辑器，编译器等4、boost开源5、 FreeNOS源码链接：lordsergioinspa/FreeNOS · GitHub这是我在大学的时候，接触完整学习的第一个开源的C++项目，当时简直是，各种惊叹，里面有太多值得学习的地方。这是一个用C++实现的微内核的操作系统，各
2017-04-05 17:39:26
882
原创 哲学与科学思想一致性
哲学上有三个经典问题：1、你是谁2、你从哪里来3、要到哪里去而我们科学任何新知识产生也有三点：1、你是谁——数学模型2、你从哪里来——模型设计根源3、要到哪里去——模型应应用场合
2017-04-05 10:45:31
666
原创 softmax回归
softmax 回归(Softmax Regression) 这里解释的很详细，简单总结下：softmax模型是logistic模型在多分类问题上的推广， logistic 回归是针对二分类问题的，类标记为{0， 1}。假设函数为：。代价函数为：主要应用就是多分类，sigmoid函数只能分两类，而softmax能分多类，softmax是sigmoid的扩展。给每
2017-04-04 17:58:09
396
转载 分类算法-贝叶斯网络
2.1、摘要 在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。这一篇文章中，我们接着上一篇文章的例子，讨论贝叶斯分类中更
2017-04-03 23:40:27
487
转载 分类算法-朴素贝叶斯
1、写在前面的话 我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。 一直想写关于算法的博文，也曾写过零散的两篇，但也许是相比于工程性文章来说太小众，并没有引起大家的兴趣。最近面临毕业找工作，为了能给自己增加筹码，决定再次复习算法方面的知
2017-04-03 23:38:01
688
原创 神经网络和贝叶斯网络关系
人工神经网络和贝叶斯网络的共同点：1、他们都是有向图，每一个节点的取值只取决于前一级的节点，而与更前面的节点无关，也就是说遵从马尔科夫假设2、他们的训练方式都相似3、对于很多模式分类问题，这两种方法在效果上相似，也就是说很多用人工神经网络解决的问题，也能用贝叶斯网络解决，反之亦然，但是他们的效率可能会不同。都可以说是统计模型，在准确性上类似4、训练的计算量都特别的大不同
2017-04-03 22:47:20
19397
1
原创 知识学习感想
我们人类学习知识就是类似于迭代的过程，从新知识到熟悉再到掌握，整个过程需要不断的迭代！知识不可能只是学习一次就熟透，每次学习感觉都会不一样！跟我们的机器学习算法是一样的，参数需要不断的学习更新迭代！
2017-04-03 21:48:55
391
原创 感知机随机梯度和梯度下降法区别
一、随机梯度下降的随机近似【背景】： 既然是随机近似，则顾名思义，肯定是用近似方法来改善梯度下降时候的时间复杂度问题。 一般梯度下降法采用：∂E/∂wi=∑（h(x)-y）*(xi) 的时候∑耗费了大量的时间，特别是在训练集庞大的时候。 所以猜想，如果把求和去掉如何，即变为∂E/∂wi=（h(x)-y）*(xi)。（也可以是总体样本中随机抽取少
2017-04-03 21:28:08
1899
原创 维特比算法—解隐含马尔科夫链最大后验概率
维特比算法说白了就是动态规划实现最短路径，只要知道“动态规划可以降低复杂度”这一点就能轻松理解维特比算法维特比算法在机器学习中非常重要，在求解隐马尔科夫和条件随机场的预测问题中均用到了维特比算法。实际上，维特比算法不仅是很多自然语言处理的解码算法，也是现代数字通信中使用最频繁的算法。维特比算法是一个特殊但应用最广的动态规划算法，利用动态规划，可以解决任何一个图中的最短路径问题。而维
2017-04-02 17:38:53
1854
转载 梅森旋转算法--伪随机数（加密、身份信息ID号）
http://blog.csdn.net/ACdreamers/article/details/44656743今天主要是来研究梅森旋转算法，它是用来产生伪随机数的，实际上产生伪随机数的方法有很多种，比如线性同余法，平方取中法等等。但是这些方法产生的随机数质量往往不是很高，而今天介绍的梅森旋转算法可以产生高质量的伪随机数，并且效率高效，弥补了传统伪随机数生成器的不足。梅森旋转算法的
2017-04-01 22:56:20
4223
转载 数学符号发音
首先，说明本文的引用地址是：http://www.sciencenet.cn/blog/user_content.aspx?id=235271最近打算了解一些数学概率统计方面的知识，加上paper里总是有各种数学公式，搜索到这篇文章，感觉挺全的，做个备忘！感谢原作者~大写 小写 英文注音 国际音标注音 中文注音Α
2017-04-01 17:54:42
1050
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人