- 博客(44)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 机器学习中的两个概率模型
discriminative model 和 generative model是机器学习算法中两种概率模型，用来实现对训练样本的概率分布进行建模，在实践中由于经常混淆，现在通过查阅资料，将两者的分别总结于此。 不妨用stackoverflow上的一段描述来开启这个话题： Let’s say you have input data x and you want to classify the d
2015-08-31 20:26:39
6106
原创 EM算法概念
EM算法是一种非常经典的alternative optimizing算法。alternative optimizing的思想就是对于一个最优化问题，可以计算分为两步或者参数分为两个，就可以随机任意的选择一个起始值或位置，固定一个参数A，以另一个参数B进行优化，然后固定参数B，以参数A进行优化，直到收敛未知。前面博文中所讲述的K-means也就这样的一个过程，或者meanshift均值漂移也是这样。
2015-08-28 23:36:28
1632
原创 非参数密度估计（直方图与核密度估计）
主要讲述直方图与kernel density estimation，参考维基百科中的经典论述，从直方图和核密度估计的实现对比来说明这两种经典的非参数密度估计方法，具体的细节不做深入剖析。
2015-08-28 22:17:00
12195
原创 半监督式学习（维基百科）
以下的内容摘自维基百科semi-supervised learning。用来对半监督学习进行一个概念性的直观体验。 Semi-supervised learning is a class of supervised learning tasks and techniques that also make use of unlabeled data for training - typically
2015-08-28 14:40:31
2367
原创 stochastic noise and deterministic noise
在机器学习中，导致overfitting的原因之一是noise，这个noise可以分为两种，即stochastic noise，随机噪声来自数据产生过程，比如测量误差等，和deterministic noise，确定性噪声来自added complexity，即model too complex。这两种类型的造成来源不同，但是对于学习的影响是相似的
2015-08-27 15:24:38
3104
原创 一些关于机器学习和统计方面值得阅读的书籍
一些关于机器学习和统计方面值得阅读的书籍一下著作都是一些经典的英文著作，不是崇洋媚外，大部分的知识都是由人老外提出并发展的，国内一些书籍质量实在不敢恭维，所以在初始的学习时，最好还是选择英文的著作，解除第一手资料，对于启发式的学习很有帮助，也比较容易站在巨人的肩膀上眺望，做出的成果可能也更加具有贡献性 1. Gaussian Processes for Machine Learning, Carl
2015-08-27 12:03:16
1807
原创 Andrew Ng机器学习课程7
通过一系列的margin最优化的推导，从对偶问题出发，得到了Support vector，然后使用了kernel trick，得到了kernel support vector machine
2015-08-26 11:05:08
4277
5
原创 横论机器学习算法
摘要主要是通过回归（discrimination learning model）来对机器学习算法建立横向连接，有助于对各类算法的理解和归类。储备知识从统计学角度来讲，一个信号基本上可以分为两个部分：系统性部分和随机分布，系统性部分在我看来是传达的某种规律性的信息，而随机成分就是用来对信号中不能通过规律性的东西进行把握的部分。所以，一般来讲都采用高斯分布进行建模。系统性的部分就是所谓的利用hypoth
2015-08-26 10:54:55
3560
1
原创 请问一下发博中出现的问题
利用cmd markdown编写的博文，粘贴到csdn markdown中，发博文时总是出现如下的错误信息，请问如何解决呢？
2015-08-25 08:42:50
3175
原创 人生重在修行
人在很多时候都是非常功利的，而这种功利心往往会使人失去耐心，被挡在浅浅的表层，而无法深入。想每做一件事情，都能有所收获，正如期望每一天所进行的学习，都能卓有成效，能学到很多的知识技能。这实际上就是功利心在作祟。实际上，有很多事情并不是能够在一时之间就能产生所谓的“收获”或者“功效”的，它不像你每天学会一种算法那样实在，它更像是一种内在的砥砺，一种修行，虽平淡无华，却影响深远。正如人们经常抱
2015-08-24 21:21:50
1793
原创 Andrew Ng机器学习课程6
斯坦福大学Ng教授机器学习课程6的主要知识总结：1. 朴素贝叶斯分类器；2. 垃圾邮件分类的两种事件模型；3. laplace smoothing。4. 小议神经网络。5. 支持向量机开篇。#还引述了机器学习的两种model：generative and discrimination和先验概率与后验概率的区别#
2015-08-23 10:59:39
2187
原创 你应该知道的4个DSP开发支持库
引言 在dsp开发中，为了节省开发时间和难度，TI将一些成熟的算法封装为模块，供开发者使用。如果能充分利用这些算法支持库，对于加快dsp开发进程与提高代码质量、稳定性有非常大的帮助。Digital signal processor Library数字信号处理库(DSPLib) DSPLib是一个经过深入优化(手工)的通用数字信号处理函数库，包括如下七大类共计39个函数：
2015-08-23 10:55:12
4150
原创 Andrew Ng机器学习课程6
斯坦福大学Ng教授机器学习课程6的主要知识总结：1. 朴素贝叶斯分类器；2. 垃圾邮件分类的两种事件模型；3. laplace smoothing。4. 小议神经网络。5. 支持向量机开篇。#还引述了机器学习的两种model：generative and discrimination和先验概率与后验概率的区别#
2015-08-23 09:48:04
1360
1
原创 你应该掌握的四种参数估计技术
概率学上，对未知的概率密度函数进行估计有两种方法：参数估计和非参数估计。非参数估计是不假定数学模型，直接利用已知类别的学习样本先验知识估计数学模型。而参数估计则是先假定研究问题具有某种数学模型，如正态分布、二项分布等，再利用已知类别的学习样本，估计模型里的参数。常用的方法有距估计、最大似然估计、最大后验估计和贝叶斯估计
2015-08-22 16:13:28
2715
原创 李老师教人生道理
一天中午饭，听了李老师的一些话，感慨颇多，觉得有必要记下来，时刻警醒自己：1. 先使自己变成有用的人，再去考虑待遇问题2. 职业的上中下分流3. 懂得利用资源
2015-08-22 10:24:45
2891
2
原创 迟到的间隔年
旅行：说不清，道不明的意义虽然不清楚旅行对于我有着怎样具体的意义，但是总有那么一种感觉：如果超过半年没有出去游历一番，就会浑身不舒服。很喜欢这样一句话：人，不管是心灵还是身体，总有一个要在路上。读书称得上是一种心灵上的旅行吧！尤其是在分身无术，整日混迹于工作圈中的时候，就只能通过读书，让孤独的心灵得到解放。在某一刹那、某一角落、某一个情景，潸然泪下，一种莫名的感动涌上心头，说不清，道不明。人可能就
2015-08-19 23:55:18
6720
1
原创 打击标题党，痛斥灌水文
最近一周看到两次有人发表以C#实现博文任意访问量为标题的博文，我想知道这样的博文对于CSDN管理员难道不应该是敏感的吗？公然在CSDN博客发表这样的文章，不是对CSDN博客的挑战吗？请管理员负起责任，清理此类博文。且不说会对CSDN博客的信誉力与公正性有所损害，就是对那些认真写博文的博主也是不公平的。本身技术博客应当是一个知识总结、整理和共享的平台，借助这个平台大家可以将自己平日里所学的知识加以总
2015-08-16 22:45:56
1193
原创 台大机器学习基石课程之机器学习基本原理和概念
机器学习中非常重要的四个基础概念，总结自台大机器学习基石课程，解释机器为什么能够学习......
2015-08-16 16:56:01
1580
1
原创 人生小悟1
我不懂大道理！更讲不出大道理！我只知道命相学上有这样的说法：一命，二运，三风水，四积德，五读书。虽然并没有直接科学证据，但是仔细琢磨还是能品出一定的道理来。 前三条是先天决定的，是无法靠个人的努力去改变。因此人要学会敬畏，要明白即使世俗的权利和财富再大，也总有无法做到的事情。我想信仰之类的事情也大概是让人学会敬畏和谦卑吧！正如“命运啊！万物都要在你的面前俯首！”一样，人心中要有
2015-08-16 09:42:18
911
原创 对偶传播神经网络（CPN）
1987年，美国学者Robert Hecht-Nielsen提出了对偶传播神经网络模型 （Counter Propagation Network，CPN），CPN最早是用来实现样本选择匹配系统的。CPN 网能存储二进制或模拟值的模式对，因此这种网络模型也可用于联想存储、模式分类、函数逼近、统计分析和数据压缩等用途。1. 网络结构与运行原理网络结构如图所示，各层之间的神经元全互联连接。
2015-08-15 13:13:30
6236
3
原创 学习向量量化神经网络
在竞争网络结构的基础上，学习向量化（learning vector quantization，LVQ）网络被提出来，融合竞争学习思想和有监督学习算法的特点，通过教师信号对输入样本的分配类别进行规定，从而克服自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。1. 向量量化向量量化的思路是，将高维输入空间分成若干不同的区域，对每个区域确定一个中心向量作为聚类的中心，与其处于同一区域的
2015-08-15 13:06:53
7864
2
原创 自组织特征映射神经网络（SOFM）
1981年芬兰 Helsink 大学的 T·Kohonen 教授提出一种自组织特征映射网 （Self-Organizing Feature Map ， SOFM ）， 又称 Kohonen 网 。 Kohonen 认为 ，一个神经网络接受外界输入模式时， 将会分为不同的对应区域， 各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。 自组织特征映射正是根据这一看法提出来的 ，其特点与人脑
2015-08-14 20:52:34
14679
3
原创 竞争学习的基本概念和原理
竞争学习是自组织网络中最常采用的一种学习策略。 一、基本概念先说明几个重要的概念。1. 模式、分类、聚类与相似性在神经网络应用中，输入样本、输入模式和输入模式样本这样的术语基本上是等同的概念。在涉及识别、分类问题时，常用到输入模式的概念。模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合。分类是在类别知识等导师信号的指导下，将待识别的输入模式分配
2015-08-14 17:43:35
8371
原创 人工神经网络基础概念、原理知识（补）
一提到人工神经网络应当想到三个基础的知识点：一是神经元模型；二是神经网络结构；三是学习算法。神经网络的种类多种多样，但其分类依据逃不出上面上个基础知识点。所以在学习中如果能够仅仅把握住以上三个线索，就能触类旁通，拥有一个非常好的视角看待神经网络。今天就对这三个基础知识点进行总结，达到指导神经网络学习以及深化对神经网络的理解的目的。一、神经元模型人工神经网络是在现代神经生物学研究基础上提出的
2015-08-14 16:13:16
16858
2
原创 读《编程之美》励志篇
《编程之美》是一本微软技术面试心得。我读《编程之美》主要关注点不是面试经验，而是想了解一下对于编程，技术公司的interviewer们认为的核心点在哪里？他们是如何利用编程来考察一个人的编程素养的。因为题目都在不断变化，但核心的能力只要具备，就能处变不惊。所以，我决定以我的理解水平撰写一下我能从这些题目中所抽取的关键点，并发展自己编程的核心力量。（总结中不会列出题目的解法，只是会给出题目背后的我所
2015-08-12 18:36:08
1220
原创 随机神经网络之玻尔兹曼机
一、引言在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，
2015-08-10 11:09:54
23345
2
原创 C++STL位标志、智能指针与异常处理
参考《21天学通C++》第25、第26、第28章节，对STL位标志、智能指针与C++异常处理进行介绍。一、使用STL位标志位是存储设置与标志的高效方法。标准模板库提供了可帮助组织与操作位信息的类。1. bitset类std::bitset不是STL容器类，因为它不能调整长度，这是一个实用类，针对处理长度在编译阶段已知的位序列进行了优化。需包含#include 。2. 实例化bi
2015-08-09 18:07:44
1312
原创 随机神经网络之模拟退火
一、引言 在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷
2015-08-08 10:04:41
6962
原创 读《数学之美》第四章 谈谈分词
中文分词其实有点像古代的句读（dou），韩愈的《师说》中就有：“彼童子之师，授之书而习其句读者也”。古人文章是没有标点符号的，行文一气呵成。如果不懂离经断句，就很难理解古文的意思。从某种程度上，句读就类似今天要讲的中文分词。北京航空航天大学的梁南元教授提出了查字典的方法查字典的方法就是把句子从左到右扫描一遍，遇到字典里有的词就标示出来，遇到不认识的字串就分割为单字词。如果分割出的词与后面的
2015-08-07 23:50:11
1444
原创 双向联想记忆神经网络
联想记忆网络的研究是神经网络的重要分支，在各种联想记忆网络模型中，由B·Kosko于1988年提出的双向联想记忆（Bidirectional Associative Memory，BAM）网络的应用最为广泛。前面介绍过的Hopfiled网络可实现自联想，具体内容可以参考博文《反馈神经网络Hopfield网络》。而BAM网络可以实现双向异联想，具有离散型、连续型和自适应型等多种形式。
2015-08-07 21:19:10
7736
5
原创 RBF神经网络学习算法及与多层感知器的比较
对于RBF神经网络的原理已经在我的博文《机器学习之径向基神经网络（RBF NN）》中介绍过，这里不再重复。今天要介绍的是常用的RBF神经网络学习算法及RBF神经网络与多层感知器网络的对比。一、RBF神经网络学习算法广义的RBF神经网络结构如下图所示：N-M-L结构对应着N维输入，M个数据中心点centers，L个输出。RBF 网络常用学习算法RBF 网络的设计包括结
2015-08-07 10:27:16
7923
原创 最近邻与K近邻算法思想
在关于径向基神经网络的一篇博文机器学习之径向基神经网络（RBF NN）中已经对最近邻思想进行过描述，但是写到了RBF中有些重点不够突出，所以，这里重新对最近邻和K近邻的基本思想进行介绍，简洁扼要的加以总结。最近邻的基本思想保存所有观察到的有标签的样本，然后对新来的测试样本，在标签样本集中找到与测试样本最接近的标签样本，然后将该标签样本作为测试样本的输出。这是一种典型的监督式学习。在
2015-08-07 09:14:34
4167
原创 反馈神经网络Hopfield网络
一、前言经过一段时间的积累，对于神经网络，已经基本掌握了感知器、BP算法及其改进、AdaLine等最为简单和基础的前馈型神经网络知识，下面开启的是基于反馈型的神经网络Hopfiled神经网络。前馈型神经网络通过引入隐层及非线性转移函数（激活函数）使得网络具有复杂的非线性映射能力。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。J.J. Hopfield教授在反馈神经网络中引
2015-08-06 23:34:20
14224
原创 读《数学之美》第三章 统计语言模型
自然语言从产生开始，逐渐演变为一种基于上下文相关的信息表达和传递方式，在计算机处理自然语言时，一个最基本的问题就是为自然语言上下文相关的特性建立数学模型，叫做统计语言模型（Statistical Language Model），它是自然语言处理的基础，广泛应用于机器翻译、语音识别、印刷体或手写体识别、拼音纠错、汉字输入和文献查询等。对于一句通顺的话，如果改变一些词的顺序，或替换掉一些词，它的意
2015-08-06 21:00:58
1493
原创 C++标准模板库STL算法与自适应容器（栈和队列）
参考《21天学通C++》第23与第24章节，对STL算法与自适应容器进行介绍。实际上在前面的STL顺序容器、关联容器进行介绍时或多或少引用到了一些STL算法中的模板函数。而自适应容器是在顺序容器的基础上按照stack、queue的性质进行定制实现的。所以，本篇博文将言简意赅地总结出需要掌握的纲要。一、STL算法查找、搜索、删除、计数、排序等都是一些通用算法，STL通过模板函数提供了这些
2015-08-06 13:22:41
2416
原创 数据结构（三）:非线性逻辑结构-特殊的二叉树结构：堆、哈夫曼树、二叉搜索树、平衡二叉搜索树、红黑树、线索二叉树
本篇博文主要介绍几个特殊的二叉树，堆、哈夫曼树、二叉搜索树、平衡二叉搜索树、线索二叉树，它们在解决实际问题中有着非常重要的应用。
2015-08-04 23:15:50
6315
动态平衡二叉树demo
2015-08-04
adaboost 演示demo（基于Matlab，学习算法包括决策树、神经网络、线性回归、在线贝叶斯分类器等）
2015-07-11
压缩感知Hello-world+正交匹配追踪法（OMP）+最小二乘法辨识（系统辨识--Matlab）
2015-03-18
图像压缩算法Matlab集合
2015-03-18
VS2010多文档图像处理所有基础程序
2015-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人