![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模式分类
highsky_2002
这个作者很懒,什么都没留下…
展开
-
模式分类笔记 --行列式
先写一些关于线性代数的东西吧,人长大了记性越来越差了,因为同一时间里脑袋里面装的东西太多了,女朋友把我的一些书卖了,有点可惜,只能盼望以后用不着。 在线性代数的书本里,行列式这块是很有用的,最初是为解方程发展起来,用来确定线性方程组解的个数,以及形式,很多东西你以方程的角度来看就好理解的多。但是书本上在推介行列式从2阶,3阶到N阶的时候我觉得纯粹是为了应用而应用,以后来人的眼光去看这个推广...2008-07-16 00:26:47 · 146 阅读 · 0 评论 -
模式分类笔记 -- 共轭梯度下降(2)
上节里的最速下降算法有个最明显的特征就是迭代,迭代所带来的特征便是经常反复应用矩阵A。在线性代数里面,矩阵的特征向量的特征便是在矩阵乘法运算的时候不改变方向(除了反向)。 我们用符号B 来代表这个不断被应用的矩阵。 一个矩阵的特征向量不是唯一的,因为可以任意缩放它们,但是对应的特征值却是不变的唯一的。好像看不出来与上一篇的联系哈,但是线性代数的一大特征就是任意向量可以看作是线性无关...2009-05-04 16:08:46 · 166 阅读 · 0 评论 -
模式分类笔记 -- 统计学习(2)
任意一个拥有n个变量的boolean function可以被一个r(r<n)阶的PTG来实现。具体细节现在不看,不然又扯出来一大堆东西。PTG来解决问题看成是多个LTG的组合,只不过输入被扩展了。在典型的boolean function的时候,当变量数又比较小,可以用K-map来进行简单有效的分析,挖出可行的LTG组合形式。 Function Counting Theore...2008-11-16 04:20:42 · 200 阅读 · 0 评论 -
模式分类笔记 -- 统计学习(1)
一个linear threshold gate (LTG)可以用来把向量输入映射到二进制输出。以太泛化的模型或情况来讨论只能掩盖其初始的动机和灵光。Treating a more general case will only obscure the basic ideas. 如果我们考虑这样的一个方程,y(x1, x2, x3) = x1'x2 + x2x3'(这里用‘来表示求反), x1,x...2008-11-15 15:45:44 · 147 阅读 · 0 评论 -
模式分类笔记 -- 线性规划(1)
线性规划的定义和应用场景不用描述了,主要记一下跟单纯形方法相关的东西,记下来,免得又要从大量信息中筛取。一门学科,东西太多,先列点最本质 的东西,有需要的话以后再深入点,加个标号(1), 极点这个概念在单纯形方法里是很重要的,那就多花点笔墨在上面,做点引申。 如果有最优解,关心的是凸集。 我们来看一下凸集的广义的定义:设集合S<=R(n维),若存在x1,x2<=S,...2008-11-03 00:40:48 · 420 阅读 · 0 评论 -
模式分类笔记 -- 最小二乘法
根据解的存在情况,线性方程 Ax=b 可以分为恰定方程组(有唯一解),超定方程组(解不存在), 和欠定方程组(有无穷多解)。这个问题从线性空间的角度去分析,可以看成矢量b在A张成的线性空间的投影问题。 一个形象的解释是,已知不重合的两个点,要求过这两点的一条直线,那么我们可以唯一的确定这条直线。如果给定三个点,且这三个点正好在一个直线上,这条直线仍然可以唯一确定,如果三点不在同一直线,...2008-10-26 12:53:54 · 169 阅读 · 0 评论 -
模式分类笔记 -- 高斯函数
一点题外内容:假设检验方法的用处在于让我们知道在观测到目前样本的情况下,除了初始假设之外,是否还有更加可能的某种其它原因。 零假设就是一个随机判定规则- 即选择一个样本,就根据某个先验概率P把它归为一个类别,如果一种候选规则同随机判定规则有显著差别,就说它是有用的。 空间的线性变换—例如平移(移动原点),旋转,反射,拉伸 ,压缩 ,或者这些的组合;还有其它的变换—可以通过它们在向量...2008-08-11 00:57:28 · 568 阅读 · 0 评论 -
模式分类笔记 --信息熵
信息论中的熵借鉴与物理学里的概念,物理学里熵来自于热力学第二定律,描述了功与热的转化,公式上是温度(不是温度变化值)除热量变化值所得的商,标志热量转化为功的程度,物质微观热运动时,混乱程度的标志。看得出来在封闭的系统中是一个熵是增加的。熵是混乱和无序的度量 。熵值越大,混乱无序的程度越大。生命是高度的有序,智慧是高度的有序,局部的有序是可能的,但必须以其他地方的更大无序为代价,生命和智慧算...2008-07-28 00:47:52 · 146 阅读 · 0 评论 -
模式分类笔记 -- 统计学习(3)
计学习理论已经发展了几十年了,最近二十年的感觉是它的繁荣期。我在这一块耗费的时间也多了点,虽然只是草草入门了解,但亦觉得受益良多。 虽然提及统计学习理论的文章多会搭上神经网络的弱点,但是神经网络虽然存在理论上的梯度下降的固有缺陷,可应用起来的效果倒很不错的说。从一个方面来讲,统计学习在可行性的极限上与神经网络没啥区别,跟傅立叶变换这个基础关系很紧密。另外,统计学习理论对于小样本学习的情况比...2009-01-14 02:05:21 · 160 阅读 · 0 评论