2016年11月_ls317842927

原创统计学3

正态分布这一节我们将讲统计学中最重要的概念，甚至是任何科学领域中最重要的概念，因为它在生活中无处不在，就是正态分布，或者叫高斯分布或钟形曲线。使用Excel可以说明，二项分布在试验次数足够时会很接近正态分布。从图中可以看出均值为100*0.3=30。注意K=60~100概率极低但也不为0。正态分布的概率密度函数图像概率密度函数f(x)=12π√σe−12(x−μσ)2f(x)=\frac

2016-11-29 10:17:04 676

原创线性代数学习笔记7

第二十六集　　对称矩阵及正定性对称矩阵对称矩阵A=ATA=A^{T} 的特征值为实数，具有完全正交的特征向量。这里的“有”，是指可以选出一套完全正交的特征向量。通常情况下，如果特征值互不相同，那么每个特征值的特征向量是在一条线上（特征向量空间是一维的），那些线是垂直的。但是如果特征值重复，那就有一整个平面的特征向量，在那个平面上，我们可以选择垂直的向量（比如单位矩阵）。如果A 具有n 个

2016-11-27 16:43:36 2042

原创线性代数学习笔记6

第二十一集　　特征值和特征向量围绕特征值和特征向量的议题下讨论得都是方阵。将矩阵A 与向量x 相乘当做是对向量的一种操作或者函数，输入x 而输出Ax。特征向量即在特定的向量x 方向上输出的Ax 平行于x，即为： Ax=λxAx=\lambda x 其中x为矩阵A 的特征向量，而λ\lambda 为A 的特征值。例1：矩阵P是朝向某平面的投影矩阵。P将向量b 投影到它距离平面最近的

2016-11-25 18:21:40 2821

原创线性代数学习笔记4

第十四集　　正交向量与正交子空间正交向量正交就是垂直的另一种说法。两向量正交则xTy=yTx=0x^{T}y=y^{T}x=0。当两个向量的夹角为90 度时，按照勾股定理x，y 满足：零向量与所有向量都正交。正交子空间子空间S 与子空间T 正交，则S 中的任意一个向量都和T 中的任意向量正交。黑板所在的平面和地板所在平面不是正交关系。比如平面的子空间包括只包含零向量的

2016-11-23 19:23:41 1394

原创线性代数学习笔记3

第五集　　向量空间我们可以对向量进行所谓“线性运算”，即通过加和（v+w）与数乘运算（3v）得到向量的线性组合。向量空间对线性运算封闭，即空间内向量进行线性运算得到的向量仍在空间之内。包含于向量空间之内的一个向量空间称为原向量空间的一个子空间。 R2R^{2} 中不穿过原点的直线就不是向量空间。子空间必须包含零向量，原因就是数乘0 的到的零向量必须处于子空间中。 R2R^{2} 的子空间

2016-11-22 22:03:03 3290

原创线性代数学习笔记2

第二集　　矩阵消元《A_b》高斯消元法通过对方程组中的某两个方程进行适当的数乘和加和，以达到将某一未知数系数变为零，从而削减未知数个数的目的。《A高斯消元》矩阵A 为可逆矩阵，消元结束后得到上三角阵U，其左侧下半部分的元素均为0，而主元1,2,5 分列在U 的对角线上。主元之积即行列式的值。需要说明的是，主元不能为0，如果恰好消元至某行，0 出现在了主元的位置上，应当通过与下方

2016-11-19 09:53:03 1483

原创 DeepLearnToolbox中SAE代码理解

Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural ne

2016-11-15 08:50:33 6528 3

神经网络是监督学习，自编码算法是非监督学习，只有没有标签的训练样本集{x(1),x(2),x(3),...}\left \{ x^{(1)}, x^{(2)},x^{(3)},...\right \}。自编码算法可以学习到输入特征的压缩表达，当输入是完全随机的，即每个特征都是独立的且服从同一个高斯分布，那么这个压缩任务将会非常难，但是如果有一些输入特征是互相关联的，那么自编码算法将会发现这些关联。

2016-11-14 18:20:27 809

原创 Stacked Autoencoders学习笔记

上图是一个栈式自编码算法模型，属于无监督学习。栈式自编码神经网络是一个由多层自编码器组成的神经网络，其前一层自编码器的输出作为其后一层自编码器的输入。通过将重构的x与输入的x相减来计算误差。 encoder部分从原始2000维特征降至50维（根据实际情况，自定义特征数），有三个隐层，每一层都是提取的高维特征，最后一层作为降维后的特征可用作分类和回归。decoder部分输出重构的x，通过调整enco

2016-11-03 12:01:02 5467

ls317842927的博客