2017年12月_silent56_th

原创 CS229课程笔记12：EM算法及混合高斯的应用

Ng此部分先介绍了EM算法的步骤，然后证明了其一致递增性（收敛性），最后给出了应用于混合高斯的例子。机器学习的一种任务是求取某个显示变量xx的概率分布P(x;θ)P(x;\theta)，但是鉴于P(x)P(x)不属于常见的易于表示的（例如指数型的变形）概率分布，无法通过简易的最大log-likelihood的方式求取。一种方式就是假设存在某种隐变量zz，P(x,z;θ)P(x,z;\theta)可以

2017-12-23 16:34:46 893 1

原创 ESL读书笔记14章：无监督学习之SOM，PCA，NMF，FA，ICA，MDS，ISOMAP，Local MDS

笔者自己的理解，无监督学习是挖掘数据自身的分布，找出一种低维的具有代表性或者某种性质的子空间（流形）。SOM是一种加约束的k-means，既可以看做是寻找具有代表性的特征点，也可以看做是寻找具有代表性的二维流形曲面。PCA是非常经典的最小化投影误差的子空间，也可以看做最大化投影方差的子空间。NMF则是基于假设最大化似然的同时，限制基向量非负。FA也是寻找某种子空间，目的是得到uncorrelated

2017-12-31 18:09:23 2680

原创 numpy交换ndarray的两个维度

https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.swapaxes.html np.swapaxes(data,axis1,axis2)

2017-12-27 21:24:12 16106

原创 MIT18.06线性代数课程笔记21：特征向量、特征值简介、求法与性质

课程简介18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。课程笔记1. 特征值与特征向量的定义若Ax=λxAx=\lambda x成立，则称λ\lambda为特征值，xx为特征向量。对于某一

2017-12-27 20:44:54 655

原创 MIT18.06线性代数课程笔记20：矩阵逆元计算、克里默法则以及行列式与volume、外积的关系

利用代数余子式计算方阵的逆元，进而求解Ax=bAx=b，最后简要阐述了行列式与volume的关系，并对外积做了简要介绍。

2017-12-25 16:52:31 2336

原创 MIT18.06线性代数课程笔记19：矩阵行列式公式与代数余子式

课程简介18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。课程笔记基于 MIT18.06线性代数课程笔记18：矩阵行列式的性质中三个基础性质推出的矩阵行列式公式。然后介绍了利用代数余子式从

2017-12-24 15:22:09 2169

原创 CS229课程笔记13：Factor Analysis简介

Ng将FA作为EM算法隐变量是连续变量的例子进行介绍，讲了很多公式推导的过程；笔者仅介绍其原理以及构造。若我们假设数据是高斯分布N(μ,Σ)N(\mu,\Sigma)，利用最大似然法（maximum likelihood）得到的估计值为 μ^=1m∑i=1mxiΣ^=1m∑i=1m(xi−μ^)(xi−μ^)T\hat \mu = \frac 1 m \sum_{i=1}^mx_i\\\hat

2017-12-24 14:23:35 721

原创 CS229课程笔记9：分类问题的Bias-Variance分解，经验风险最小化

基于least square的bias-variance分解十分常见 E(y^−y)2=E(y^−Eτy^+Eτy^−y)2=E(y^−Eτy^)2+E(y−Eτy^)2=Var(y^)+Bias2(y^,y)E(\hat y-y)^2 = E(\hat y-E_\tau\hat y+E_\tau\hat y-y)^2=E(\hat y - E_\tau\hat y)^2+E(y-E_\tau\h

2017-12-22 16:28:36 602

原创 numpy ndarray初始化

使用list初始化ndarray，应该使用numpy.array 函数。注意不是使用numpy.ndarray函数，ndarray调用的初始化函数的第一个参数是shape，所以会生成list指定大小的ndarray，而不是以其作为初始值。

2017-12-20 20:54:17 6405

原创 ubuntu获取主机名称

$HOSTNAME是主机名，USERUSER是用户名，均可以直接在脚本文件中使用。

2017-12-11 14:21:58 935

原创 MIT18.06线性代数课程笔记18：矩阵行列式的性质

行列式是从矩阵中计算得到的一个标量。矩阵和行列式之间必然是多对一的关系，行列式不能完全代表矩阵，但其中蕴含着很多矩阵性质相关的信息。本节首先定义了矩阵行列式应该有的三个性质，然后从这三个性质推出了其他七个性质。

2017-12-08 20:49:03 9000 1

翻译 python通过string运行代码

笔者将不同的模型写到了不同的python文件里，但是所有的模型公用同一个调参函数，通过import myModel as model控制当前运行的模型类型。所以就需要对于不同的输入参数执行不同的import函数，这里就直接使用exec(string)

2017-12-07 23:50:06 1269

翻译 python的参数管理包

python里对参数输入的管理包：argparse。详情请参考：https://docs.python.org/3.3/library/argparse.html 简单使用方法如下：首先生成一个参数管理的句柄import argparseparser = argparse.ArgumentParser(description='Describe your program')这里可以通过pr

2017-12-07 23:42:42 1462

翻译 python运行shell command

想要手动实现简易的多线程，又想使用python里面的argument包，所以就在python里面调用python函数。简单传统的办法就是import osos.system('python3 main.py')还有一个更安全，接口更多的包subprocess，笔者就没有研究了。

2017-12-07 23:19:59 2981

转载 GIT删除子模组

转载自 http://www.worldhello.net/2010/01/26/425.htmlgit rm --cache submodule_name

2017-12-07 16:28:54 3164 1

原创 MIT18.06线性代数课程笔记17：正交标准矩阵

课程简介18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。课程笔记先给出正交标准矩阵的定义，然后讨论其性质，最后给出一个构造正交标准矩阵的方法。1. 正交标准矩阵 Orthonormal M

2017-12-05 21:54:16 772

silent56_th的博客