2017年12月_Vic时代

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创西瓜书《机器学习》课后答案——chapter16_强化学习

1.用于K-摇臂赌博机的UCB（Upper Confidence Bound）方法每次选择Q(k)+UC(k)Q(k)+UC(k)最大的摇臂，其中Q(k)Q(k)为摇臂k当前的平均奖赏，UC(k)UC(k)为置信区间。例如：Q(k)+2lnnnk−−−−−√Q(k)+ \sqrt{\frac{2\ln n}{n_k}}其中，n为已执行所有摇臂的总次数，nkn_k为已执行摇臂k的次数。比较UCB方法与

2017-12-21 19:08:20 4937 2

原创强化学习——值函数与Bellman方程

在强化学习中，agent和环境之间进行一系列交互：在每个时刻tt，根据环境的状态和奖励，agent采取某一行为；这个行为会作用到环境中，环境改变状态并对agent进行奖励。agent的目标是最大化累积奖励。1 MDP马尔可夫决策过程(Markov Decision Process, MDP)是对环境的建模。 MDP是一个五元组<S,A,P,R,γ><{\cal S}, {\cal A}, {\c

2017-12-19 10:47:35 33977 9

原创 Nvidia_GPU驱动安装

GPU驱动安装1 驱动下载从英伟达的官方网站上下载指定的驱动：官网地址：http://www.nvidia.cn/Download/index.aspx?lang=cn具体操作：下面以下载Tesla m40显卡为例子在产品类型一栏中选择相应的产品类型，比如 Tesla在产品系列中选择相应的系列，比如M-Class在产品家族中选择对应的产品，M40选择对应的操作系统，如window

2017-12-06 09:51:48 13772

原创西瓜书《机器学习》课后答案——chapter14

1.试用盘式记法表示条件随机场和朴素贝叶斯分类器。2.证明图模型中的局部马尔科夫性：给定某变量的邻接变量，则该变量条件独立于其他变量。解答：这个问题以及第3题其实是不太严谨的。根据李航《统计学习方法》p.193中概率无向图模型的定义：概率无向图模型：设有联合概率分布P(Y)，由无向图P(Y)，由无向图G=(V,E)表示，在图表示，在图G中，结点表示随机变量，边表示随机变量之

2017-12-05 17:44:10 6138 1

翻译 HMM经典介绍论文【Rabiner 1989】翻译（十八）——参数初始化

5.3 参数初始估计理论上，估计公式可以给出似然函数局部最小值对应的参数。这样的话，我们怎么选择HMM参数的初始值使得局部最大是全局最大呢？对于上面的问题并没有直接的答案。经验表明，对pipi和AA进行随机初始化（满足随机以及非零约束）或者均匀初始化，在多数情况下都可以得到比较好的结果。但是对于BB参数，经验表明好的初始化对离散观测情况是有帮助的，对连续情况是最关键的。有多种初始化的方法，包括人为对

2017-12-05 12:12:59 2804

翻译 HMM经典介绍论文【Rabiner 1989】翻译（十七）——多观测序列

5.2 多观测序列在第4节我们讨论了左右HMM（Bakis模型），这种模型中状态按序从t=1t=1时的状态1移动到t−Tt-T时的状态N。我们已经讨论了左右模型是怎么对状态转移矩阵施加约束的以及初始状态概率(45)-(48)。但是，左右模型的主要问题是不可能只用一个观测序列训练模型。这是因为模型中状态的瞬态性质允许状态被观察到有限几次，直到转移到后续状态。为了有足够的数据对模型参数进行可靠估计，我们

2017-12-05 11:59:00 3424

翻译 HMM经典介绍论文【Rabiner 1989】翻译（十六）——放大

5 HMM的实现问题前面两节的讨论主要是关于HMM的理论以及模型的变体。这一节我们会讨论HMM的实现问题，包括放大、多观测序列、初始参数估计、数据丢失、模型大小以及类型的选择。对其中一些实现问题，我们可得到精确解析解；而对于其他问题，我们只能给出一些经验建议。5.1 放大为了理解在HMM参数估计过程中为什么需要放大，考虑(18)中定义的αt(i)\alpha_t(i)。可以看到αt(i)\alpha

2017-12-05 10:06:45 2599 3

翻译 HMM经典介绍论文【Rabiner 1989】翻译（十）——连续观测密度

4.1 连续观测密度目前为止我们的讨论中只考虑了观测是离散值的情况，这种情况下对每个状态可以使用离散概率密度。但是存在一些应用离散值是连续信号（比如向量）。虽然可以通过码本把连续信号量化，但是这种量化可能存在严重的退化。所以希望HMM中可以用连续观测密度。为了使用连续观测密度，必须对模型概率密度函数(probability density function, pdf)进行约束以使得pdf的参数可以通

2017-12-01 17:45:43 3746 3

翻译 HMM经典介绍论文【Rabiner 1989】翻译（九）——HMM的类型

4. HMM的类型目前为止，我们只考虑了遍历或全连接HMM这种特殊情况，即所有的状态都可以由所有其他状态到达。严格来说，遍历模型是所有状态都可以由其他所有状态经过有限步到达。如图7(a)所示，对一个N=4N=4的这种模型，所有的aija_{ij}都大于0。于是对7(a)中的例子，我们有 A=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢a11a21a31a41a12a22a32a42a13a23a33a43a1

2017-12-01 16:40:55 2841

翻译 HMM经典介绍论文【Rabiner 1989】翻译（八）——学习问题

3.3 问题3的求解（学习问题）HMM的第三个问题——学习问题是最困难的一个，需要通过最大化观测序列的概率来调整模型参数(A,B,π)(A, B, \pi)。暂时还没有解析法来解决这个问题。事实上，给定一个有限观测序列作为训练数据，并不存在最优方法得到模型参数。但是，我们可以通过迭代法比如Baum-Welch算法（其实就是EM算法），或者使用梯度法，选择使得P(O|λ)P(O|\lambda)局部最

2017-12-01 12:01:40 1067

翻译 HMM经典介绍论文【Rabiner 1989】翻译（七）——预测问题

3.2 问题2的求解（预测问题）有多种方法可以求解与观测序列相关的最优状态序列。难度在于最优状态序列的定义，因为有多种优化指标。比如，可以独立地为每个时刻tt选择最有可能的状态qtq_t。这个优化指标最大化正确状态的期望个数。定义变量 γt(i)=P(qt=Si|O,λ),(26)\gamma_t(i)=P(q_t=S_i|O, \lambda) \tag{26},即给定模型λ\lambda和观测

2017-12-01 10:46:53 1230

Estimating the number of clusters in a data set via the gap statistic

Estimating the number of clusters in a data set via the gap statistic. 2001.

2017-10-25

level-set. Osher 1988.

Fronts Propagating with Curvature-Dependent Speed: Algorithms Based on Hamilton-Jacobi Formulations. Stanley Osher. 1988.

2017-10-18

Snakes: Active Contour Models

Snakes: Active Contour Models. Michael Kass. 1987.

2017-10-18

Comparing LDA and SVM

论文 Comparing Linear Discriminant Analysis and Support Vector Machine. 2002. 欢迎下载。

2017-10-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人