树荫下的野草-CSDN博客

原创动态规划性质；以及遇到一个问题，为什么能够使用动态规划

关于动态规划之前刷过一些相关的题，但都是类似背包问题、爬楼梯问题，那时候觉得这个算法挺简单。直到最近在看jieba的源码，其中两次使用到动态规划，一次是很有名的viterbi算法，另一次是在有向无环图中查找最优分词序列时。在看这两部分的源码时感觉自己对动态规划的理解太过浅薄，于是重新翻看《算法导论》的第15.3节----动态规划原理。觉得理解了一个问题为什么能够使用动态规划？拿到一个问题时，如何判...

2019-08-14 23:30:10 1704

原创朴素贝叶斯流程梳理

以下内容主要来自CS229课程的讲义，放上链接http://cs229.stanford.edu/syllabus.html由二分类问题到生成模型的训练内容我们基于二分类问题进行讨论，$y$的取值为${0, 1}$。先提一下判别模型和生成模型的概念。在使用一个模型对一条新数据进行预测的过程实际是求解$p(y=0|x)$和$p(y=1|x)$，然后比大小的过程。想要求得\...

2018-09-13 07:43:07 1666

原创高斯分布模型参数求解

问题：有$n$个数据，现假设这$n$个数据满足高斯分布$N(\mu, \sigma)$，求解该高斯分布。解：数据满足高斯分布，即$$f(x)= \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$然后我们建立最大似然函数：$$L = \prod_{i=1}^n \frac{1}{\sqrt{2\p...

2018-08-16 19:23:24 4469

原创吴恩达老师机器学习记录----SVM第三步：硬间隔和软间隔问题的求解

硬间隔首先描述硬间隔问题，我们记为式(1)：$$\min_{w,b} \frac{1}{2}||w||^2 \tag{1}$$$$st. \quad y^{(i)}(w^Tx^{(i)}+b) \ge 1$$构造拉格朗日乘子：$$L(w,b,\alpha) = \frac{1}{2}||w||^2 + \sum_{i=1}^m \alpha_i [1-y^{(i)}(w^Tx^...

2018-08-16 19:22:16 2538 1

原创 Adaboost算法流程记录

下面关于adaboost的内容部分参考李航老师的《统计学习方法》输入：训练数据集$T = \{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\}$，其中$X$为实例空间，$Y \in \{-1, +1\}$为标签集合。输出：最终的分类器$G(x)$Adaboost算法流程：1、初始化训练数据的权值分布：$$u_n^{(1)} = ...

2018-08-16 19:19:49 1422

原创吴恩达老师机器学习记录----SVM第二步：拉格朗日乘子法Lagrange Multiplier

Primal Problem : $$\min_{w} f(w)$$$$st. g_i(w) \leq 0，i=1,...,l$$$$ h_i(w) = 0，i=1,...,k$$定义拉格朗日乘子 : $$L(w,\alpha,\beta) = f(w) + \sum_{i=1}^{l}\alpha_ig_i(w) + \sum_{i=1}^{k}\beta_ih_i(w)$$...

2018-07-20 19:45:47 385

原创吴恩达老师机器学习记录----SVM第一步：最优化问题的导出

先贴一下cs229课程的官网地址：http://cs229.stanford.edu/刚开始学习SVM的时候对于该算法中什么是模型，什么是损失函数一直搞不清楚。所以记录一下由直观的现实问题转化到严谨的数学公式的过程。即本篇的最终目的是得到如下约束问题：$$\min_{w,b}\frac{1}{2}||w||^2$$$$st. y^{(i)}(w^Tx^{(i)} + b) \ge 1$...

2018-07-20 17:51:41 911

原创吴恩达老师机器学习记录----SVM第四步：SMO算法步骤总结

先贴一下cs229课程的官网地址：http://cs229.stanford.edu/首先是待优化问题：$$max_\alpha W(\alpha) = \sum_{i=1}^m \alpha_i - \frac{1}{2}\sum_{i,j=1}^m y^{(i)}y^{(j)}\alpha_i\alpha_j<x^{(i)}x^{(j)}>$$$$ st. 0 \leq...

2018-07-19 15:38:39 865

wang2011210219的博客