![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
leo_fengj
博观约取,厚积薄发
展开
-
自然语言处理系列之Viterbi算法
前面已经介绍了隐马尔可夫模型,本篇博文主要是介绍用 viterbi 算法来解决 HMM 中的预测问题,也称为解码问题。 维特比算法实际是用动态规划解隐马尔可夫模型预测问题,即用动态规划(dynamic programming)求概率最大路径(最优路径)。这时一条路径对应着一个状态序列。 根据动态规划原理,最优路径具有这样的特性:如果最优路径在时刻t通过(it)∗(i_t)^*,那么这一路原创 2017-04-16 17:37:04 · 4598 阅读 · 0 评论 -
自然语言处理系列之隐马尔可夫模型(HMM)
定义 设QQ是所有可能的状态的集合,V是所有可能的观测的集合。 Q={q1,q2,...,qN},V={v1,v2,...,vM}Q=\{q_1,q_2,...,q_N\},V=\{v_1,v_2,...,v_M\} 其中,NN是可能的状态数,MM 是可能的观测数。 状态qq是不可见的,观测vv是可见的。应用到词性标注系统,词就是vv,词性就是qq。 II是长度为TT的状态序列,OO是对应原创 2017-04-16 17:33:48 · 2212 阅读 · 0 评论 -
机器学习系列之逻辑回归
前一篇博客介绍了线性回归,纵使可以撇开 y 是离散值得事实,给定 x, 使用线性回归对 y 进行预测,可以找到很多示例说明这种预测结果不会很好,比如说,房价不可能随着面积大小线性增长。并且当我们知道 y 的取值范围在{0,1}时,预测结果大于 1 或者小于 0 已经没有了意义。怎样解决这个问题?可以使用逻辑回归。逻辑回归于线性回归有很多相似之处,最大的不同在于他们的因变量不同。线性回归用来预测连续变原创 2017-03-31 23:51:39 · 366 阅读 · 0 评论 -
机器学习系列之线性回归
一元线性回归在机器学习中,线性回归被用来对连续型数据进行预测,来确定两种或者两种以上变量间的相互关系。本篇博客介绍线性回归的最简单的一种情况——一元线性回归。如下图,现在我们在图上画一系列的点,然后打算花一条线,这些点到这条线的距离尽可能的短。那么该怎么找到这条线了?线性回归就是很好的解决方法。 首先,假设 y 和 x 满足下面的一元线性关系: y=θ0+θ1xy=\theta_0 + \t原创 2017-03-31 23:50:24 · 342 阅读 · 0 评论 -
机器学习系列之朴素贝叶斯算法
朴素贝叶斯算法贝叶斯定理想必大家很早就已经了解,朴素贝叶斯算法就是基于贝叶斯定理提出的一种监督机器学习算法。为什么叫“朴素”了?那是因为朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。给定类变量 y (这里一个样本仅属于一类) 和一个相互独立的特征向量 x1x_1 到 xnx_n,贝叶斯定理可得到如下关系: P(y∣x1,…,xn)=P(y)P(x1,…xn∣y)P(x1,…原创 2017-01-23 16:45:48 · 533 阅读 · 0 评论 -
机器学习系列之梯度下降法
梯度下降法梯度下降法又叫最速下降法,是一种最优化算法。它用负梯度方向为搜索方向的,最速下降法越接近目标值,步长越小,前进越慢。 梯度下降法的计算过程就是沿着梯度下降的方向求解极小值。(亦可以沿着梯度上升的方向求解极大值)。它的迭代公式为: ak+1=ak+γks−(k)(式1−1)a_{k+1}=a_{k}+\gamma_ks^{-(k)}(式1-1) 其中,s−(k)s^{-(k)}代表的是原创 2016-12-25 16:11:53 · 603 阅读 · 0 评论 -
机器学习系列之最小二乘法
最小二乘法最小二乘法,又称最小平方法,是机器学习中基础的算法之一,它是一种优化算法,通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。在机器学习中,还可以使用最小二乘法来进行曲线拟合。 上图介绍的上海市长宁区部分房价的信息,从散点图可以发现,房子的大小和房价彼此之间有一些依赖关系,由房子大小可以决定房子的价格原创 2016-12-18 19:09:24 · 961 阅读 · 0 评论 -
数据结构之kd树
最近又把机器学习中最近邻算法看了下,为了能够让算法更有效率,提到了用 KD 树来存储数据信息,所以就学习了 kd 树。 kd 树(K-dimensional tree)是一种对k维空间的实例点进行存储以便对其进行快速检索的属性数据结构。kd 树是二叉树,表示对 k 维空间的一个划分。构造 kd 树相当于不断地用垂直于坐标轴的超平面将 k 维空间切分,构造一系列的 k 维超矩形区域。很适合应用于高原创 2017-07-02 18:38:59 · 1419 阅读 · 0 评论