机器学习
文章平均质量分 79
lpty
走进科学
展开
-
梯度下降法
1.梯度下降法是什么?梯度下降法又称为最速下降法,是求解无约束最优化问题的一种最常用的方法,简单的来说,这是一种求解函数局部极小值的方法。首先我们先理解一下,什么叫做梯度?梯度可以理解为函数f(x)在点x处的斜率,假设我们有一个如下图所示的函数,在点A位置的斜率既是我们讲的梯度。梯度下降法基于思想:要找到某函数的最小值,最好的方法是沿着该函数的负梯度方向探寻。由上图我们可以看到,随着A原创 2016-10-26 00:51:07 · 1350 阅读 · 1 评论 -
分类方法中样本类别不均衡问题
一、前言大部分的分类学习方法都存在一个基本的假设,训练集中不同类别的训练样本数目差不多。如果不同类别的样本数目差距很大,比如正类样本有98个,而负类样本只有2个,这种情况下学习出来的分类器只要一直返回正类的预测结果,那很轻易的就能达到百分之九十八的正确率,但实际上这样的模型并没有什么作用。二、解决方法1、欠抽样(under sampling)欠抽样,是指减少分类中数目较多的类别数量原创 2017-11-29 20:45:51 · 4286 阅读 · 0 评论 -
Hffman Tree
一、概念1、什么是Huffman Tree?又称赫夫曼树、霍夫曼树、哈夫曼树、最优二叉树等,是一类带权路径长度最短的树。2、路径与路径长度从树中一个结点到另一个结点之间的分支构成这两个结点之间的路径,路径上的分支数目称做路径长度。3、树的路径长度树的路径长度是从树根到没一个结点的路径长度之和。4、树的带权路径长度树的带权路径长度为树中所有叶子节点的带权路径长度之和。原创 2017-12-11 10:55:43 · 877 阅读 · 0 评论 -
神经网络简单介绍
一、神经网络是什么?目前最广泛使用的定义是Kohonen于1988年的描述,神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。二、神经网络的组成1、神经元模型神经元模型,即上述定义中的简单单元。在生物神经网络中,每个神经元与其他神经元相连,当它兴奋时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;原创 2017-08-04 00:59:27 · 17126 阅读 · 0 评论 -
维特比算法
一、前言之前介绍过马尔科夫模型(参考),提到马尔科夫的三个基本问题:1、概率计算问题2、学习问题3、预测问题这三个问题里面,比较常见是预测问题,也称为解码。在上面链接的文章里谈到有关这个问题的中文分词模型,下面给出一些解法。二、基本介绍1、概率模型我们知道隐马尔科夫模型是一个概率模型,概率模型的基本思想可以参考:语言模型。传统的概率统计模型自由参数数目随着序列长原创 2017-12-21 19:42:14 · 2039 阅读 · 0 评论 -
线性回归与逻辑回归
一、逻辑回归与线性回归1、线性回归(Linear Regression)一般理解上,线性回归输出一个标量wx+b,是连续值, ,用来处理回归问题,拟合函数如下:2、逻辑回归(Logistic Regression)逻辑回归又称对数几率回归,这个后面会解释。是对线性回归的输出值进行压缩,一般用sigmoid的函数映射到(0,1)上,用来处理分类问题,拟合函数如下:,其中,原创 2017-11-10 17:10:59 · 1395 阅读 · 0 评论 -
最大熵模型
一、概念1、信息熵信息论定义了信息熵,用以表示人们对客观事件不确定性的度量。信息熵考虑随机变量的所有可能取值,即所有可能发生事件带来的信息量的期望: H(X)=∑ni=1pilog(1pi)=E(log(1pi))H(X)=\sum_{i=1}^np_ilog(\frac{1}{p_i})=E(log(\frac{1}{p_i})) 信息熵表示了一个不确定事件的所有可能状态所提供的信息量,信息熵原创 2017-12-26 19:33:11 · 1010 阅读 · 0 评论 -
奇异值分解(SVD)与降维
一、特征分解 许多数学对象可以通过将它们分解成多个组成部分或者找到它们地 一些属性来更好的理解。这些属性是通用的,而不是我们选择表示它们的方式而产生的。如:我们可以用十进制或二进制等方式表示12,但12=2*2*3永远是对的。1、特征分解特征分解,即将矩阵分解成一组特征值和特征向量。2、特征值和特征向量假如存在A是一个n*n的矩阵,x是一个n维向量,λ为标量,满足:Ax=...原创 2018-04-17 17:55:38 · 7839 阅读 · 2 评论