- 博客(107)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 机器学习笔记（十一）——逻辑回归
一、引言 虽然说是逻辑回归，其实既可以用它做回归，也可以用它做分类。一般我们从最简单的二分类问题开始了解他，当然也可以做多分类。二、Logistic Regression 的一般步骤找一个合适的假设构造损失函数让损失函数最小，求出对应的参数值三、二分类问题下Logistic Regression的过程3.1 Logistic Function 在机器学习笔记（十）——Logist
2016-07-09 11:38:20
645
原创 Word2Vec学习笔记（五）——Negative Sampling 模型(续)
本来这部分内容不多，是想写在negative sampling 中和cbow一起的，但是写了后不小心按了删除键，浏览器直接回退，找不到了，所以重新写新的，以免出现上述情况(接上)三、Negative Sampling 模型——Skip-gram 这部分内容并不多，与cbow相比，只是目标函数有所变化，推导过程这里就略过。总的来说，就是将目标函数取最大似然，然后利用SGD方法求出词向量和最优参数
2016-06-21 15:43:00
3621
2
原创 Word2Vec学习笔记（四）——Negative Sampling 模型
前面讲了Hierarchical softmax 模型，现在来说说Negative Sampling 模型的CBOW和Skip-gram的原理。它相对于Hierarchical softmax 模型来说，不再采用huffman树，这样可以大幅提高性能。一、Negative Sampling在负采样中，对于给定的词ww,如何生成它的负采样集合NEC(w)NEC(w)呢？已知一个词ww,它的上下
2016-06-20 17:27:53
13918
2
原创 最优化学习笔记(五)——牛顿法（多维数据）
在最优化学习系列中，第一次就说的是牛顿法，但是那是在一维搜索上的，它其实就是将函数ff在xx处利用泰勒公式展开，得到它的近似函数，进而求解最小值。本节内容主要说明牛顿法在多维数据上的迭代公式。最优化学习笔记中讲到的最速下降法是一种速度比较快的优化方法，但是最速下降法只用到了函数的一阶导数，这种方法并不总是最高效的。而这里说的牛顿法用到了二阶导数，它的效率可能比最速下降法更优。 当目标函数f
2016-06-19 21:34:24
9769
原创 Word2Vec学习笔记（三）续
三、（续）Skip-gram模型介绍 Skip-gram模型并不是和CBOW模型相反的，它们的目的都是计算出词的向量，只不过在作者的论文中给出的图看样子是反的而已。Skip-gram模型是用每个当前词去预测一定范围内除当前词之外前后的词。同样的，此模型也是输出一颗huffman树，如下图所示：此图也借用下图借用 http://blog.csdn.net/itplus/article/det
2016-06-15 14:21:41
841
原创 Word2Vec学习笔记（三）
三、Hierarchical Softmax模型3.1 词向量 词向量目前常用的有2种表示方法，One-hot representation 和 distributed representation. 词向量，顾名思义就是将一个词表示为向量的形式，一个词，怎么可以将其表现为向量呢？最简单的就是One-hot representation，它是以词典V中的词的个数作为向量的维度，按照字典序或某种
2016-06-13 16:44:51
1447
原创 Word2Vec学习笔记(二)
二、语言模型 语言模型可以分为文法型模型和统计语言模型。在实际应用中语言识别、手写体文字识别、机器翻译、键盘输入、信息检索等研究领域都用到了语言模型。文法型语言模型是人工编制的语言学文法，文法规则来源于语言学家掌握的语言学知识和领域知识，但这种语言模型不能处理大规模真实文本。因此，统计语言模型出现了，并且得到了广泛的应用，统计语言模型是基于概率的，包括了N元文法模型（N-gram Model）
2016-06-12 14:20:21
833
原创 Word2Vec学习笔记(一)
目录Word2Vec基本数学内容语言模型Hierarchical Softmax 模型Negative Sampling 模型一、Word2Vec基本数学内容1. Sigmod 函数&absp;&absp;&absp;&absp;Sigmod函数通常在二分类中应用。它将样本映射后投影在[0, 1]范围内，对应样本所属的类的概率。函数表达式如下所示： f(x)=11+e−xf(x) =
2016-06-12 11:39:57
929
原创 机器学习笔记（十）——Logistic Function AND Softmax Function
一、说明 在逻辑回归和一些机器学习算法中， Logistic函数和Softmax函数是常用到的，今天就先讨论下这两个函数。二、Logistic Function Logistic function一般用于二分类问题，它的函数定义如下： f(x)=11+e−x(1)f(x) = \frac{1}{1+e^{-x}} (1) 它的图像如下： 由于logistic
2016-06-03 17:11:21
2859
原创 最优化学习笔记（四）——最速下降法
一、最速下降法的理念 最速下降法是梯度方法的一种实现，它的理念是在每次的迭代过程中，选取一个合适的步长αk\alpha_k，使得目标函数的值能够最大程度的减小。αk\alpha_k可以认为是函数ϕk(α)=f(x(k)−α∇f(x(k)))\phi_k(\alpha) = f(x^{(k)}-\alpha \nabla f(x^{(k)}))的极小值点： αk=argminf(x(k)−α
2016-05-29 10:19:05
38231
1
原创 最优化学习笔记（三）——梯度下降法
本来这周计划写下逻辑回归的学习笔记，但是其中用到了最优化对数似然函数，因此决定先复习下梯度方法和拟牛顿法。本节先从纯数学的角度总结下梯度下降法。一、柯西-施瓦茨不等式对于 Rn\mathbb {R^n}中的任意两个向量 x\boldsymbol{x} 和y\boldsymbol{y}， 有： |<x,y>|≤||x||||y|||<\boldsymbol{x},\boldsymbol{y}>|
2016-05-22 11:04:19
5402
2
原创 最优化学习笔记（二）——二分法
二分法是一种一维搜索方法。它讨论的是求解一元单值函数f:R→R在区间[a0,b0]f: \mathbb{R} \to \mathbb{R} 在区间[a_0, b_0]的极小点问题。同时要求函数ff在区间[a0,b0][a_0, b_0]上为单调函数，并且是连续可微的，这里将使用ff的一阶导数f′f'。 二分法的计算过程比较简单，它主要是利用一阶导数来连续压缩区间的方法。 1.确定初
2016-05-14 10:40:40
6506
原创 机器学习笔记（九）——决策树的生成与剪枝
一、决策树的生成算法 基本的决策树生成算法主要有ID3和C4.5, 它们生成树的过程大致相似，ID3是采用的信息增益作为特征选择的度量，而C4.5采用信息增益比。构建过程如下： 从根节点开始，计算所有可能的特征的信息增益（信息增益比），选择计算结果最大的特征。 根据算出的特征建立子节点，执行第一步，直到所有特征的信息增益（信息增益比）很小或者没有特征可以选择为止。
2016-05-08 11:43:00
3862
原创 机器学习笔记（八）——决策树模型的特征选择
一、引言决策树构建过程中的特征选择是非常重要的一步。特征选择是决定用哪个特征来划分特征空间，特征选择是要选出对训练数据集具有分类能力的特征，这样可以提高决策树的学习效率。如果利用某一个特征进行分类与随机分类的结果没有很大的差别，则称这个特征是没有分类能力的。这样的特征可以丢弃。常用的特征选择的准则是信息增益和信息增益比。二、信息增益要了解信息增益，我们要先知道熵与条件熵的定义。2.1 熵熵是无序度的
2016-05-01 11:47:06
11321
原创 机器学习笔记（七）——决策树模型
引言决策树（Decision Tree）是一种基本的分类和回归方法。它的扩展方法有GBDT和GBRT 等。决策树模型的学习过程主要有特征选择、决策树生成和剪枝。主要算法有ID3、C4.5和CART等。一、决策树模型决策树首先是一个树形结构，它包括两种类型的节点：内部节点和叶节点。内部节点是属性，叶节点是具体的分类。当决策树根据一些学习方法建立好之后，就可以进行实例的预测了，首先从根节点开始，对应决策
2016-04-24 22:26:24
869
原创 最优化学习笔记（一）——牛顿法(一维搜索方法)
一、一维搜索方法讨论目标函数为一元单值函数f:R→Rf: \mathbb{R} \to \mathbb{R}时的最优化问题的迭代求解方法。二、局部极小点的条件n元实值函数ff的一阶导数DfDf为： Df≜[∂f∂x1,∂f∂x2,…,∂f∂xn]Df \triangleq \lbrack \frac{\partial f}{\partial x_1}, \frac{\partial f}{\pa
2016-04-17 12:02:46
7997
原创 机器学习笔记（六）——朴素贝叶斯法的参数估计
一、极大似然估计在上一笔记中，经过推导，得到了朴素贝叶斯分类器的表示形式： y=argmaxckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)(1) y = arg \max_{c_k} P(Y=c_k)\prod_jP(X^{(j)} = x^{(j)}| Y=c_k) (1)也就是说，朴素贝叶斯方法的学习是对概率P(Y=ck)P(Y=c_k)和P(X(j)=x(j)|Y=ck)P
2016-04-10 11:26:50
6615
原创 机器学习笔记（五）续——朴素贝叶斯算法的后验概率最大化含义
上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。假设使用0-1损失函数： L(Y,f(X))={1,0,Y≠f(X)Y=f(X) L(Y, f(X)) = \Bigg\{ \begin{array} {ll} 1, & Y \neq f(X) \\ 0, & Y = f(X) \end{array} 上式中的f(x)f(x)是分类
2016-04-04 22:06:00
5409
8
原创 机器学习笔记（五）——朴素贝叶斯分类
一、分类问题分类实际上是我们在日常生活中经常使用的。比如说，在工作中，把自己手头的任务分为轻重缓急，然后按照优先级去完成它们。朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。从数学的角度看C={c1,c2,…,ck}C=\{c_1, c_2, \dots, c_k\}是类别的集合，集合X={x1,x2,…,xk}X=\{x_1,x_2,\dots,x_k\}是输入集合 。这里，对于给定的输
2016-03-31 23:06:17
1226
原创 机器学习笔记（四）——最大似然估计
一、最大似然估计的基本思想最大似然估计的基本思想是：从样本中随机抽取n个样本，而模型的参数估计量使得抽取的这n个样本的观测值的概率最大。最大似然估计是一个统计方法，它用来求一个样本集的概率密度函数的参数。
2016-03-20 19:59:23
7097
原创 机器学习笔记（三）——正则化最小二乘法
一. 模型的泛化与过拟合在上一节中，我们的预测函数为： f(x;ω)=ωTxf(x;\omega) = \omega^Tx 其中， x=[x1],ω=[ω1ω0]x=\begin{bmatrix}x\\1\end{bmatrix},\omega=\begin{bmatrix}\omega_1\\\omega_0\end{bmatrix} 上述称为线性模型，我们也可以将xx扩
2016-03-06 10:57:29
11052
1
原创 机器学习笔记（二）——多变量最小二乘法
机器学习笔记（二）——多变量最小二乘法在上一节中，我们介绍了最简单的学习算法——最小二乘法去预测奥运会男子100米时间。但是可以发现，它的自变量只有一个：年份。通常，我们所面对的数据集往往不是单个特征，而是有成千上万个特征组成。那么我们就引入特征的向量来表示，这里涉及到矩阵的乘法，向量，矩阵求导等一些线性代数的知识。一. 将拟合函数由单变量改写为多变量设我们的拟合函数 f(xi;ω)=ωTxif
2016-02-28 12:17:32
14532
4
原创 机器学习笔记(一) : 线性建模——最小二乘法
讨论这个方法之前，先说些题外话。首先，我感觉机器学习是一门值得我们去了解和学习的一门技术，它不仅仅应用于我们的生活，而且不断地在改变着我们的方方面面。虽然很早就已经接触它，并开始学习，但是总体感觉是学习的比较混乱，仅以从今天开始的一系列文章作为重新总结和学习机器学习的一个新的历程。其次，学习机器学习，要有耐心，要执着，要不断总结和实现。最后，也是最重要的，要明白你的初衷是什么，也就是为什么要学习它。
2016-01-17 12:03:36
4443
3
原创 C++发送邮件
C++ 发送邮件 在许多应用程序中，都会或多或少地用到邮件发送程序。本文首先介绍发送邮件必须用到的协议SMTP，然后给出用C++写的一个邮件发送类。 邮件发送要用到邮件服务器和一个邮箱账户，这样你就可以用本文的demo程序进行邮件发送了。 邮件发送协议用SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议，而邮件的接收用POP3
2014-12-27 09:24:12
3617
原创 排序二叉树 SortBinaryTree
排序二叉树 SortBinaryTree排序二叉树是比较基本但是重要的算法,它在许多实际编码中都不可缺少，还有不少算法和数据结构都基于此。比如，二叉查找树，平衡二叉树，红黑树等等。 SortBinaryTree的源代码见：https：github下面，详细介绍SortBinaryTree。1. SortBinaryTree的节点结构：2.
2014-11-06 22:27:04
436
ActionScript.chm
2011-10-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人