- 博客(29)
- 收藏
- 关注
RSS订阅转载 word2vec原理
一、统计语言模型统计语言模型就是指计算一个句子出现概率的模型。假设一句话由T个词按顺序构成，则这T个词的联合概率就是这个句子的概率：$$p(W)=p(w_1^T)=p(w_1,w_2,\ldots,w_T)$$利用贝叶斯公式，上式可写为：$$p(W)=p(w_1^T)=p(w_1)p(w_2|w_1)p(w_3|w_1^2)\cdots p(w_T|w_1^{T-1})=\prod_{t...
2018-02-12 16:06:00
164
转载 svd分解的深入理解
svd指的是奇异值分解，也就是对奇异矩阵的分解，对于可逆矩阵，可以进行特征值分解。要想理解svd，需要先理解四个基本子空间，即行空间，列空间，零空间，左零空间。对于矩阵A，其行空间是由行向量线性组合而成的空间，也即由行向量张成的空间，同样的，列空间是由矩阵的列向量线性组合生成的空间。而零空间是Ax=0的解空间，Ax可以看成是矩阵A的所有的行向量分别和x做内积，而生成的向量是零向...
2017-09-03 23:02:00
333
转载 漫步支持向量机(svm)之二 拉格朗日乘子法
所谓工欲善其事，必先利其器，要想求解目标函数的最小值，而且还是在有不等式约束条件下的最小值，就必须要知道拉格朗日乘子法。设目标函数为$$J(x,y)=x^2+y^2$$则求$J(x,y)$的最小值很简单吧，让J关于x，y的偏导数等于0，即可求出最小点$\hat x,\hat y$,$J(x,y)$的几何图像是一个抛物面，其等值面则是以原点为中心的同心圆环。那如果加上约束线$y...
2017-01-13 09:55:00
175
转载 漫步支持向量机(svm)之一
设输入为$x$，表示训练集的特征向量，输出为$y=\{1,-1\}$，这些向量都属于两类中的其中一类，假设这些向量是线性可分的，现在要找一个最优的平面（在二维的时候为一条直线），将这些特征向量正确分类，除此之外，能够将新的输入分到合适的类。设中间直线方程为$$\hat \omega x+\hat b=0$$好了，svm中不是还有另外两条边界线吗？他们就是中间这条直线的左膀右臂，而且到...
2017-01-09 21:21:00
102
转载 Coppersmith-Winograd 算法
转自：https://www.douban.com/group/topic/29658298/对正整数 $q$，定义张量 $T$，其对应的多项式为 $p(X,Y,Z)=\sum_{i=1}^q (X_0Y_iZ_i+X_iY_0Z_i+X_iY_iZ_0)$。对于 $\epsilon>0$，定义张量 $T(\epsilon)$，其对应的多项式为\begin{align}...
2016-08-01 20:28:00
1906
转载 阿基米德项目ALS矩阵分解算法应用案例
转自：https://github.com/ceys/jdml/wiki/ALS阿基米德项目ALS矩阵分解算法应用案例编写人：ceys/youyis最后更新时间：2014.5.12一、算法描述1.原理问题描述ALS的矩阵分解算法常应用于推荐系统中，将用户(user)对商品(item)的评分矩阵，分解为用户对商品隐含特征的偏好矩阵，和商品在隐含特征上的映射矩阵。...
2016-07-20 17:51:00
144
转载 ALS数学点滴
其中，$n_{u_i}$表示用户$i$评分的电影数目，$n_{m_j}$表示对电影$j$评分的用户数目。设$I_i$表示用户$i$所评分的电影集合，则$n_{u_i}$是$I_i$的基数，同样的，$I_j$表示对电影$j$评分的用户集合，$n_{m_j}$是$I_j$的基数。这对应于Tikhonov正则化中的$\Gamma_U=diag(n_{u_i})$和$\...
2016-06-30 13:48:00
128
转载 CDH5 安装过程
一、环境1.1 操作系统$ cat /etc/redhat-release CentOS release 6.5 (Final)1.2 Java环境$ java -versionjava version "1.7.0_80"Java(TM) SE Runtime Environment (build 1.7.0_80-b15...
2016-05-18 18:11:00
88
转载 协同过滤中相似度的计算方式
协同过滤中相似度的计算很有技巧性，下面对比几种计算的方式。假设输入的Item-User矩阵为：$U_1$$U_2$$U_3$$I_1$34$I_2$32$I_3$23$I_4$42设用户共有M个，Item共有N个，在本例...
2016-03-15 14:34:00
441
转载 协同过滤对候选集的处理
生成候选集生成候选集的时候，是根据用户的历史喜好item进行的。假设用户以前喜欢的 item 为：$i_m, m=1\ldots M$。 如果用户过去喜欢的 item 比较多，需要设定一个 liked_topN 值，表示最多就取这么多item，也即$M \le liked\_topN$，当然这些item是依据喜好分值排序过的。除了设定liked_topN 值之外，还可以使用相似度...
2016-03-12 13:03:00
120
转载 梯度下降法
设$\theta$是一个未知的参数向量，$J(\theta)$是相应的需要被最小化的代价函数。假设函数$J(\theta)$是可微的。这个算法从最小点的初始估计值$\theta(0)$开始，之后的算法按照如下形式迭代：$$\theta(new) = \theta(old)+\Delta\theta$$$$\Delta\theta = -\mu\frac{\partial J(...
2016-02-12 11:49:00
72
转载 支持向量机-可分的类
本次我们将提出另一种设计线性分类器的原理。我们将从二类线性可分的任务开始，然后将这种方法扩展到数据不可分的更一般的情形。让 $x_i,i=1,2,\ldots,N$，表示训练集X的特征向量，这些向量属于两类中的任意一类，并且假设这些向量是线性可分的，目标还是设计一个超平面：$$g(x)=w^Tx+w_0=0$$使该超平面可以将所有的训练数据正确分类。由于这样的一个超平面...
2016-02-04 10:41:00
193
转载 LaTex希腊字母
NameSymbolCommandAlpha$\alpha$ $A$\alpha ABeta$\beta$ $B$\beta BGamma$\gamma$ $\Gamma$\gamma \GammaDelta$\delta$ $\Delta$\delta \Delta...
2016-02-01 20:41:00
617
转载 红黑树删除操作
若被删除的结点有两个非叶子结点，那么可以转换为删除一个“替代点”的问题，该替代点最多只有一个非叶子孩子结点。可以通过前驱或者后继（都最多有一个非叶子孩子结点）来替代最初要被删除的结点，所以下面只关注只有一个非叶子孩子结点的问题，一旦我们解决了这个问题，那么解决方法将同样适用于两种情形：1、原本想删除的结点最多有一个非叶子孩子结点2、原本想删除的结点有两个非叶子孩子结点（通过前驱和后继可以...
2016-01-18 23:34:00
71
转载 红黑树插入操作
所有被插入的结点一开始都被设置成红色（很重要！），它的左右孩子结点都是NULL，所有的NULL结点被设置为黑色，这样可以满足第3条属性（所有的叶子结点不包含数据，也就是指NULL，并且都是黑色）。一开始，N正是要被插入的新结点，但是整个过程也可能会迭代到其他的结点上。标志P(Parent)代表N的父结点，标志G(Grand parent)代表N的祖父结点，标志U代表N的叔父结点(Uncl...
2016-01-17 12:27:00
65
转载 红黑树
红黑树是一种自平衡二叉搜索树，每个结点都有一个额外的位(bit)，代表了结点的颜色（红色或黑色）。这些代表颜色的位用来确保红黑树在插入和删除时保持基本平衡。红黑树不保证完全平衡，但是已经足够使得搜索能在O(log n)时间内完成，n为树中元素的个数。插入和删除操作，伴随树结构的重新构造和重新着色，也能在O(log n)时间内完成。红黑树的属性红黑树除了满足二叉搜索树的属性之外，...
2016-01-06 22:17:00
84
转载 斐波那契堆
在计算机科学中，斐波那契堆是由树的集合所组成的堆数据结构。它比二项堆的平摊运行时间更好。斐波那契堆的名字来自于斐波那契数列，这些数列被用来做运行时间分析。求最小值(find-mininum), 插入(insert), 降低元素值(decrease-key)和合并(merge/union)可以在常数平摊时间内完成。删除(delete)和删除最小值(delete minimun)可以在O...
2016-01-04 17:12:00
131
转载 二叉搜索树的相关操作
操作包括二叉搜索树的创建，插入，搜索，寻找前驱后继，删除，左右旋转，插入元素为根结点，以及两棵二叉树的合并。二叉树的创建很简单，只需要设置 value, left child, right child 即可。插入的时候递归插入树中合适的位置，通过比较插入元素的值与根结点元素的值，如果小于则递归插入到左子树中，否则递归插入到右子树中。搜索的时候与插入类似，比较要搜索的值和根结点...
2015-12-30 22:20:00
106
转载 树形结构打印二叉搜索树
之前打印二叉树的时候，创建的二叉树是一颗完全平衡的二叉树，对于不平衡的树打印会出现错误，今天又重新改了一下，样子也改进了点，可以打印不平衡的二叉树，算法主要采用中序遍历和层次遍历（广度优先遍历）。下面是几张效果图： ____________________40_______ | ...
2015-12-28 21:48:00
441
转载 分治法求连续子数组的最大和
思路来自算法导论，将数组平分为左右两个子数组，那么最大子数组可能在左边的子数组中，也有可能在右边的子数组中，还有可能跨过中间的元素，只有这三种情况。对于前两种情况，可以使用递归求解，对于第三种情况，可以做到用线性时间复杂度的函数来求解，详见代码。#include <iostream>#include <map>using namespace std...
2015-12-27 17:00:00
557
转载 网址收藏
因为所用浏览器和设备可能会发生改变，直接收藏到浏览器中不能够长久使用，所以还是以后还是收藏在这里吧。发现一个很好的网址收藏应用：Pocket以后的网址都收藏在这里吧，太好用了，另外今天才发现firefox的好处，直接有pocket按钮，一点就收藏了，很是方便。整數數列線上大全 http://oeis.org/?language=chinese数据结构和算法动态可...
2015-12-21 20:37:00
60
转载 SMO启发式选择
%%% svm 简单算法设计 --启发式选择%%clcclearclose all% step=0.05;error=1.2;% [data, label]=generate_sample(step,error);category=load('category.mat');label=category.label;feature=lo...
2015-12-14 12:49:00
312
转载 Matlab生成二类线性可分数据
%% 生成二类线性可分数据function [feature, category]=generate_sample(step,error)aa=3; %斜率bb=3; %截距b1=1; rr =error;s=step;x1(:,1) = -1:s:1;n = length(x1(:,1));x1(:,2) = aa.*x1(:,1) + ...
2015-12-13 23:10:00
1113
转载 SMO(Sequential Minimal Optimization) 伪代码（注释）
Algorithm: Simplified SMO这个版本是简化版的，并没有采用启发式选择，但是比较容易理解。输入：C: 调和系数tol: 容差 (tolerance)max passes: $\alpha$ 不改变时的最大迭代次数$(x^{(1)}, y^{(1)}), . . . , (x^{(m)}, y^{(m)})$: 训练样本输出：...
2015-12-13 21:15:00
382
转载 泰勒公式与极值问题
泰勒定理(带Lagrange余项)：如果函数$f(x)$在$x_0$的领域$U(x_0)$内具有直到$(n+1)$阶的导函数，则$\forall x\in U(x_0)$，存在$\theta\in(0,1)$，使得：$$f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+\frac{f^{''}(x_0)}{2!}(x-x_0)^2+\cdots+\frac{f^{n}(x_...
2015-11-02 13:33:00
485
转载 二阶导数验证最大值与最小值
对于$w=ax^2+bxy+cy^2$，可以将其化简为：$$w=\frac{1}{4a}\left[4a^2\left(x+\frac{b}{2a}y\right)^2+\left(4ac-b^2\right)y^2\right]$$该式由两个平方项组成，其中$4a^2\left(x+\frac{b}{2a}y\right)^2\ge0$，$\left(4ac-b^2\right...
2015-11-02 09:31:00
3324
转载 html模板
<h3> </h3><div class="box"><pre></pre></div><div class="box"></div>转载于:https://www.cnblogs.com/lengyue365/p/4926015.html
2015-10-31 19:19:00
74
转载 LaTeX笔记
1、上下标：$x^n$， $x^{123}$， $x_n$， $x_{123}$， $C_n^m$， $C_{100}^{50}$$x^n$， $x^{123}$， $x_n$， $x_{123}$， $C_n^m$， $C_{100}^{50}$2、花括号：$\{a_n\}$$\{a_n\}$3、分式：$\frac{a}{b}$， $\f...
2015-10-31 17:39:00
313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人