刘伟的博客

1. HMM  HMM是一种生成式模型，它的理论基础是朴素贝叶斯，本质上就类似于我们将朴素贝叶斯在单样本分类问题上的应用推广到序列样本分类问题上。在单样本朴素贝叶斯分类任务中：P(y∣x)=P(x∣y)∗P(y)P(x)P(y|x)=\frac{P(x|y)*P(y)}{P(x)}P(y∣x)=P(x)P(x∣y)∗P(y)​扩展到序列化样本分类问题任务中为：P(y1n∣x1n)=P(...

提交论文时出现内嵌字体问题，主要原因是我用的图片是pdf格式的，而这些pdf是通过visio另存为得到的，包含一些中文字体，导致提交出错，将pdf图片改成eps就没有问题了。1.jpg转为eps找到texlive的安装路径下的bin目录，比如我的路径为C:\\texlive\\2018\\bin，下面有一个目录叫win32，在这个目录下有一个小程序bmeps.exe，这个程序就是将图像(可以是...

  这段代码的应用场景是：某个batch的sentence，有的经过了padding操作，如果获取每句话中实际的最后一个单词。A = torch.Tensor([[[2, 3, 1], [1, 4, 0], [1, 0, 0]], [[2, 2, 0], [2, 0, 0], [3, 1, 4]]])print(A.size())B = torch.Tensor([[3, 2, 1], [...

  pytorch中我们有时候可能需要设定某些变量是参与训练的，这时候就需要查看哪些是可训练参数，以确定这些设置是成功的。  pytorch中model.parameters()函数定义如下: def parameters(self): r"""Returns an iterator over module parameters. This is typ...

  NER中CRF是必不可少的环节，特地看了一遍CRF相关理论以及allennlp中CRF的代码，特在这里笔记记录下来！1.线性CRF简介1.1一般形式  关于线性条件随机场的详细介绍，请参考李航老师的《统计学习方法》或者这里，这里仅仅给出一般的公式定义。   设P(Y|X)P(Y|X)P(Y|X)为线性链条件随机场，则在随机变量XXX取值为xxx的条件下，随机变量YYY取值...

  在pytorch中要使用tensorboard，在使用的时候出现一个错误，提示：ModuleNotFoundError: No module named '_sqlite3'字面意思，就是找不到sqlite3模块，所以用了以下方法解决该错误。1.安装sqlite3   使用sqlite3 --help来判断是否已经安装sqlite3，如下所示，表示已经安装了sqlite3： ...

ELMo代码解读笔记2：模型代码2.模型代码介绍  模型代码主要包括以下几个部分:1.构建word embedding; 2.构建word_char embedding的准备; 3.语言模型介绍(双向lstm模型)。2.1 构建word embedding  注意：在ELMo语言模型中，无论是word embedding还是word_char embedding都是...

ELMo代码解读笔记1.数据准备  数据准备包括:1.生成word的词汇表类; 2.生成字符的词汇表类； 3.以word-ids作为输入的训练batch生成类; 4.以char-ids作为输入的训练batch生成类; 5.生成语言模型输入的数据集类1.1 word词汇表类(Vocabulary)  根据一个词汇表文件，生成word和索引的相互对应关系，即_id_to_w...

  计算机相关论文一般在google学术和dblp上面找，前者需要翻墙，而后者不用翻墙可以直接访问。链接地址如下： google学术：https://scholar.google.com.hk/?hl=zh-CN dblp网站: https://dblp.uni-trier.de/ 另外查看相关会议和期刊的级别，可以在中国计算机协会(ccf)官网查看,地址为:http://www.ccf....

  已经看了很久的word2vec，但是发现了很多不同版本的解释，再加上原始论文没有提到太多的细节，所以打算直接看一遍源码，一方面可以加深自己理解；另一方面，以后也可以做适当的改进！源码分析请参考本人github地址：https://github.com/liuwei1206/word2vec  先给出源码中执行的流程图，按照流程图对代码进行详细的解读，流程图如下:训练部分的流程图如下：讲解将会按照这个训练过程来！(一)训练参数注意，这些参数都是全局参数，包括以下参数:size: 对应代码

(一)安装jupytersudo pip3 install jupyter(二)打开jupyter   先通过cd执行进入你要打开的jupyter项目的目录下，然后执行jupyter notebook就会一个网页，里面会显示该目录的所有文件。如下图: (三)执行jupyter   在显示的所有文件中，打开你要执行的文件，选中某段代码，点击run即可。 ...

  之前装的win10系统经常动不动磁盘100%，经常卡机，所以打算卸载掉，然后装上Ubuntu系统。（一）制作一个启动盘(二)进入bios，将boot secure关闭(三)通过Ubuntu启动，可以看到一个选择界面，第一项为try ubuntu without install，第二项为install ubuntu，我们先通过按键盘上的e进入如下界面： 将第二行splash —...

  在一个数组中，如果两个元素aiaia_i和ajaja_j，有i&lt;ji&lt;ji < j 并且ai&gt;ajai&gt;aja_i > a_j，我们则成这两个元素对(ai,aj)(ai,aj)(ai, aj)次序出错，是一个逆序对。例如数组[2, 4, 1, 3, 5]中逆序对有3个，分别是(2,1),(4,1),(4,3)(2,1),(4,1),(4,3)(2, 1), (4, 1...

  我们在用tensorflow训练模型时，可能需要训练很长很长一段时间，为了方便下次使用，应该将模型保存起来。在sklearn中，我们可以使用pickle模块进行模型保存；而在tensorflow中，我们可以使用它自带的Saver()类进行模型的保存。(一)Saver类  Saver类是用于保存和恢复变量的。它有将变量保存到checkpoint和从checkpoint中恢复变量的操作...

  直接用pip3安装的tensorflow在运行代码时，总是会提醒另一种更加高效率的编译模式，很烦人，再加上据说在CPU上计算速度会加倍，于是就尝试用tensorflow的源码进行安装，主要参考了TensorFlow官方教程。以下便是安装官方教程的步骤进行安装!!! 注意，本人的安装环境是ubuntu16.04，python3.6，tensorflow1.6, open-jdk8, baz...

  Skyline query是多维度数据库中一种非常重要的point query，它最初由 Börzsönyi 等人于2001年提出。一个数据库中的数据对象（也就是空间中的点）可能有成千上万个，但是我们往往对其中一些更感兴趣，Skyline就是定义这里的“更感兴趣”的一种方式。如下图所示是美国纽约曼哈顿区的天际线（Skyline)，显然这里的建筑有很多很多，但放眼望去我们所能看见的（也就是构成天...

  二部图又称为二分图，双分图，指顶点可以分成两个不相交的集合U和V，使得在同一个集内的顶点不相邻的图。无向图为二分图G的充分必要条件是，G至少有两个顶点，且其所有回路的长度均为偶数。  判断某个图是否是二分图可以用着色问题解决。我们从图中任选一个顶点s，并把它着为红色，接着s的邻居必须着为蓝色，然后s邻居的邻居再次作为红色，这样一层一层着色，直到整个图被着色为止;如果在着色过程中产生了冲...

1.定义二分图：   将一个图的所有顶点划分为两个不相交集U和V，使得图中的每一条边的顶点分别属于点集合U和点集V，即同一点集中的点不构成边，这样的图叫做二分图。维基百科中给出的无向图G的二分图的充分必要条件是：G至少有两个顶点，且其所有回路的长度均为偶数。下图为带有回路的二分图举例: 匹配：   图中匹配的定义是指，这个图的一个边的集合，集合中任意两条边都没有公共的顶点，则称这个边...

  最近有一些烦，虚拟机跑代码，跑着跑着存储不够，我就去扩大磁盘，结果虚拟机崩了，试了一上午的修复办法，仍然无法修复，于是只能重装虚拟机，配置各种环境，这里总结一下Ubuntu中配置sublime3，并且配置Python3编译环境。（一）安装sublime3  terminal中安装sublime3步骤为:#添加sublime text3的仓库sudo add-apt-repos...

  最近看了一篇paper，在复现论文代码时，需要用到theano这个机器学习工具（感觉我看了好多个工具，但却都只是了解，好悲伤！！！）,然后再本地的Ubuntu16虚拟机里面装这个工具，用一下指令:sudo pip3 install theano因为之前我装过TensorFlow和Pytorch，所以一些依赖包基本已经包括了。我安装的theano版本是1.0.1，python是3.6...