谓之小一

本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸？的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。看本篇文章之前，建议自行学习RNN和LSTM的前向和反向传播过程，学习教程可参考刘建平老师博客循环神经网络(RNN)模型与前向反向传...

1. KGE简介目前(2020.03)知识图谱嵌入研究方法众多，本文将对其中的主流方法进行简要介绍，如翻译、双线性、神经网络、双曲几何、旋转等。各方法细节请看原论文，文中错误欢迎指出，谢谢。知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系的Embedding表示，是语义检索、知识问答、推荐等众多应⽤的基础研究。在具体了解KGE之前，我们先...

Ununtu16.04搭建GitLab服务器教程文章目录Ununtu16.04搭建GitLab服务器教程1.依赖包安装2.GitLab安装2.1官方教程2.2清华源3.GitLab启动4.GitLab配置4.1更改服务器IP地址4.2更改服务器端口4.3设置GitLab开机自启动5.GitLab备份5.1创建备份文件5.2修改备份目录5.3设置自动备份机制5.4设置备份过期时间5.5恢复备份文件...

机器学习问题之中，通常需要建立模型来解决具体问题，但对于模型的好坏，也就是模型的泛化能力，如何进行评估呢？很简单，我们可以定一些评价指标，来度量模型的优劣。比如准确率、精确率、召回率、F1值、ROC、AUC等指标，但是你清楚这些指标的具体含义吗？下面我们一起来看看吧。1.混淆矩阵介绍各个指标之前，我们先来了解一下混淆矩阵。假如现在有一个二分类问题，那么预测结果和实际结果两两结合会出现如下四种...

1.交叉验证简介交叉验证(Cross Validation) 是在机器学习建立模型和验证模型参数时常用的方法。顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集。用训练集来训练模型，测试集来评估模型的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的样本，在下次可能成为测试集中的样本，也就是所谓的交叉。2.为什么用交叉验证？交叉验证用在数据量不...

1.LDA简介线性判别分析(Linear Discriminant Analysis, LDA) 是一种监督学习的降维方法，也就是说数据集的每个样本是有类别输出。和之前介绍的机器学习降维之主成分分析(PCA)方法不同，PCA是不考虑样本类别输出的无监督学习方法。LDA的原理简单来说就是将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点会形成按类别区分。而我们的目标就是...

奇异值分解(Singular Value Decompostion, SVD) 是在机器学习领域广泛应用的算法，不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域，是很多机器学习算法的基石。本篇文章对SVD原理做主要讲解，在学习之前，确保你已经熟悉线性代数中的基本知识，包括特征值、特征向量、相似矩阵相关知识点。如果不太熟悉的话，推荐阅读如下两篇文章，如何理解矩阵特征值？知...

主成分分析(Principal components analysis, PCA) 是最重要的降维方法之一，在数据压缩、消除冗余和数据噪音消除等方面有广泛的应用。通常我们提到降维算法，最先想到的就是PCA，下面我们对PCA原理进行介绍。1. PCA思想PCA就是找出数据中最主要的方面，用数据中最重要的方面来代替原始数据。假如我们的数据集是n维的，共有m个数据(x1,x2,…,xm)，我们将这...

在MCMC采样和M-H采样中，我们讲到M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维情况下计算量非常大，同时由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布方便求解，但特征的联合分布很难求解。因此需要改进M-H算法，来解决上面提到的两个问题，下面我们详细介绍Gibbs采样方法。1.细致平衡条件...

在MCMC之马尔可夫链之中我们介绍到，给定一个概率分布π，很难直接找到对应的马尔可夫链状态转移矩阵P。只要解决这个问题，我们便可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。下面我们来介绍如何找到马尔可夫链所对应的状态转移矩阵P。1.马尔可夫链细致平稳条件解决平稳分布π所对应的马尔可夫链状态转移矩阵P之前，我们先看一下马尔可夫链的细致平稳条件。其定义为：如果非周期马尔可夫链的状态转移...

在MCMC之蒙特卡罗方法之中，讲到如何利用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和方法。但蒙特卡罗方法需要得到对应的概率分布的样本集，而对于某些概率分布，得到这样的样本集很困难，因此本篇我们将介绍马尔可夫链来解决这种问题。1.马尔可夫链简介马尔可夫链定义比较简单，它假设某一时刻状态转移的概率只依赖于它的前一个状态，这样可以很大程度上简化模型的复杂度。假设我们的序列状态为...,...

1.MCMC简介**马尔可夫链蒙克卡罗(Markov Chain Monte Carlo,MCMC)**是一种随机采样方法，在机器学习、深度学习及自然语言处理等领域都有广泛的应用，是很多复杂算法求解的基础，例如受限玻尔兹曼机(RBM)便是用MCMC来做一些复杂算法的近似求解。在具体讲解什么是MCMC之前，我们先看看MCMC可以解决什么样的问题，为什么需要MCMC方法。2. 为什么需要MCMC?...

上篇文章我们已经学习了循环神经网络的原理，并指出RNN存在严重的梯度爆炸和梯度消失问题，因此很难处理长序列的数据。本篇文章，我们将学习长短期记忆网络(LSTM,Long Short Term Memory)，看LSTM解决RNN所带来的梯度消失和梯度爆炸问题。1.从RNN到LSTMRNN模型具有如下所示的结构，其中每个索引位置t都有一个隐藏状态h(t)h^{(t)}h(t)。如果省略每层的...

前面我们已经介绍了深度神经网络和卷积神经网络，这些算法都是前向反馈，模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络，循环神经网络(Recurrent Neual Networks)，其广泛应用于自然语言处理中的语音识别，书写识别和机器翻译等领域。1.RNN简介前面介绍的DNN和CNN之中，训练样本的输入和输出都是确定的。但对于训练样本输入是连续的序列，训练样本长度不...

前面已经推导学习了卷积神经网络之前向传播算法，本篇文章将推导卷积神经网络之反向传播算法。在学习卷积神经网络算法之前，希望你对深度神经网络有一定程度的了解，我在之前也有写过相关的文章，包括深度神经网络之前向传播算法、深度神经网络之反向传播算法、深度神经网络之损失函数和激活函数、深度神经网络之正则化，可以先看一下再学习卷积神经网络。1.DNN反向传播算法学习CNN(卷积神经网络)反向传播算法之前，...

0.杂谈本来个人是准备毕业直接工作的，但前段时间学校保研大名单出来之后，发现本人有保研机会，于是就和主管请了几天假，回学校准备保研的事情。经过两天的准备，也是非常幸运，成功拿到本院的保研名额。明确得到保研名额的时候已经是9月18号，然而国家推免系统开放时间是9月28号，也就是说我只还有10天时间准备保研，而且这个时间点很多学校夏令营、预报名活动早已结束，不再接受学生申请。所以能够申请的学校也就很...

大雾！可以说很大意啦！上周五终于改好bug，想着把代码同步到个人GitHub上面，就随手git push同步到远程。然而万万没想到，之前touch过一个information.txt文件，里面记录着一些服务器信息，然后也跟着同步到远程仓库去啦。等到周一，敏感信息被公司检测出来，通知删除。可以说，真的是很大意了。在通知我之前，我还不记得有提交过什么敏感信息。直到看见具体文件信息，才知道自己犯...

1.Protobuf简介Google Protocol Buffers简称Protobuf，提供一种灵活、高效、自动化的机制，用于序列化结构数据。Protobuf仅需自定义一次所需要的数据格式，然后我们就可以使用Protobuf编译器自动生成各种语言的源码，方便我们读写自定义的格式化数据。另外Protobuf的使用与平台和语言无关，可以在不破坏原数据格式的基础上，扩展新的数据。我们可以将P...

1.常用指令 ls显示文件或目录 ​ -l列出文件详细信息(list) ​ -a列出当前目录下所有文件及目录，包含隐藏的a(all) mkdir创建目录 ​ -p创建目录，若无父目录，则创建p（parent） cd切换目录 touch创建空文件 touch a.txt echo创建带有内容的文件 echo ...

1.二维数组中的查找题目： 在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。思路：遍历每一行，查找该元素是否在该行之中。# -*- coding:utf-8 -*-class Solution: # array 二维列表 ...