南瓜派三蔬

深入理解L1、L2正则化—知乎(1)补充推导1证明：（2）补充推导2证明：

1.序列标注模型简介序列标注问题包括自然语言处理中的分词，词性标注，命名实体识别，关键词抽取，词义角色标注等等。例如，命名实体识别（NER）的标注问题就是：对长度为N的输入序列，对其中的每个元素打上标签，得到长度也为N的label，例如人名、地点等标签。2.BiLSTM+CRF模型流程2.1 为什么用BiLSTM+CRF模型CRF是非常经典的序列标注模型，深度学习发展起来之后，深度学习+CRF的模型得到广泛应用。其中的代表就是BiLSTM+CRF。2.2 一种典型结构2.2.1 数据预处理字

1.PCA降维的计算过程下图是从西瓜书里截取的PCA降维过程的图片。需要说明的是，算法中的向量为列向量。假设原始维度为d，样本数目为m，因此特征矩阵X的维度为d×m，W的维度为d×d’。降维的时候，transpose(W)*X得到 d’×m的矩阵，它的每一列，即为降维后的向量。2.数学推导不过西瓜书里没有详细推导（我查了好几本书，包括DeepLearning和Hands On ML，都没...

########翻译整理自 《Deep Learning》，【】内为自己加的内容#########１．含义机器学习算法是可以从数据中学习的算法。“学习”的含义是什么？Mitchell 在 1997年给出了如下定义【应该是比较公认的定义，因为在多本机器学习经典著作中均用了此定义】：“A computer program is said to learn from experience E...

整理自 《DeepLearning》Chapter 7.1。对于神经网络，一般只对每一层仿射变换的weights进行正则化惩罚，而不对偏置bias进行正则化。相比于weight，bias训练准确需要的数据要更少。每个weight指定了两个变量之间的关系。weights训练准确需要在很多种情况下的同时观察两个变量，每个bias只控制一个变量。这意味着不对bias正则化，没有引入很多方差（vari...

—————整理自DeepLearning chapter8，主要是方便做算法的对比。1.基础算法1.1 随机梯度下降（SGD，Stochastic Gradient Descent）随机梯度下降可以通过从数据生成分布中独立地抽取的m个样本组成的minibatch的平均梯度来无偏地估计梯度。还有很多其他的点，比如SGD的收敛条件等，详情请参考原书。1.2 动量SGD（SGD with m...

https://www.cnblogs.com/pinard/p/6638955.html这个讲的比较清楚。