慎独

前言最近闲来无事，好不容易有个长假期，准备利用这个假期整合一下现在已知的声音信号处理及语音处理的一些知识。主要是个人巩固之用，内容中一定包含了很多不完整的内容和不够严谨细致的推导。希望系统性学习的读者还是去专注于比较严谨的学术专著。这一系列的专栏仅供参考，并分享自己在声音上的理解。如有错误请多多指正。声音信号的认识声音信号...

Hierarchical Discrete CorrelationIntroductionCore ProblemMain Contribution合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Introduction本文是在阅读 Co

Windows编写的bash文件在Linux系统中运行报错一个简单的记录，懒得每次都去查了。。这是因为Windows和Linux下字符编码差异带来的解码问题，在Windows下上传至Linux的文件需要通过：sed -i.bak 's/\r$//' run.sh即可在Linux下运行...

opencv在python上的库为 opencv-python在调用时，直接使用import cv2即可安装时，请安装两个库，pip指令为：pip install opencv-python和pip install opencv-contrib-python若只安装第一个库，在我的pycharm上会显示 ModuleNotFoundError，安装第二个库后即可消除。PS:每次装新环境都会遇到这个问题，记录一下。...

前言这是一篇NLP tricks的集合，在自然语言处理的模型中，有很多优化模型效果的技巧，其中很多技巧已经称为默认设置，不再文章中额外说明。这里持续更新一些方法作为记录。技巧列表前言Weight AverageAdaptive EmbeddingVariational DropoutWeight AverageWeight Average是一种自动集成方式，指的是在最终进行模型测试前，取前面每个checkpoint模型权重的平均值作为最终的测试模型。Adaptive EmbeddingAdapt

文章目录前言0. 摘要(Abstract)1. 引言(Introduction)2. 背景：神经语言模型(Neural Language Model)前言本篇文章来自Dilin Wang et al. 于2019年发表的文章：Improving Neural Language Modeling via Adversarial Training. 文章通过引入对抗模型的方式缓解了低频词的训练问题。0. 摘要(Abstract)近年来，深度学习的应用在语言模型的提升上带来了明显的提升。然而，在实现过程中

表达退化问题是由多伦多、微软、北大的Jun Gao et al. 共同在2019年的ICLR大会上提出的问题，其主旨在训练神经网络时出现的词向量表达退化的问题。本篇文章基于其发表的论文 [Representation Degeneration Problem in Training Natural Language Generation Models](https://arxiv.org/pdf/1907.12009.pdf). 本文旨在首先**翻译文章**，其次结合一些**实例**进行分析。

逻辑回归是一种十分常见得一种分析模型，属于广义线性回归分析模型。分享两个讲的非常好的文章：详解逻辑回归逻辑回归与面试问题关于逻辑回归的总结与解释以上两个文章讲解都非常好，但是有些细节可能个人理解偏多，希望大家都能有自己的思考。通常，我们见到逻辑回归会想到它的函数图像，和softmax，以及线性回归。下面，我们将进行介绍与解释：Logistic Regression理解逻辑回归，首先...

Nature Language Processing：自然语言处理本文为斯坦福课程CS224N的课堂笔记。极力推荐入门NLP的朋友阅读此课，因为课件完整，b站有搬运，同时还有作业，可以一边实践一边做。b站自查：CS224N* 前两个lecture主要是一些基础的入门与介绍，我直接使用笔记，后面的内容将会更加详细。** 老师有时候会布置一些作业，这些作业有的没有答案，我也会分享在这里，如...

KL散度的概念来源于信息熵，有关信息熵的概念在这里进行了讲解。在NLP的优化中，因为语言模型的损失函数基础，是一个由分布构成的方程（Softmax），所以在相关的论文中，可能会遇到使用KL散度对损失函数进行优化的情况，我们经常看到的KL散度形式如下：这个方程是什么意思呢，下面我们开始介绍KL散度。...

KL散度是机器学习中经常会遇到的度量方法，它度量了两个分布之间的距离，它来源于信息熵，也是香农信息论的产物之一。在NLP的优化中，因为语言模型的损失函数基础，是一个由分布构成的方程（Softmax），所以在相关的论文中，可能会遇到使用KL散度对损失函数进行优化的情况，我们经常看到的KL散度形式如下：<center>这个方程是什么意思呢，下面我们开始介绍KL散度。信息熵...

在研究NLP的过程中，遇到了word embedding， 经过一系列学习，发现它最初的原理之一来自奇异值分解。于是对奇异值分解做一个简单的记录。资料中比较好的资料：https://www.cnblogs.com/endlesscoding/p/10033527.html 原理讲解简单，demo做的十分好！https://www.cnblogs.com/litaotao-doctor...

这是一个由于版本引起的错误，具体哪里有问题，可以做以下尝试：pip uninstall python-dateutilpip install python-dateutil很奇怪，因为我用了 --upgrade 并没有用，但是卸载又安装就好了。这里附加一个将anaconda环境移植到jupyter的方法，很简单，在Anaconda prompt里输入：conda inst...

cv2.error: OpenCV(4.0.0) C:\projects\opencv-python\opencv\modules\core\src\ocl.cpp:5407: error: (-220:Unknown error code -220) OpenCL error CL_MEM_OBJECT_ALLOCATION_FAILURE (-4) during call: clEnqueue...

看了很多，试了很多都不行。有点郁闷，临时使用镜像就不说了，直接看永久使用：1. 在路径下添加文件：红色是你的用户名2. 修改pip.ini的文件内容为： [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple3. 在anaconda prompt下输入命令：conda config --add c...

Stacking 是机器学习中，集成学习的一种方法。集成的好处是不同的模型可以学习到数据的不同特征，经过融合后的结果往往能有更好的表现，大有取长补短的意思。 基本理解 这种方法的思想比较简单，在不知道它之前，我们可能在设计算法的时候就会想到这种结构了，下面是我对这个算法的理解：这个结构我们都很熟悉，十分像神经网络中上层神经元到它的一个下层神经元的结构。如果按这种方法，x1-x...

每次百度太麻烦了，干脆直接偷一张图，作为参考。