The Dawn

原文链接:【论文随笔6】Selective Attention for Context-aware Neural Machine Translation - 知乎https://zhuanlan.zhihu.com/p/434123470背景此文和前一篇【随笔5】都属于“如何利用上下文信息”系列，但比【随笔5】中的层次丰富，导致结合方式更复杂一点。正文０. 摘要（Abstract）虽然当前的研究在句子级别的神经机器翻译（Neural Machine Translation，NMT）取得了

原文链接：【论文随笔5】Context-Aware Transformer Transducer for Speech Recognition - 知乎（封面来自Gent灯光节的Museum of the Moon，灯光节简介 Lichtfestival | Home）背景为了提高端到端的语音识别模型对于不常见单词识别的准确率，此文提出了一种上下文语境感知网络，可基于上下文信息提高语音识别…https://zhuanlan.zhihu.com/p/432320463背景为了提高端到端的语音识别模型对

原文链接：【论文随笔4】Foster Strengths and Circumvent Weaknesses: a Speech Enhancement Framework - 知乎背景这是关于speech enhancement (SE)语音增强的一篇文章，文中借鉴了collaborative learning 协作学习 的思路，来促使网络的两个分支相互协作。 语音增强是指当语音信号被各种各样的噪声干扰、甚至淹没后，从噪声…https://zhuanlan.zhihu.com/p/431449349背

原文链接：【论文随笔3】AudioSet终于有了强（帧级别）标签：THE BENEFIT OF TEMPORALLY-STRONG LABELS IN AUDIO EVENT CLASSIFICATION - 知乎背景训练神经网络时，最重要的是数据，其次是网络类型或结构等。尤其是音频标记、声音事件检测任务中，标注准确的公开数据屈指可数。DCASE2013、2016、2017等中，声音事件检测（Sound event detection，SED）的数…https://zhuanlan.zhihu.com/p/

原文链接：【论文随笔2】COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations - 知乎零----相关背景Contrastive loss（对比损失）Contrastive loss的目标是：同类相吸，异类相斥。 本文提到的Contrastive loss又叫“ NT-Xent loss” (Normalized Temperature-Scaled Cross-Entropy Loss)

原文链接：【论文随笔1】SELD-TCN: Sound Event Localization & Detection via Temporal Convolutional Networks - 知乎零－相关背景1）时序卷积网络（Temporal convolutional network， TCN）TCN【1】的提出是为了使得卷积神经网络具备时序特性，与多种RNN结构相对比，发现在多种任务上TCN都能达到甚至超过RNN模型。TCN主要基于因果…https://zhuanlan.zhihu.com/p

Docker使用过程中的问题记录，不定时更新。目录1.Docker中，上下左右按键使用出错，^[[A^[[B^[[C^[[D2. 搜索、安装Ubuntu3. Docker中Ubuntu安装软件，查看IP4.在Docker中的ubuntu中安装 Python3 和 Pip1.Docker中，上下左右按键使用出错，^[[A^[[B^[[C^[[D解决：进入之后，先在命令行中输入“bash”参考：Docker中，上下左右按键使用出错，^[[A^[[B^[[C^[[D - 猫和...

背景组里的服务器都是Windows Server的，但最近要使用的集群构建本地脚本时，需要Ubuntu的环境，装虚拟机的话麻烦，占用空间还大。随想着使用docker加载Ubuntu的镜像，简单且方便。准确的说，并非一定要使用Ubuntu的环境，而是构建本地脚本时需要一个叫 pwd 的 module，而这个模块仅在 Linux系统中才有，所以只能使用Ubuntu了。此篇日志被记录的原因还有一个，就是Windows Server 2019如果直接安装桌面版的docker，会由于版本原因报错： “wi

问题：gitpage设置后，其自动连接到readme.md中，会影响repository中的readme.md，或直接使得两者一直，所删除repository中的readme.md，gitpage显示的内容又会被影响。。。。解决：1、建立repository后，建立空的readme.md；2、创建gitpage，按照默认路径，然后选择主题，此时，主题会自动连接到已有的readme.md中，并修改了其内容；3、 创建docs文件夹，将readme.md和_config.yml移到 docs .

问题在训练 Transformer 的过程中，pytorhc出现的问题：RuntimeError: cuda runtime error (59) : device-side assert triggered at C:/w/1/s/tmp_conda_3.6_155139/conda/conda-bld/pytorch_1565366019852/work/aten/src\THC/THCReduceAll.cuh:327具体报错如下C:/w/1/s/tmp_conda_3.6_155139

来了新的环境后，可用的计算资源骤减，目前组里只有一台有Windows server的服务器，上面还是Tesla K40m。无奈，只能尝试用蹩脚的Windows。此文记录使用过程中的一些问题，不定时更新。1. Windows下查看GPU(NVIDIA)使用情况一般情况下，nvidia-smi 的指令在 C:\Program Files\NVIDIA Corporation\NVSMI 目录下 nvidia-smi.exe.要在Windows中运行nvidia-smi，有两种方案：(1) 先 win+

原因：没有对作为标签的的图像矩阵做归一化，导致标签的图像矩阵其取值范围不在[0, 1]之间。原因解释可见：tf.nn.sigmoid_cross_entropy_with_logits出现负数原文链接：http://blog.sina.com.cn/s/blog_6ca0f5eb0102xjxd.htmltf.nn.sigmoid_cross_entropy_with_logits使用这个loss函数，出现loss出现负数的情况，在理论情况下，这个函数应该是不会存在负数的情况，查看这个函数的

记录使用Opencv过程中遇到的问题（不定时更新）。目录1、安装opencv、cv22、libSM.so.6: cannot open shared object file: No such file or directory3、使用cv2.imwrite保存的图像是全黑的1、安装opencv、cv2pip install opencv-python2、libSM.so.6: cannot open shared object file: No such file or dir

解决办法import osos.environ['KMP_DUPLICATE_LIB_OK']='True'

深度炼丹入坑许久，记录一些过程中遇到的问题，不定时更新。NO FREE LUNCH定理：如果不考虑具体问题，所有的算法都是随机猜测，没有好坏之分。1、训练数据集shuffle的作用在将训练数据送入网络之前，一般均会对数据集做shuffle，打乱数据之间的顺序，让数据随机化，这样可以避免过拟合。如果不shuffle，模型短期时间内可能会连续遇见到A类型样本，可能会出现过拟合，而另一段时间内又过拟合于B类型样本，忘记之前学习到的A样本，这样的模型泛化能力必然很差。那如果A和B样本一直交替，还会.

此为pytorch使用过程中遇到的些许问题，及相应解决方法。目录1、安装并测试 warp-CTC1、安装 warp-CTC2、测试warp-CTC2、报错：RuntimeError: set_sizes_contiguous is not allowed on Tensor created from .data or .detach()3、报错：RuntimeError:...

此为记录在服务器上配置pytorch环境步骤。目录1、安装Anaconda2、配置pytorch虚拟环境1、使用activate激活该环境2、安装pytorch3、测试pytorch1、安装Anaconda此次任务需要用 python 2，所以安装 Anaconda 的 Python 2.7 版本。具体安装过程与之前安装Anaconda 3无异。...

Problem:The following error occurs when installing scikits audiolabsSndfileInfo:libraries sndfile not found in /usr/local/liblibraries sndfile not found in /usr/liblibraries sndfile not found i...

 CUDA 10 就安装好了，下来需要安装 cudnn 7.4.1，才能利用 GPU 进行计算加速。安装过程1、下载CUDNN在 NVIDIA官网上下载 NVIDIA CUDNN 相关资源，NVIDIA 官网需要注册，在 login 进去之后，点击同意“I Agree To the Terms of the cuDNN Software License Agreement”，相关资...

在前面装好显卡驱动之后，在这一节，安装 CUDA，由于更新换代，现在 NVIDIA 官网上已经是 CUDA 10 了。安装过程1、在 官网 上下载 cuda_10.0.130_410.48_linux.run， 建议下载 .run 的文件，大约2G，便于自己选择性安装；若官网上无法下载，可从这里获取网盘上资源的地址及密码，从网盘上下载。2、安装 CUDA：sudo sh cu...