落地生根

参考链接：http://www.atyun.com/12192.html 如果你玩过电子游戏，你就会明白为什么检查点（chekpoint）是有用的了。举个例子，有时候你会在一个大Boss的城堡前把你的游戏的当前进度保存起来——以防进入城堡里面就Game Over了。机器学习和深度学习实验中的检查点本质上是一样的，它们都是一种保存你实验状态的方法，这样你就可以从你离开的地方开始继续学习。...

0 前言   在作ASR和KWS实验时，必不可少的需要对语音数据预处理，提取特征（业内常见是提取为MFCC），最后在喂入模型中。数据预处理可分为离线处理和线上处理：离线处理：训练之前先对语音数据进行加噪音、调低\高音量、1.5倍速播放等（有人用工具audiomentations）,然后再提取MFCC特征到特征文件里（特征文件格式.h5,.csv），训练时数据集从特征文件读取，不需要再预处理了...

参考链接： https://www.cnblogs.com/dlml/p/4403482.html 机器学习之分类器性能指标之ROC曲线、AUC值 分类器性能指标之ROC曲线、AUC值一 roc曲线1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：负正类率(false ...

数据处理——One-Hot Encoding，参考https://blog.csdn.net/google19890102/article/details/44039761

ROC接受者操作特征曲线（receiver operating characteristic）常用的参数可以参考如下链接：参考链接： https://blog.csdn.net/qq_26369907/article/details/97490991    在关键字定位（Keyword Spotting）中，引用ROC评价模型的性能，ROC纵轴为错误拒绝率，横轴为错误警告，如下图图片来源于：...

作者要毕业，就需要写论文；写论文就必须先要看论文，怎么看论文呢？1. 开始刚开始我一眼懵逼，直接去知网，百度，Google。单这并不是最开始要做到；最开始应该先查找你的方向里有哪些顶会顶刊；例如以语音识别为例，这个领域并没有单独的会议或期刊，都属于人工智能这一块，我应该先找人工智能的顶会顶刊，然后在这些顶会顶刊中找到语音方面研究者经常投的有哪几个；人工智能顶会顶刊参考CCF的排名：http...

Keyword Spotting Based On CTC and RNN For Mandarin Chinese Speech摘要： 基于隐马尔可夫模型(HMM)和神经网络(NN)的混合模型是当前关键字识别(KWS)系统声学建模的前沿。然而，由于中间语音表示的依赖性，如何有效地训练这样一个混合系统是一个挑战。在端到端语音识别系统的驱动下，提出了一种利用端到端方法直接预测语音单元后验的普通话K...

1.感受野(Receptive Field)Receptive field 是啥？看看网上的大佬们怎么说。The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by). ——Dang Ha T...

谷歌提出了两种损失函数TE2E（Tuple-based end-to-end）、GE2E（Generalized end-to-end）.今天对这两种进行记录。一、TE2E在训练中分为2个阶段：登记和检验。每步训练中数据包含 xj∼x_{j∼}xj∼​和M个登记会话xkmx_{km}xkm​（for m = 1…M）， 可以用 {xj ,(ek1,ek2...ekM)...

一、文件结构checkpointdata/   __init__.py   dataset.py   get_data.pymodels/  __init__.py   shuffleNetV2.py   ResNet.pyutils/   __init__.pyconfig.pymain.pyrequirement.txtREADME.md二、作用1. ...

模型压缩常用的方法有：剪枝，分解、蒸馏、量化、轻量级网络模型。记录学习量化时小结。背景：当前神经网络通常使用浮点数格式存储权重、网络结构等，这是保持模型准确性的有效而且最简单的方法，GPU也可以较好的加速这些计算。但是随着模型加载次数的增加前向推导计算也成正比增加，Quentization能有效解决此问题，它比32位更紧凑的格式来存储数字，并进行计算。可行性：低精度计算是噪音的另一个来源（待确...

一、介绍RNN 能够获取输入序列的顺序信息。两个最常用的循环单元是长短时记忆（LSTM）和门控循环单元（GRU），二者均能在隐状态存储之前的记忆，并使用门机制来决定有多少之前的记忆需要和当前输出结合。然而由于循环结构，RNN 不能并行计算。因此训练 RNN 需要花费大量时间，从而限制了 RNN 在科研和工业的发展。一些学者通过改进循环单元来提升 RNN 的速度，也取得了较好的成果。但是这...

深度压缩：采用修剪，量子化训练和霍夫曼编码来压缩深度神经网络学习模型压缩知识，记录此篇论文学习过程。论文链接： https://arxiv.org/abs/1510.00149论文Pytorch实现GitHub链接： https://github.com/mightydeveloper/Deep-Compression-PyTorchABSTRACTDNN是计算密集型和内存密集型的模型，...

转：https://zhuanlan.zhihu.com/p/33075914几天前，著名的小网 MobileNet 迎来了它的升级版：MobileNet V2。之前用过 MobileNet V1 的准确率不错，更重要的是速度很快，在 Jetson TX2 上都能达到 38 FPS 的帧率，因此对于 V2 的潜在提升更是十分期待。V2 主要引入了两个改动：Linear Bottleneck 和 ...

ShuffleNetShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices最近学习完ShuffleNet V1，参考DFANN博客，对其总结修改了下ref：https://blog.csdn.net/u011974639/article/details/7920055...

最近学习轻量级网络：ShuffleNet V1，看论文过程中对其模型中add和concat层不理解，查看一番资料后，总结如下：

参考：https://www.cnblogs.com/shine-lee/p/10243114.html 目录 写在前面 Convolution VS Group Convolution Group Convolution的用途 参考 博客：blog.shinelee...

AbstractmobilenetV3 是搜索技术和架构设计相结合的下一代mobilenet。MobileNetV3通过结合硬件感知网络架构搜索(NAS)和NetAdapt算法对移动电话cpu进行调优，然后通过新的架构改进对其进行改进。本文开始探索自动化搜索算法和网络设计如何协同工作，利用互补的方法来提高整体水平。通过这个过程，我们创建了两个新的发布的MobileNet模型:MobileNetV...