自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Xwei1226的博客

稳定搬砖

原创 基于树莓派语音控制—LED开关控制

此文是学术记录,亦是技术交流文档,本文使用LVCSR构建的语音控制系统。 研究接近两年的语音识别,最近一个月开始准备将自己的研究应用于实践中。从今年5月初开始研究语音控制,到今天才出一个简单的demo,最后演示结果如下: (https://v.youku.com/v_show/id_XND...

2019-06-12 09:32:47

阅读数 2830

评论数 6

原创 基于GMM-HMM语音识别系统的算法推导(全)

最近研究完CTC,转而研究GMM-HMM; 参考文献:《语音识别实践》;《数学之美》;清华大学开源资料;爱丁堡大学语音识别课件;以及一些高校本硕博学位论文; 本文将会刷新你对GMM-HMM的认识,以及对EM算法加深理解; 本文将对GMM-HMM中的转移概率,发射概率,高斯核权重以及Vi...

2019-04-21 14:55:21

阅读数 1765

评论数 14

转载 树莓派LED灯控制

随着Mini型PC越来越多,与之而来的创客也丰富起来,比如说Arduino就是一个非常好里例子。 不过,Arduino毕竟是一块适合入门型的基础开发板,无论是从性能上,还是处理复杂问题的实现上,其本身都是有限的。所以有些时候我们会考虑成本更高的卡片式PC,类似于树莓派、香蕉派、橙子派等等。 话...

2019-06-05 09:11:32

阅读数 503

评论数 0

转载 树莓派连接电脑

1、串口连接 这种方式在我树莓派的第一篇博客有讲,这里我简单介绍。 连接树莓派,树莓派GPIO串口的GND,txd,rxd分别与转接口的GND,rxd,txd相连,用的什么转接模块我不管,反正最后得变成一个USB的接口接在电脑上,并在电脑设备管理器上的端口选项可以发现它,用Serial登录。 ...

2019-06-04 16:01:01

阅读数 515

评论数 0

转载 kaldi 中文件读取

* 1.ark,scp文件 ~/kaldi/src/featbin/copy-featsark:raw_mfcc_dev.10.arkark,t:-|head ark存的试二进制文件,scp可以直接用cat命令看。 *2.fst文件 ~/kaldi/tools/openfst-1.6.2...

2019-04-23 18:16:16

阅读数 407

评论数 0

转载 tensorflow 新版

AttributeError: 'module' object has no attribute 'SummaryWriter' tf.train.SummaryWriter 改为:tf.summary.FileWriter AttributeErro...

2019-04-10 18:26:05

阅读数 108

评论数 0

转载 tf中命名空间

1. tf.Variable与tf.get_variable tensorflow提供了通过变量名称来创建或者获取一个变量的机制。通过这个机制,在不同的函数中可以直接通过变量的名字来使用变量,而不需要将变量通过参数的形式到处传递。 TensorFlow中通过变量名获取变量的机制主要是通过tf.g...

2019-04-10 09:35:37

阅读数 97

评论数 0

转载 GMM-HMM kaldi 详解

虽然现在端到端语音识别模型可以直接对后验概率建模,可以不需要HMM结构了。但实际上目前很多state-of-the-art模型还是以HMM结构为主,比如chain model。而且掌握HMM-GMM结构,对于深入理解语音识别过程是由有一定好处的。 但对于外行(比如像我这种从机械行业转行到语音识别领...

2019-04-09 09:00:34

阅读数 930

评论数 2

转载 语音识别的前世今生

这是我4月份在BitTiger公开课听的王赟大牛《语音识别的前世今生》整理的笔记,本来打算整理通畅再发的,结果实在没时间就一拖再拖。笔记有些草率,不过应该可以看明白,希望可以对大家有用,也祝王赟大神好。 Q&A 1. 历史上非特定人和特定人的语音识别是不是有很大的不同? 这个就是...

2019-04-03 18:32:55

阅读数 281

评论数 0

转载 ctc decoder

本文主要对CTC 原理及实现中的代码进行解释。 1.np.random.seed(1111) 请参见本专栏文章numpy中random.seed()的妙用 2.softmax的实现 代码是这样的: def softmax(logits): max_value = np.max(...

2019-04-01 21:12:09

阅读数 646

评论数 0

转载 GMM详解

本文就高斯混合模型(GMM,Gaussian Mixture Model)参数如何确立这个问题,详细讲解期望最大化(EM,Expectation Maximization)算法的实施过程。 单高斯分布模型GSM 多维变量X服从高斯分布时,它的概率密度函数PDF为: x是维度为d的列向量,...

2019-03-20 20:52:24

阅读数 1472

评论数 0

转载 GMM-HMM 详解

本文简明讲述GMM-HMM在语音识别上的原理,建模和测试过程。这篇blog只回答三个问题: 1.什么是Hidden Markov Model? HMM要解决的三个问题: 1) Likelihood 2) Decoding 3) Training 2. GMM是神马?怎样用GMM求某一音...

2019-03-20 20:50:53

阅读数 1850

评论数 0

原创 语音识别一(预处理)

好久没写自己的原创博客,受到群里的小伙伴的要求,最近写一个手推版本的MFCC FBANK 提取的详细过程,见下:

2019-03-19 15:35:32

阅读数 911

评论数 8

转载 linux 基本操作

1.nohup 用途:不挂断地运行命令。 语法:nohup Command [ Arg … ] [ & ]   无论是否将 nohup 命令的输出重定向到终端,输出都将附加到当前目录的 nohup.out 文件中。   如果当前目录的 nohup.out 文件不可写,输出重...

2019-02-25 19:53:23

阅读数 50

评论数 0

转载 keras基础学习-二

1. 目标函数Objectives 目标函数,或称损失函数,是编译一个模型必须的两个参数之一 可以通过传递预定义目标函数名字指定目标函数,也可以传递一个Theano/TensroFlow的符号函数作为目标函数,该函数对每个数据点应该只返回一个标量值,并以下列两个参数为参数: y_true:真实的数...

2019-02-25 13:58:45

阅读数 179

评论数 0

转载 Densenet综述

Densely Connected Convolutional Networks ,作者清华姚班的刘壮,获得cvpr 2017 best paper。非常值得阅读。 DenseNet优势: (1)解决了深层网络的梯度消失问题 (2)加强了特征的传播 (3)鼓励特征重用 (4)减少了模型参数 ...

2019-02-20 09:39:15

阅读数 169

评论数 2

原创 transformer优秀文章

[1] https://blog.csdn.net/pipisorry/article/details/84946653 [2] https://blog.csdn.net/Zhangbei_/article/details/85036948 [3] https://jalammar.gith...

2019-02-14 16:30:57

阅读数 156

评论数 0

转载 transformer

Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》,提出解决sequence to sequence问题的transformer模型,用全attention的结构代替了lstm,抛弃了之前传统的encoder-decoder模型必须结合c...

2019-02-14 16:21:34

阅读数 1154

评论数 4

转载 python中计算BLEU分数

BLEU,全称为Bilingual Evaluation Understudy(双语评估替换),是一个比较候选文本翻译与其他一个或多个参考翻译的评价分数。 尽管BLEU一开始是为翻译工作而开发,但它也可以被用于评估文本的质量,这种文本是为一套自然语言处理任务而生成的。 通过本教程,你将探索BL...

2019-02-13 15:20:48

阅读数 1345

评论数 2

转载 pytorch激活函数

pytorch中实现了大部分激活函数,你也可以自定义激活函数,激活函数的实现在torch.nn.functional中,每个激活函数都对应激活模块类,但最终还是调用torch.nn.functional,看了定义,你也能自定义激活函数,我们从最早的激活函数来看 sigmoid def sig...

2019-02-11 14:55:19

阅读数 1085

评论数 0

原创 pytorch回归问题

  最近由于学习的需要,对深度学习著名的工具Pytorch进行学习,首先是对于Pytorch基本工具的熟悉。直接上代码关于采用深度学习方法构建回归模型。 # -*- coding:utf-8 -*- # author:zhangwei import torch import matplotl...

2019-02-11 14:50:30

阅读数 670

评论数 0

转载 keras 高级激活函数

高级激活层Advanced Activation LeakyReLU层 keras.layers.advanced_activations.LeakyReLU(alpha=0.3) LeakyRelU是修正线性单元(Rectified Linear Unit,ReLU)的特殊版本,当不激...

2019-01-22 14:41:22

阅读数 765

评论数 0

转载 Attenion 综述三

近一两年,注意力模型(Attention Model)是深度学习领域最受瞩目的新星,用来处理与序列相关的数据,特别是2017年Google提出后,模型成效、复杂度又取得了更大的进展。以金融业为例,客户的行为代表一连串的序列,但要从串行化的客户历程数据去萃取信息是非常困难的,如果能够将self-at...

2019-01-21 10:17:53

阅读数 198

评论数 1

转载 Attention 二 创新篇

讲讲最近深度学习里面的后期之秀吧,Transformer(和变形金刚没有半毛钱关系) 话说自公元二零一三年,深度学习网络一枝独秀,自机器学习王国脱颖而出,带动了人工智能领域的发展。其中它最主要的两大家,卷积网络(CNN)和循环网络(RNN),因其独特的性质,分别在计算机视觉和自然语言处理领域...

2019-01-18 10:00:25

阅读数 130

评论数 0

转载 Attention 一综述

近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究,各式各样的attention被研究者们提出,如单个、多个、交互式等等。去年6月,google机器翻译团队在arXiv上的《Attention is all you need...

2019-01-10 15:13:19

阅读数 479

评论数 0

转载 keras 编写自己的Layer

1. Layer重写的基本思路? Keras层的骨架。只需要实现三个方法即可: build(input_shape): 这是你定义权重的地方。这个方法必须设self.built = True,可以通过调用super([Layer], self).build()完成。build,这个函数用来确立...

2019-01-09 16:56:19

阅读数 906

评论数 0

转载 Keras 自定义层

Keras提供众多常见的已编写好的层对象,例如常见的卷积层、池化层等,我们可以直接通过以下代码调用: # 调用一个Conv2D层 from keras import layers conv2D = keras.layers.convolutional.Conv2D(filters,\ kerne...

2019-01-09 15:23:37

阅读数 511

评论数 0

原创 深度学习应用总结

一、语音识别   以字为建模单元代码:https://github.com/zw76859420/ASR_WORD   二、图像识别    以安检危险品、Mnist等数据集,采用深度学习方法进行分类,其中涉及VGG resnet  densenet mobilenet 数据增强等技术,代码...

2018-11-25 13:35:55

阅读数 520

评论数 0

原创 Dropblock

昨天arXiv新上一篇被NIPS2018会议接收的论文《DropBlock: A regularization method for convolutional networks》,作者为来自谷歌大脑的研究人员,提出了一种专门针对卷积层正则化的方法,方法非常简单,有效改进了CNN的各种任务,非常值...

2018-11-07 10:10:00

阅读数 1451

评论数 0

原创 语音识别中特征提取MFCC、FBANK、语谱图特征提取

好久没写博客了,今天更新一下使用Python提取声学模型的特征,一共三种特征,分别是MFCC、FABNK以及语谱图特征,直接上Python代码。 # -*- coding:utf-8 -*- # author:zhangwei """ 该脚本用于提取语音特...

2018-11-06 09:43:13

阅读数 7252

评论数 13

转载 神经网络正则化方法

正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训...

2018-09-11 10:21:19

阅读数 1290

评论数 1

转载 Densenet

AI 科技评论按:CVPR 2017上,康奈尔大学博士后黄高博士(Gao Huang)、清华大学本科生刘壮(Zhuang Liu)、Facebook 人工智能研究院研究科学家 Laurens van der Maaten 及康奈尔大学计算机系教授 Kilian Q. Weinberger 所作论文...

2018-09-07 16:53:45

阅读数 288

评论数 0

转载 git相关操作

git提交本地分支到远程分支   git提交本地分支到远程分支   git 常用命令(含删除文件) Git常用操作命令收集: 1) 远程仓库相关命令 检出仓库:$ git clone git://github.com/jquery/jquery.git 查看远程仓库:$ git r...

2018-09-03 17:06:14

阅读数 78

评论数 0

原创 随机数种子理解

  计算机并不能产生真正的随机数,如果你不设种子,计算机会用系统时钟来作为种子,如果你要模拟什么的话,每次的随机数都是不一样的,这样就不方便你研究,如果你事先设置了种子,这样每次的随机数都是一样的,便于重现你的研究,也便于其他人检验你的分析结果。 ...

2018-09-01 16:27:27

阅读数 2036

评论数 0

转载 sklearn - train_test_split

用途 在机器学习中,该函数可按照用户设定的比例,随机将样本集合划分为训练集 和测试集,并返回划分好的训练集和测试集数据。 语法 X_train,X_test, y_train, y_test =cross_validation.train_test_split(X,y,test_size,...

2018-09-01 16:22:59

阅读数 89

评论数 0

转载 Attenion Lstm

参考文献,,mnist   :  https://blog.csdn.net/u010041824/article/details/78855435

2018-08-31 21:41:15

阅读数 165

评论数 0

原创 Windows下tensorflow、keras、opencv安装教程

  最近由于接了一个人脸识别项目,需要使用opencv,由于自己的linux系统正在跑程序,只能在自己的笔记本上测试实验,习惯了linux终端安装程序,使用windows有些不习惯了,为此,历经很多的bug,终于把问题搞定了。   安装tensorflow+keras比较简单,直接在anacon...

2018-08-29 16:44:59

阅读数 466

评论数 0

转载 ubuntu16.04下opencv安装

1.OpenCV下载  首先创建一个空的文件夹,进入文件夹执行如下命令,如我创建的文件夹是opencv-python cd opencv-python git clone https://github.com/opencv/opencv.git 1 2 也可以直接进入网址OpenCV_Do...

2018-08-28 14:35:50

阅读数 385

评论数 0

转载 Attention学习三

深度学习里的Attention model其实模拟的是人脑的注意力模型,举个例子来说,当我们观赏一幅画时,虽然我们可以看到整幅画的全貌,但是在我们深入仔细地观察时,其实眼睛聚焦的就只有很小的一块,这个时候人的大脑主要关注在这一小块图案上,也就是说这个时候人脑对整幅图的关注并不是均衡的,是有一定的权...

2018-08-27 14:26:49

阅读数 453

评论数 0

转载 CNN-Attention

Attention Mechanism可以帮助模型对输入的X每个部分赋予不同的权重,抽取出更加关键及重要的信息,使模型做出更加准确的判断,同时不会对模型的计算和存储带来更大的开销,这也是Attention Mechanism应用如此广泛的原因。  之前在做知识库问答和阅读理解问答的研究中都用到了a...

2018-08-27 11:11:19

阅读数 7274

评论数 2

提示
确定要删除当前文章?
取消 删除