- 博客(19)
- 收藏
- 关注
RSS订阅原创 pycharm连接远程服务器及pycorrector初解
一. 下载github仓库服务器cd ~mkdir code cd codegit clone https://github.com/shibing624/pycorrector.git本地在你的本地电脑适当位置下载仓库git clone https://github.com/shibing624/pycorrector.git二. 打开pycharm1. 用pycharm打开本地电脑中的仓库目录2. 配置远程连接Tools->Deployment->
2021-04-12 15:43:42
439
1
原创 Bert—SST-2
数据集:搜狗新闻 https://www.sogou.com/labs/resource/ca.php论文地址:https://arxiv.org/abs/1810.04805github(pytorch): https://github.com/huggingface/pytorch-transformersgithub(tensorflow): https://github.com/g...
2019-08-04 15:15:09
4501
1
原创 deepspeech 代码之解码
Decoder 在完成模型搭建之后先简单总结一下deepspeech所用的训练参数和模型选择Input 声学特征选择 归一化后的傅里叶变换 类似melDataLoader 选用BucketingSamplermodel conv1做特征提取 多重bn biGRU*5 FCoptimizer & loss momentum SGD & warpctc_loss &a...
2019-07-30 16:55:52
1140
原创 deepspeech2 代码之模型构建
模型构建模型整体框架如下图所示可以看到模型主要由以下几个部分构成：DeepSpeech modelMaskConvBatchRNNfcmodel = DeepSpeech(rnn_hidden_size=args.hidden_size, nb_layers=args.hidden_layers, ...
2019-07-29 12:19:56
2675
原创 deepspeech2 代码之特征提取
特征工程CONTEXT读取wav制作频谱矩阵Dataset类Dataloader类data_loader.pySpectrogramDatasetBucketingSampler & DistributeBucketingSamplerAudioDataLoader1. 读取wavimport librosaimport scipy.io.wavfile...
2019-07-24 15:05:49
1932
原创 deepspeech2 代码之数据处理
以Librispeech为例step 1 下载数据集下载地址: http://www.openslr.org/12/下载文件step 2 解压文件tar -zxvf *.tar.gz ./此处可以不解压 代码中可以边解压边读取边删除 但是为了效率 这里选择先解压step 3 定义参数class parser(): def __init__(self): ...
2019-07-22 16:54:07
1616
原创 DeepSpeech2 详解
论文题目: Deep Speech 2: End-to-End Speech Recognition in English and Mandarin论文地址: https://arxiv.org/pdf/1512.02595.pdftensorflow版本: https://github.com/mozilla/DeepSpeechpytorch版本: http://www.github....
2019-07-19 12:13:04
17264
7
原创 torch.nn.CTCLoss 与warpctc_pytoch.CTCLoss
1.torch.nn.CTCLossimport torchfrom torch.nn import CTCLosstorch.backends.cudnn.benchmark = TrueT = 50 # Input sequence lengthC = 20 # Number of classes (including blank)N = 16 # ...
2019-07-18 17:07:37
6084
原创 语音识别(二)—数据处理
本节目标2.1 wav和label文件对应2.2 wav经过特征提取转换成频谱图 每个batch_size的图维度一致2.3 label中所有文字建立vocab 并将label中文字转换为vocab中的index 即token_2_index2.4 建立Dataset子类，并按照batch_size建立dataloader2.1建立wav与label文件列表def source_g...
2019-07-15 17:09:12
1481
2
原创 语音识别(一)—特征提取
0.数据集选择1.THCHS30 清华数据集 中文 6.7G2.librispeech 30G1. 特征提取1.1 读取数据 wav & librosaimport scipy.io.wavfile as wavimport matplotlib.pyplot as pltimport osimport librosaimport librosa.displayimpo...
2019-07-15 16:18:52
3874
原创 5分钟读完 kaldi-pytorch 论文
THE PYTORCH-KALDI SPEECH RECOGNITION TOOLKIT1. 论文解读本文讲述了一个开源的 pytorch与kaldi结合的工具论文地址 https://arxiv.org/pdf/1811.07453v2.pdfgithub地址 https://github.com/mravanelli/pytorch-kaldi所提供的解决方案专为标准机器和HPC集群...
2019-07-11 16:36:49
1352
1
转载 kaldi study
Kaldikaldi语音识别流程1. 对数据进行预处理2. 对语音进行特征提取3. 声学模型4. 语言模型5. 解码功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图...
2019-07-11 16:00:36
263
原创 语音识别论文&前言
语音识别论文DFSMN alibaba 2018DATASET: Speech Recognition on LibriSpeech test-cleanRANKRANKRANKLAS + SpecAugment Google Brain 2019 WER 2.5github:SpecAugmentkaggle:Freesound Audio Tagging 2019rank1...
2019-07-11 13:39:48
1162
原创 pytorch构建模型trick总结
1.device = torch.device()开头设置设备，model.to(device) 不使用.cuda()2.Dropout & Batch Normalization & 激活函数顺序 Linear -> BN -> ReLU -> Dropout3.Initialization将所有超参写到最前面torch.manual_...
2019-06-24 10:18:37
887
原创 Pytorch项目之MNIST
pytorch day1 mnist1.数据加载import torchimport torchvisionimport torchvision.datasets as dsetimport torchvision.transforms as transformstransform = transforms.ToTensor()train_data = dset.MNIST(root...
2019-06-17 15:59:02
303
原创 知识图谱之信息抽取
1.数据类型1.1 结构化数据1.2 非结构化数据1.3 非结构文本数据实体关系三元组信息抽取任务包括如下基本任务实体识别1.1 命名实体识别文本中具有特定意义的实体 三大类（实体、时间、数字） 七小类（人名、地名、机构名、时间、日期、货币、百分比）1.2 实体抽取目标是在给定语料的情况下 构建一个实体列表 并不需要在每个句子中确定实体的边界实体消歧消除指定实体的歧义...
2019-06-16 20:49:08
2923
转载 搜索核心技术（一）TF-IDF
本栏全部引自洪亮劼的AI技术内参，做一些知识梳理和总结TF-IDF算法详解要理解 TF-IDF 算法，第一个步骤是理解 TF-IDF 的应用背景。TF-IDF 来源于一个最经典、也是最古老的信息检索模型即“向量空间模型”（Vector Space Model）。TF-IDF是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的...
2019-05-01 11:24:48
1004
翻译 自然语言处理概述(前沿、数据集、下游任务)
自然语言处理First at all 因为本人换系统 之前都在用oneNote，在ubuntu上部署不便，所以将一些常用的信息写成博客 本文主要引用Ruder大神的 NLP-proress 做了一下翻译和提取原文地址:传送门1.前沿技术 State of the Art 机器学习和自然语言处理（NLP）的研究近来发展如此之快，很难跟上。这对于该领域的人来说是一个问题，但对于想...
2019-04-26 12:39:20
8789
2
原创 Leetcode 144:二叉树的前序遍历
# Definition for a binary tree node.# class TreeNode(object):# def __init__(self, x):# self.val = x# self.left = None# self.right = Noneclass Solution(object): ...
2019-03-26 14:46:01
113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人