自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(21)
  • 收藏
  • 关注

原创 pytorch迁移学习,模型加载保存,参数量计算一揽子使用技巧

查看模型参数for name, param in mpdel.named_parameters(): if param.requires_grad: print(name, ':', param.size())计算模型参数量total = sum([param.nelement() for param in model.parameters()])print("Number of parameter: %.2fM" % (total/1e6))迁移学习https://

2020-11-20 17:33:13

原创 RNN, LSTM, GRU模型结构详解(看这一篇就够了)

RNN和LSTM讲解超详细的文章https://zhuanlan.zhihu.com/p/32085405GRU超详解文章https://zhuanlan.zhihu.com/p/32481747

2020-11-14 10:58:50 32

原创 Teacher Forcing机制及Beam search详解

RNN在训练过程中的问题训练迭代过程早期的RNN预测能力非常弱,几乎不能给出好的生成结果。如果某一个unit产生了垃圾结果,必然会影响后面一片unit的学习。teacher forcing最初的motivation就是解决这个问题的。RNN的两种训练模式free-running modeteacher-forcing modefree-running mode就是常见的那种训练网络的方式: 上一个state的输出作为下一个state的输入。而Teacher Forcing是一种快速有效地训练循

2020-11-03 21:36:56 42

原创 pack_padded_sequence和pad_packed_sequence详解

先提供一个官网解读https://pytorch.org/docs/1.0.1/nn.html#torch.nn.utils.rnn.pack_padded_sequence在使用深度学习特别是LSTM进行文本分析时,经常会遇到文本长度不一样的情况,此时就需要对同一个batch中的不同文本使用padding的方式进行文本长度对齐,方便将训练数据输入到LSTM模型进行训练,同时为了保证模型训练的精度,应该同时告诉LSTM相关padding的情况,此时,pytorch中的pack_padded_seque

2020-10-24 21:01:56 16

原创 【论文学习】BiLSTM-CRF模型及pytorch代码详解

Bidirectional LSTM-CRF Models for Sequence Tagging用于序列标注的双向LSTM-CRF模型序列标注问题输入为特征序列,输出为类别序列。大部分情况下,标签体系越复杂准确度也越高,但相应的训练时间也会增加。因此需要根据实际情况选择合适的标签体系。命名实体识别发展历程BiLSTM-CRF历史意义• 拉开命名实体识别深度学习时代的序幕• 使模型更加简洁高效,鲁棒性强模型结构句中转化为字词向量序列,字词向量可以在事先训练好或随机初始化,在模型训

2020-10-19 18:57:17 66

原创 音频基础及处理

采用率16000Hz 表示1s中在连续信号中采集16000次,每一次叫做一个采样点。采样位宽(位数)16bit 表示每一个采样点采集2个bit的数据,也就是2个字节。音频数据大小计算采样率为16k,采用位宽为16bit,单声道,在1分钟中采集数据的大小为多少?16000260/1024/1024~=1.83MBpython处理wav音频文件:音频信息,读取内容,获取时长with wave.open(wav_path, "rb") as f: f = wave.open(wav_pa

2020-10-15 15:34:06 11

原创 NLP的基础任务及常见应用

NLP的两大核心任务:NLP = NLU + NLGNLU(自然语言理解):NLG(自然语言生成):NLP的基础任务:分词(前向最大匹配算法,后向最大匹配算法)词性标注(POS,也叫序列标注sequence labeling,每个单词单独做分类,算法:HMM,CRF)命名实体识别(NER)句法分析(syntatic analysis,主谓宾)语义分析(semantic analysis,如何理解一个单词和文本的意思)NLP常见的应用:写作助手(拼写纠错,语言模型)文本分类(

2020-10-13 17:53:10 22

原创 【论文学习】FastText总结

《 Bag of Tricks for Efficient Text Classification》Fasttext: 对于高效率文本分类的一揽子技巧论文背景:文本分类是自然语言处理的重要任务,可以用于信息检索、网页搜索、文档分类等。基于深度学习的方法可以达到非常好的效果,但是速度很慢,限制了文本分类的应用。基于机器学习的线性分类器效果也很好,有用于大规模分类任务的潜力。从现在词向量学习中得到的灵感,我们提出了一种新的文本分类方法Fasttext,这种方法能够快速的训练和测试并且达到和最优结

2020-10-10 10:12:48 52

原创 论文3:TextCNN总结

《Convolutional Neural Networks for Sentence Classification》基于卷积神经网络的句子分类作者:Yoon Kim(第一作者)单位:New York University会议:EMNLP2014论文代码实现:https://github.com/lyj157175/NLP_paper_reproductionTextCNN结构TextCNN正则化DropoutL2正则结果分析超参分析Embedding方式卷积核大小卷

2020-09-21 17:48:39 15

原创 pytorch之nn.Conv1d和nn.Conv2d超详解

Conv1d一般用于文本nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)参数解读:in_channels: 输入通道。在文本分类中,即为词向量的维度out_channels: 卷积产生的通道。有多少个out_channels,就需要多少个1维卷积kernel_size:卷积核的尺寸(k, in_channels)stride: 卷积步

2020-09-21 15:02:51 317

原创 论文2:Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation

Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation从字符中生成嵌入:用于开放词表示的组合字符模型论文复现代码:https://github.com/lyj157175/NLP_paper_reproduction背景介绍词向量的两个问题无法进行词推理OOV(不在词标的词无法表示)摘要C2W模型两种训练任务...

2020-09-20 17:57:16 42

原创 conda和pip如何切换为清华镜像源

换源后那下载速度可以说是飞起来了,大家快换起来哦!conda切换为清华镜像源提供一个清华官网的教程https://mirror.tuna.tsinghua.edu.cn/help/anaconda/各系统都可以通过修改用户目录下的 .condarc 文件。Windows 用户无法直接创建名为 .condarc 的文件,可先执行conda config --set show_channel_urls yes生成该文件之后再修改。去自己电脑C:\Users\lyj15找到该文件进行修改。将文件内容改

2020-09-17 12:05:09 372

原创 论文系列1:《Efficient Estimation of Word Representations in Vector Space》

《Efficient Estimation of Word Representations in Vector Space》基于向量空间中词表示的有效估计作者:Tomas Mikolov单位:Google语言模型计算一个句子是句子概率有一些词或者词组在语料中没有出现过,但是这不能代表它不可能存在。Laplace Smoothing也称为加1平滑:每个词在原来出现次数的基础上加1。问题:参数空间过大数据稀疏严重引入马尔科夫假设????????=????(????1,????2,

2020-09-16 23:15:31 32

原创 pytorch与torchvision的更新,卸载和秒安装(看这一篇就够了)

pytorch和torchvision都是一起出现的,所以需要保证两者版本对应即可。更新更新其实就是将老版本进行卸载,再安装所需版本即可,其实卸载和安装都非常方便卸载直接使用下面命令对两者进行删除即可,也可以使用conda操作,这里不介绍pip uninstall torchpip uninstall torchvision安装安装pytorch前必须保证安装了cuda,这里推荐一个cuda的安装方法https://www.cnblogs.com/arxive/p/11198420.ht

2020-09-15 18:13:28 500

原创 Transformer原理及代码实现解读

layer normalization层太多会偏移,进行归一化

2020-08-30 13:12:18 218

原创 NLP系列项目三:Seq2Seq+Attention完成机器翻译

本项目尽可能复现Luong的attention模型,数据集非常小,只有一万多个句子的训练数据,所以训练出来的模型效果并不好,但基本实现了功能。如果想训练一个好一点的模型,可以参考下面的资料。课件cs224d论文Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine TranslationEffective Approaches to Attention-based Neural Mac

2020-08-30 09:58:07 268

原创 rnn, lstm, gru三种神经网络数据格式详解

先上一张图来直观理解一下。RNN,LSTM,GRU三种神经网络的输入都是[dbw

2020-08-25 09:27:22 236

原创 NLP系列项目二:RNN训练语言模型(pytorch完整代码)

训练语言模型用RNN,LSTM,GRU来训练一个语言模型,用于预测单词的下一个词torchtext基本用法构建 vocabularyword to index 和 index to wordtorch.nn的一些基本模型LinearRNNLSTMGRURNN的训练技巧Gradient Clipping保存和读取模型torchtext介绍和使用教程import torchimport torch.nn as nnimport torchtextfrom tor

2020-08-15 18:12:07 207

原创 NLP系列项目一:skip-gram方法训练词向量(pytorch完整代码)

skip-gram方法训练词向量(pytorch完整代码)欢迎移步小弟GitHub查看完整代码和训练使用的数据集https://github.com/lyj157175/My_NLP_projects尝试复现论文Distributed Representations of Words and Phrases and their Compositionality中训练词向量的方法. 实现Skip-gram模型,并且使用论文中noice contrastive sampling的目标函数。这篇论文有很多模

2020-08-14 18:14:01 235

原创 六大排序算法的javascript实现

排序算法一共八种,分别为冒泡,选择,插入,希尔,归并,快排,堆排序,基数排,这里我只总结六大常见排序并用js来进行实现。至于每种排序算法的原理细节,读者可以参考其他人专门的博客进行学习,还有堆排序和基数排序不是很常用,读者也可以自行学习。1.冒泡排序function bubleSort(arr){ for(var i=arr.length-1;i>=0;i--){ ...

2019-09-01 12:17:34 55

原创 js中原型和原型链全解析

一. 普通对象与函数对象JavaScript 中,万物皆对象!但对象也是有区别的。分为普通对象和函数对象,Obje斜体样式ct 、Function 是 JS 自带的函数对象。var o1 = {}; var o2 =new Object();var o3 = new f1();function f1(){}; var f2 = function(){};var f3 = new F...

2019-08-28 21:59:40 49

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除