![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 62
J_Xiong0117
一枚终生学习的算法工程师
展开
-
实体对齐(二):BERT-INT
基于 BERT 嵌入的知识图对齐方法原创 2022-11-08 16:50:09 · 2028 阅读 · 0 评论 -
动手学深度学习PyTorch(六):卷积神经网络
卷积神经网络原创 2022-07-20 18:59:16 · 1393 阅读 · 0 评论 -
动手学深度学习PyTorch(五):深度学习计算
pytorch深度学习计算原创 2022-07-19 17:08:53 · 531 阅读 · 0 评论 -
动手学深度学习PyTorch(四):多层感知机
多层感知机pytorch代码原创 2022-07-15 13:56:07 · 283 阅读 · 0 评论 -
动手学深度学习PyTorch(三):softmax回归
softmax回归实现原创 2022-06-15 11:26:46 · 183 阅读 · 0 评论 -
动手学深度学习PyTorch(二):线性回归
线性回归实现代码原创 2022-06-14 18:40:20 · 137 阅读 · 0 评论 -
动手学深度学习PyTorch(一):数据操作
在深度学习中,我们通常会频繁地对数据进行操作。作为动手学深度学习的基础,本节将介绍如何对内存中的数据进行操作。原创 2022-06-14 15:43:23 · 1221 阅读 · 0 评论 -
深度学习框架拾遗:【Pytorch(四)】——Pytorch文本数据建模流程
Step 1.数据准备这里会用到torchtext包,常见API如下:torchtext.data.Example : 用来表示一个样本,数据和标签torchtext.vocab.Vocab: 词汇表,可以导入一些预训练词向量torchtext.data.Datasets: 数据集类,__getitem__返回 Example实例, torchtext.data.TabularDataset是其子类。torchtext.data.Field : 用来定义字段的处理方法(文本字段,标签字段)创建原创 2022-03-08 13:47:41 · 2286 阅读 · 0 评论 -
深度学习框架拾遗:【Pytorch(三)】——Pytorch结构化数据建模流程
import osimport datetimeimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport torch from torch import nnfrom torch.utils.data import Dataset,DataLoader,TensorDataset## 打印时间def printbar(): nowtime = datetime.datetime.now()原创 2022-03-07 13:59:46 · 1246 阅读 · 0 评论 -
深度学习框架拾遗:【Pytorch(二)】——Pytorch的层次结构
Pytorch的层次结构从低到高可以分成如下五层。【硬件层】:Pytorch支持CPU、GPU加入计算资源池。【内核层】:C++实现的内核。【低阶API】:为Python实现的操作符,提供了封装C++内核的低级API指令,主要包括:• 张量结构操作:张量创建,索引切片,维度变换,合并分割• 张量数学运算:标量运算,向量运算,矩阵运算,广播机制• 动态计算图:Funciton,反向传播【中阶API】:为Python实现的模型组件,对低级API进行了函数封装,主要包括:• 模型层• 损原创 2022-03-04 13:35:10 · 484 阅读 · 0 评论 -
深度学习框架拾遗:【Pytorch(一)】——Pytorch的核心概念
Pytorch是一个基于Python的机器学习库。它广泛应用于计算机视觉,自然语言处理等深度学习领域。是目前和TensorFlow分庭抗礼的深度学习框架,在学术圈颇受欢迎。它主要提供了以下两种核心功能:1.支持GPU加速的张量计算。2.方便优化模型的自动微分机制。Pytorch的主要优点:• 简洁易懂:Pytorch的API设计的相当简洁一致。基本上就是tensor, autograd, nn三级封装。学习起来非常容易。有一个这样的段子,说TensorFlow的设计哲学是 Make it com.原创 2022-03-04 13:32:14 · 724 阅读 · 0 评论 -
Docker技术随记(八):Docker深度学习工作环境搭建
nlp-pytorch环境docker run --gpus all --cpus 16 --memory 500gb -d -p 0.0.0.0:6009:6006 -p 9529:8888 -p 1257:22 -v /data/nlp/jx:/root/jx -v /etc/localtime:/etc/localtime --name jx_ngc -e ROOT_PASS="yl123456" -e NOTEBOOK_PASS="yl123456" -e NOTEBOOK_USER="jx" r原创 2022-03-04 10:35:32 · 713 阅读 · 0 评论 -
知识图谱:【知识图谱问答KBQA(六)】——P-tuning V2训练代码解析
文章目录一.arguments.pyDataTrainingArguments类ModelArguments类QuestionAnwseringArguments类get_args()函数二.run.pyStep 1. 获取所有参数Step 2. 根据任务名称选择导入对应的get_trainerStep 3. 将参数args传入get_trainer,得到trainer1)根据模型名称或路径加载tokenizer2)根据tokenizer和参数data_args、training_args加载数据集data原创 2022-02-18 11:00:30 · 2726 阅读 · 1 评论 -
知识图谱:【知识图谱问答KBQA(四)】——P-tuning V1
Abstract虽然具有传统微调的 GPT 未能在自然语言理解 (NLU) 上取得很好的结果,但我们证明采用可训练的连续提示嵌入 P-Tuning 的GPT 在 NLU 任务上可以优于或可与类似大小的BERT相媲美。在知识探测 (LAMA) 基准测试中,最好的 GPT 在测试期间无需提供任何额外文本即可恢复 64% (P@1) 的世界知识,这大大提高了之前的最佳水平 20+ 个百分点。在 SuperGlue 基准测试中,GPT 在监督学习中实现了与类似大小的 BERT 相当甚至更好的性能。重要的是,我们发原创 2022-02-09 15:57:44 · 1697 阅读 · 0 评论 -
NLP迁移学习——迁移学习的概念与方法
文章目录什么是迁移学习1.迁移学习的概念2.迁移学习的优点NLP中的词向量1.什么是词向量、词嵌入2.词嵌入与one-hot编码的区别3.如何进行词嵌入1)CBOW模型2)skip-gram模型NLP中的语言建模1)基于特征的迁移学习(ELMo)2)基于微调的迁移学习(ULM-Fit、OpenAI GPT、BERT)ULM-Fit模型OpenAI GPT模型BERT模型什么是迁移学习1.迁移学习的概念前百度首席科学家、斯坦福教授吴恩达在2016年的NIPS会议上讲到:未来,真正的人工智能会落在uns原创 2020-05-30 12:13:17 · 5191 阅读 · 0 评论 -
NLP——图解Transformer
文章目录结构图解过程图解1. Word embedding + Position encoding2. Encoder3. Decoder4. Final Linear + Softmax5. loss function结构图解为了更有层次的掌握Transformer结构,下面通过由高到低,由外到里的形式来一步步展开Transformer。 首先把Transformer看成一个翻译工具,一个黑匣子,它的结构如下图:输入原文(绿色) 通过Transformer得到输出译文(紫色)。打开Transfor原创 2020-05-30 09:28:37 · 521 阅读 · 0 评论 -
ASR-声学特征提取
文章目录方法一:MFCC特征提取step 1:A/D转换(采样)step 2:预加重step 3:加窗分帧step 4:DFT+取平方step 5:Mel滤波step 6:取对数step 7:IDFTstep 8:动态特征方法二:深度学习特征提取step 1:采样step 2:分帧step 3:傅里叶变换step 4:识别字符step 5:获取映射图方法一:MFCC特征提取step 1:A/...原创 2020-04-06 18:40:42 · 3088 阅读 · 0 评论 -
数据分析-特征工程入门实战
文章目录Step 1:导入函数工具箱Step 2:数据读取Step3:特征与标签构建Step 4:模型训练与预测Step 1:导入函数工具箱## 基础工具 import numpy as npimport pandas as pdimport warningsimport matplotlibimport matplotlib.pyplot as pltimport seaborn...原创 2020-04-06 17:46:24 · 297 阅读 · 0 评论 -
ASR-Listen,Attend and Spell(LAS)论文阅读笔记
Listen,Attend and Spell(LAS)论文阅读笔记发表时间:2015年8月5号paper链接:https://arxiv.org/pdf/1508.01211.pdf简介Listen,Attend and Spell(LAS)是一种学习将语音转换成字符的神经网络。与传统的dnn - hmm模型不同的是,LAS模型联合学习(jointly)语音识别器的所有组件。LAS系统有...原创 2020-02-23 22:47:39 · 3628 阅读 · 0 评论 -
ASR-MFCC特征的物理意义
文章目录一.MFCC简介二.MFCC特征提取过程三.MFCC的物理含义一.MFCC简介梅尔倒谱系数(Mel-scale Frequency Cepstral Coefficients,简称MFCC)是在Mel标度频率域提取出来的倒谱参数,Mel标度描述了人耳频率的非线性特性,它与频率的关系可用下式近似表示:式中f为频率,单位为Hz。下图展示了Mel频率与线性频率的关系:MFCC特征组成...原创 2020-01-12 22:08:01 · 3206 阅读 · 0 评论 -
计算机视觉-卷积神经网络CNN之LeNet
文章目录一. LeNet网络结构二. LeNet结构剖析1. 卷积块层2. 全连接层块三. 笔者个人理解一. LeNet网络结构二. LeNet结构剖析LeNet是卷积神经网络之父Yann Lecun在1998年提出,用于解决手写数字识别的视觉任务。LeNet是如今各大深度CNN模型的鼻祖。LeNet分为卷积层块和全连接层块两部分。1. 卷积块层基本单位包括卷积层和最大池化层。卷积层块...原创 2019-06-14 18:32:39 · 857 阅读 · 0 评论 -
计算机视觉-猫狗大战
文章目录dataset.pytrain.pypredict.pytrain.pypredict.py##一.猫狗大战#1.1 简介这是计算机视觉系列的第一篇博文,主要介绍用TensorFlow来实现猫狗分类、识别。该项目(GitHub地址:>https://github.com/jx1100370217/dog-cat-master)主要包括dataset.py、train.py、p...原创 2018-11-05 17:26:24 · 4348 阅读 · 9 评论 -
ASR-语音预处理(二):时域转频域
一.时域转频域二.代码:三.程序输出:一.时域转频域 这节主要介绍如何经过傅里叶变换将音频转到频域,以便于后续的特征提取和识别。先后进行加窗、分帧、FFT和取log操作。 输入:音频矩阵wavsignal ,帧率fs 例:[[1507 1374 1218 … -78 -127 -43]],16000 输出:转成频域后的音频矩阵data_i...原创 2018-09-07 15:38:17 · 2381 阅读 · 0 评论 -
ASR-语音预处理(三):可视化
一.可视化二.代码:三.程序输出:一.可视化 本节主要介绍如何将语音信号可视化,以及读取wav和label文件并保存为字典,列表。 输入:输入的wav文件所对应的数据矩阵wave_data和帧率framerate。 例:[[1507 1374 1218 … -78 -127 -43]] ,16000 输出:可视化图,如波形图,频谱图...原创 2018-09-10 11:03:18 · 1314 阅读 · 0 评论