深度学习
文章平均质量分 79
雪糕遇上夏天
这个作者很懒,什么都没留下…
展开
-
PyTorch如何打印模型详细信息
如何打印模型原创 2022-08-30 16:22:10 · 1883 阅读 · 1 评论 -
Bert在文本分类任务重如何进行 fine-tuning
文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎,诸如Bert等预训练语言模型在文本分类任务上也有这十分出色的表现。本文会对Bert进行文本分类的训练问题做个简单的介绍。原创 2022-07-11 16:24:27 · 571 阅读 · 0 评论 -
PyTorch常用学习率调整策略
PyTorch常用学习率调整策略1. torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=- 1, verbose=False)2.torch.optim.lr_scheduler.MultiplicativeLR(*optimizer*, *lr_lambda*, *last_epoch=- 1*, *verbose=False*)3. torch.optim.lr_scheduler.StepLR(optimizer, s原创 2021-12-29 17:29:26 · 1823 阅读 · 0 评论 -
XLNet
XLNet0. XLNet简介1. Permutation Language Modeling2. Two-Stream Self-Attention3. Transformer-XL0. XLNet简介2018年Bert横空出世,刷新了很多NLP任务的SOTA。之后人们开始研究对Bert的改进,本文介绍的XLNet就是比较成功的另一个模型。不同于Bert的AutoEncoder模式,XLNet用的是AutoRegressive模式。据说,XLNet在20个任务上比BERT做得更好,的确吸人眼球。Be原创 2021-12-08 17:36:20 · 261 阅读 · 0 评论 -
TabNet-神经网络处理表格数据实战
我们知道神经网络在图片、信号等领域大放异彩。但在表格数据领域,基本还是树模型的主场。今天我们介绍下TabNet的使用方式,这是一个能够很好的处理tabular数据的神经网络模型。下面我们介绍下TabNet的使用。1. 安装根据官方介绍,安装tabnet之前需要Tensorflow 2.0+版本和Tensorflow-dataset(非必须)。确保Tensorflow 2.0+正确安装之后,就可以安装TabNet了。pip install tabnet[cpu]pip install tabnet[原创 2021-09-23 11:22:02 · 4869 阅读 · 4 评论 -
tf2.0真正有用的——Keras高层接口
前边介绍了TensorFlow的基本操作:tf2.0学习(一)——基础知识tf2.0学习(二)——进阶知识tf2.0学习(三)——神经网络tf2.0学习(四)——反向传播算法下面介绍一个高度模块化、易扩展的高层接口Keras。tf2.0学习(五)——Keras高层接口5.0 简介5.1 常见功能模块5.1.1 常见网络层5.1.2 网络容器5.2 模型装配、训练与测试5.2.1 模型装配5.2.2 模型训练5.2.3 模型测试5.3 模型的保存与加载5.3.1 张量方式5.3.2 网络方式5.3原创 2021-06-06 17:41:50 · 775 阅读 · 0 评论 -
tf2.0应负面试官——反向传播
我们接着之前的内容之前的文章分别介绍了TensorFlow中张量的一些基本知识:tf2.0学习(四)——反向传播4.1 导数与梯度4.2 导数的常见性质4.2.1 基本函数的导数4.2.2 常用导数的性质4.3 激活函数的导数4.3.1 Sigmoid函数导数4.3.2 ReLU函数导数4.3.3 LeakyReLU 函数导数4.3.4 Tanh函数导数4.4 损失函数的梯度4.4.1 均方误差函数梯度4.4.2 交叉熵函数梯度4.5 全连接层梯度4.5.1 单神经网络梯度4.5.2 全连接层梯度4.6原创 2021-05-25 11:26:40 · 232 阅读 · 0 评论 -
tf2.0这次入门啦(三)——神经网络
之前的文章分别介绍了TensorFlow中张量的一些基本知识:tf2.0学习(三)——神经网络3.1 全连接层3.1.1 张量方式实现3.1.2 层的方式实现3.2 神经网络3.2.1 张量的方式3.2.2 层的方式3.3.3 优化目标3.4 激活函数3.4.1 Sigmoid3.4.2 ReLU3.4.3 LeakyReLU3.4.4 Tanh3.5 输出层设计3.6 误差计算3.6.1 均方误差3.6.2 交叉熵3.7 神经网络的类型3.7.1 卷积神经网络(CNN)3.7.2 循环神经网络(RNN)原创 2021-05-11 15:27:26 · 387 阅读 · 0 评论 -
tf2.0这些也重要(二)——高级知识
前一篇文章介绍了TensorFlow的基础知识,主要是张量的基本操作,这篇文章主要介绍有些张量的进阶操作,譬如合并、分割、范数统计、填充、限幅等。2.1 合并与分割2.1.1 合并合并是指将多个张量,按照某一维度进行合并,称为一个张量。合并还分为拼接和堆叠两种操作。拼接在TensorFlow中用 tf.concat(tensor_list, axis) 实现。a = tf.random.normal([4, 32, 32, 3])b = tf.random.normal([3, 32, 32,原创 2021-04-06 14:42:58 · 752 阅读 · 0 评论 -
tf2.0这些更重要(一)——基础知识
类型通过tf.constant()可以创建3中数据类型,分别是数值、布尔、字符串# 标量tf.constant(2., dtype=tf.float16)# 向量tf.constant([2,3], dtype=tf.int16)# 张量 维度>2tf.constant([[[1,2], [3,4]], [[5,6], [7,8]]])数值精度TensorFlow支持一下几种数据类型,一般在数据定义的时候指定dtype来确定数据类型。tf.float16tf.float3原创 2021-04-01 17:11:19 · 716 阅读 · 0 评论 -
This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in order
最近在尝试用transformers做英汉翻译,用的是opus-mt-en-zh。本来代码已经写好了,但是在另一台代脑上run的时候出现了如下错误:ValueError: This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in order to use this tokenizer.遇到这个问题,很明显要检查 sentencepiece 是不是已经安装了,开始我以为安装原创 2021-08-28 22:29:04 · 26493 阅读 · 0 评论 -
tf2.0先试试图片(七)——CNN卷积神经网络
之前已经介绍了TenforFlow的基本操作和神经网络,主要是全联接网络的一些概念:tf2.0学习(七)——卷积神经网络7.0 简介7.1 全连接网络的问题7.1.1 局部相关性7.1.2 权值共享7.1.3 卷积运算7.2 卷积神经网络7.2.1 单通道输入和单卷积核7.2.2 多通道输入和单卷积核7.2.3 多通道输入和多卷积核7.2.4 步长7.2.5 填充7.3 卷基层实现7.3.1 自定义权值7.3.2 卷积层类7.4 LeNet-5 实战7.5 表示学习7.6 梯度传播7.7 池化层7.8 B原创 2021-08-11 22:38:54 · 456 阅读 · 0 评论 -
transformers中的bert用法
transformers中的bert用法1. Bert模型下载2. 在transformers中使用1. Bert模型下载这里直接使用huggingface提供的pre-trained的bert模型,直接去官网即可搜索想要的模型并下载:https://huggingface.co/models这里以bert-base-chinese为例。首先将其下载到本地git lfs installgit clone https://huggingface.co/bert-base-chinese注意此时下原创 2021-07-24 16:43:59 · 2532 阅读 · 0 评论