雪糕遇上夏天-CSDN博客

原创 Bert在文本分类任务重如何进行 fine-tuning

文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎，诸如Bert等预训练语言模型在文本分类任务上也有这十分出色的表现。本文会对Bert进行文本分类的训练问题做个简单的介绍。

2022-07-11 16:24:27 524

PyTorch常用学习率调整策略1. torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=- 1, verbose=False)2.torch.optim.lr_scheduler.MultiplicativeLR(*optimizer*, *lr_lambda*, *last_epoch=- 1*, *verbose=False*)3. torch.optim.lr_scheduler.StepLR(optimizer, s

2021-12-29 17:29:26 1723

原创 XLNet

XLNet0. XLNet简介1. Permutation Language Modeling2. Two-Stream Self-Attention3. Transformer-XL0. XLNet简介2018年Bert横空出世，刷新了很多NLP任务的SOTA。之后人们开始研究对Bert的改进，本文介绍的XLNet就是比较成功的另一个模型。不同于Bert的AutoEncoder模式，XLNet用的是AutoRegressive模式。据说，XLNet在20个任务上比BERT做得更好，的确吸人眼球。Be

2021-12-08 17:36:20 235

原创机器学习（深度学习）常见面试题--基础知识篇

机器学习（深度学习）常见面试题--基础知识篇1. 模型评估AccuracyRecallPrecisionF1-scoreP-R曲线ROC曲线AUCP-R VS ROC2. 基础模型GBDT（梯度提升树）优点缺点XGBoost/GBDT及联系和区别LightGBM和XGBoost的区别单边梯度抽样算法（GOSS）直方图算法互斥特征捆绑算法基于最大深度的 Leaf-wise 的垂直生长算法类别特征最优分割特征并行和数据并行缓存优化LightGBM怎么调参针对更好的准确率处理过拟合逻辑回归损失函数推导3. 神经网

2021-12-07 14:52:29 512

原创 faise的安装使用

faise的安装使用1. Faiss简介2. Faiss安装3. Faiss Action1. Faiss简介Faiss是Facebook开源的一款用于大规模P维向量最近邻检索的工具。Faiss is a library for efficient similarity search and clustering of dense vectors. It contains algorithms that search in sets of vectors of any size, up to one

2021-11-25 16:11:02 1648

原创 TabNet-神经网络处理表格数据实战

我们知道神经网络在图片、信号等领域大放异彩。但在表格数据领域，基本还是树模型的主场。今天我们介绍下TabNet的使用方式，这是一个能够很好的处理tabular数据的神经网络模型。下面我们介绍下TabNet的使用。1. 安装根据官方介绍，安装tabnet之前需要Tensorflow 2.0+版本和Tensorflow-dataset（非必须）。确保Tensorflow 2.0+正确安装之后，就可以安装TabNet了。pip install tabnet[cpu]pip install tabnet[

2021-09-23 11:22:02 4196 4

原创 XGBoost中特征重要性计算方法对比

XGBoost作为比赛大杀器，内置了几种重要性函数，今天我们就在这篇文章中梳理三种常见的特征重要性计算方法，并思考他们的使用场景。xgboost.plot_importance(booster, ax=None, height=0.2, xlim=None, ylim=None, title='Feature importance', xlabel='F score', ylabel='Features', fmap='', importance_type='weight', max_num_feat

2021-09-03 18:10:06 1598

原创 This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in order

最近在尝试用transformers做英汉翻译，用的是opus-mt-en-zh。本来代码已经写好了，但是在另一台代脑上run的时候出现了如下错误：ValueError: This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in order to use this tokenizer.遇到这个问题，很明显要检查 sentencepiece 是不是已经安装了，开始我以为安装

2021-08-28 22:29:04 25630

原创 tf2.0先试试图片（七）——CNN卷积神经网络

之前已经介绍了TenforFlow的基本操作和神经网络，主要是全联接网络的一些概念：tf2.0学习（七）——卷积神经网络7.0 简介7.1 全连接网络的问题7.1.1 局部相关性7.1.2 权值共享7.1.3 卷积运算7.2 卷积神经网络7.2.1 单通道输入和单卷积核7.2.2 多通道输入和单卷积核7.2.3 多通道输入和多卷积核7.2.4 步长7.2.5 填充7.3 卷基层实现7.3.1 自定义权值7.3.2 卷积层类7.4 LeNet-5 实战7.5 表示学习7.6 梯度传播7.7 池化层7.8 B

2021-08-11 22:38:54 266

原创 transformers中的bert用法

transformers中的bert用法1. Bert模型下载2. 在transformers中使用1. Bert模型下载这里直接使用huggingface提供的pre-trained的bert模型，直接去官网即可搜索想要的模型并下载：https://huggingface.co/models这里以bert-base-chinese为例。首先将其下载到本地git lfs installgit clone https://huggingface.co/bert-base-chinese注意此时下

2021-07-24 16:43:59 2383

原创 tf2.0学习（六）——过拟合

前边介绍了TensorFlow的基本操作和Keras的高层接口：tf2.0学习（一）——基础知识tf2.0学习（二）——进阶知识tf2.0学习（三）——神经网络tf2.0学习（四）——反向传播算法tf2.0学习（五）——Keras高层接口下面我们接好一下在训练过程中经常要面对的一个问题，过拟合，以及在TensorFlow这个框架中如何更好的处理这个问题。tf2.0学习（六）——过拟合6.0 简介6.1 模型的容量6.2 过拟合与欠拟合6.2.1 欠拟合6.2.2 过拟合6.3 数据集划分6.3

2021-06-11 16:59:26 160

原创 tf2.0真正有用的——Keras高层接口

前边介绍了TensorFlow的基本操作：tf2.0学习（一）——基础知识tf2.0学习（二）——进阶知识tf2.0学习（三）——神经网络tf2.0学习（四）——反向传播算法下面介绍一个高度模块化、易扩展的高层接口Keras。tf2.0学习（五）——Keras高层接口5.0 简介5.1 常见功能模块5.1.1 常见网络层5.1.2 网络容器5.2 模型装配、训练与测试5.2.1 模型装配5.2.2 模型训练5.2.3 模型测试5.3 模型的保存与加载5.3.1 张量方式5.3.2 网络方式5.3

2021-06-06 17:41:50 298

原创 tf2.0学习（十一）——强化学习

前边介绍了TensorFlow的基本操作和神经网络的很多知识：tf2.0学习（一）——基础知识tf2.0学习（二）——进阶知识tf2.0学习（三）——神经网络tf2.0学习（四）——反向传播算法下面介绍一下强化学习强化学习是机器学习领域，除有监督学习、无监督学习之外的另一个分支，它主要用智能体与环境的交互，来实现获得良好结果的策略。与有监督学习不同，强化学习并没有明确的标注信息，只有来自环境的反馈的奖励信息，通常具有一定的滞后性。本章主要介绍DQN算法和PPO算法。11.1 先睹为快本节先通

2021-06-03 10:40:29 284 1

原创 tf2.0应负面试官——反向传播

我们接着之前的内容之前的文章分别介绍了TensorFlow中张量的一些基本知识：tf2.0学习（四）——反向传播4.1 导数与梯度4.2 导数的常见性质4.2.1 基本函数的导数4.2.2 常用导数的性质4.3 激活函数的导数4.3.1 Sigmoid函数导数4.3.2 ReLU函数导数4.3.3 LeakyReLU 函数导数4.3.4 Tanh函数导数4.4 损失函数的梯度4.4.1 均方误差函数梯度4.4.2 交叉熵函数梯度4.5 全连接层梯度4.5.1 单神经网络梯度4.5.2 全连接层梯度4.6

2021-05-25 11:26:40 195

原创 tf2.0这次入门啦（三）——神经网络

之前的文章分别介绍了TensorFlow中张量的一些基本知识：tf2.0学习（三）——神经网络3.1 全连接层3.1.1 张量方式实现3.1.2 层的方式实现3.2 神经网络3.2.1 张量的方式3.2.2 层的方式3.3.3 优化目标3.4 激活函数3.4.1 Sigmoid3.4.2 ReLU3.4.3 LeakyReLU3.4.4 Tanh3.5 输出层设计3.6 误差计算3.6.1 均方误差3.6.2 交叉熵3.7 神经网络的类型3.7.1 卷积神经网络（CNN）3.7.2 循环神经网络（RNN）

2021-05-11 15:27:26 329

原创常见Optimizer

深度学习中的常用框架，无论是PyTorch还是TensorFlow，都封装了很多优化器。那么各优化器之间有什么优点和缺点呢。下面我们就回顾一下主流的优化算法。1. 前言当前大部分的优化算法，其本质都是梯度下降（Gradient Descent），只是不同的算法，对梯度下降进行了不同的优化。那么什么是梯度呢，梯度就是一个函数对其参数求一介偏导数。梯度的特性就是，函数在该点处沿着梯度的方向变化最快。因此梯度下降算法被用于求无约束凸函数的最小值。假设目标函数J(θ)J(\theta)J(θ)，梯度下降算法流

2021-05-10 17:35:46 232

weixin_40935425的博客

原创 PyTorch如何打印模型详细信息