![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习&深度学习-笔记
翻滚牛犊
这个作者很懒,什么都没留下…
展开
-
Siamese Network简单复现
使用pytorch实现孪生模型原创 2022-07-14 19:57:22 · 552 阅读 · 0 评论 -
PyTorch转换ONNX,再转换TensorRT,实现模型加速
测试环境介绍ubuntu20.04显卡:Tesla 3090Driver Version: 460.91.03CUDA Version: 11.2关键代码pytorch转换ONNX部分:device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = BertForSequenceClassification.from_pretrained(out_dir) model.eval(原创 2021-12-20 15:54:39 · 1404 阅读 · 4 评论 -
基于脱敏数据,使用huggingface的Transformers预训练模型
背景:一些竞赛给的是脱敏数据,中文竞赛一般将汉字表示为一个整数,汉字间用空格分割,在这样的数据集上想要预训练一个自己的模型,可以参考这个文章。首先介绍本文参考的文章:1、别人做的该任务的总结2、官方tokenizer训练tokenizer注:这里我使用的是wordlevel的,和参考文档中wordpiece的不同,因为我认为脱敏得到的数字前缀没有意义。import pandas as pdfrom tokenizers import decoders, models, normalizers原创 2021-09-29 19:14:22 · 1388 阅读 · 3 评论 -
Word2Vec构造词向量实战
使用gensim包的Word2Vec构造中文词向量,并且计算词的相似度。注:本文使用的语料是随便拷贝的几段中文语句,一段语料一行。1、处理中文语料,使用结巴分词,构造列表import jiebaimport codecsINPUT_RAW = r"F:\BaiduNetdiskDownload\kkb NLP\语料.txt"OUTPUT_FENCI = r"F:\BaiduNetdiskDownload\kkb NLP\语料-分词.txt"fin = codecs.open(INPUT_RA原创 2020-08-26 17:52:52 · 547 阅读 · 0 评论 -
Transformer代码详解与项目实战之Masking
在此模型中Masking有两种,分别是Padding Masking和Look-ahead Masking。Padding Masking:遮挡一批序列中所有的填充标记(pad tokens)。这确保了模型不会将填充作为输入。此模型使用0作为填充数据,mask的值表明填充值 0 出现的位置:在这些位置 mask 输出 1,否则输出 0。Look-ahead Masking:前瞻遮挡(look-...原创 2020-04-15 19:26:44 · 1362 阅读 · 0 评论 -
Transformer代码详解与项目实战之Layer Normalization
在Transformer模型中,使用到了Layer Normalization思想,来源于论文#论文来源#为了方便介绍其原理,此处对Batch Normalization 和 Layer Normalization进行对比。两个算法都使用均值和标准方差对数据进行标准化处理!对矩阵中每一个元素减去均值,然后除以标准差。 差别在于:均值和标准差的计算方法不同!Batch Normalizati...原创 2020-04-15 19:02:40 · 1830 阅读 · 0 评论 -
Transformer代码详解与项目实战之Position Encoding
因为Transformer模型并不包括任何的循环(recurrence)或卷积,所以给模型添加位置编码,为模型提供一些关于单词在句子中相对位置的信息。位置信息实现方式有两种:1、在模型中训练得到;2、直接使用公式计算。论文中使用的第二种方式,此处对第二种方式进行解析。如图所示:pos代表单词在句子中的位置,i代表单词向量中每一个数值的位置。一般,句子长度使用seq_len表示,词向量长度使用...原创 2020-04-15 18:48:16 · 1484 阅读 · 0 评论 -
TensorFlow2 模型建立与训练
首先,强力推荐大神关于Tensoflow2的介绍文档!文档链接模型的构建: tf.keras.Model 和 tf.keras.layers模型的损失函数: tf.keras.losses模型的优化器: tf.keras.optimizer模型的评估: tf.keras.metrics任务介绍:自定义模型完成 MNIST 手写体数字图片数据集的分类任务!代码如下:import ten...原创 2020-03-30 17:33:12 · 1018 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第七讲-DNN训练技巧
视频地址:哔哩哔哩-李宏毅深度学习原创 2020-03-22 16:50:56 · 195 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-笔记-第二练习-二分类
题目:根据数据集训练二分类模型。#1、通过数据路径读取数据X_train、Y_train、X_testimport numpy as npnp.random.seed(0)X_train_fpath = 'E:/BaiduNetdiskDownload/course_LeeML20-datasets/course_LeeML20-datasets/hw2/data/X_train'Y_...原创 2020-03-21 00:37:16 · 460 阅读 · 2 评论 -
李宏毅-机器学习&深度学习-第七讲-反向传播
本课介绍了深度学习模型中,使用梯度下降更新参数时候使用的反向传播,介绍其原理和推导方式。原创 2020-03-11 17:31:01 · 164 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第六讲-深度学习介绍
哔哩哔哩视频地址:https://www.bilibili.com/video/av94411666?p=10李宏毅深度学习–第六讲–深度学习介绍原创 2020-03-10 22:19:56 · 205 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第五讲-逻辑回归
原创 2020-03-09 09:19:43 · 181 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第四讲-分类
原创 2020-03-08 00:36:58 · 147 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第三讲-模型质量评估
原创 2020-03-07 11:56:15 · 217 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-笔记-第一练习-线性回归
import numpy as npimport matplotlib.pyplot as pltfrom tqdm import tqdm_notebookx_data = [338.,333.,328.,207.,226.,25.,170.,60.,208.,606.]y_data = [640.,633.,619.,393.,428.,27.,193.,66.,226.,1591...原创 2020-03-05 21:41:01 · 227 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第二讲-梯度下降
原创 2020-03-05 10:46:34 · 174 阅读 · 0 评论 -
李宏毅-机器学习&深度学习-第一讲-线性回归
原创 2020-03-04 16:15:41 · 160 阅读 · 0 评论