DL深度学习
文章平均质量分 74
深度学习 Deep Learning
AI工程化
简单、清晰、实用
展开
-
Hugging Face - 纯新手创建 Space、项目
关于本指南Hugging Face Transformers 是什么?库是什么?Hugging Face Hub 是什么?Hugging Face Spaces 是什么?Notebook 是什么?1、创建一个 Hugging Face 账号2、添加账单信息为什么需要信用卡信息?3、创建一个 Space 以托管你的 notebook4、配置 SpaceDocker 模板是什么?为什么我需要选择 Space 硬件选为 GPU?5、登录 JupyterLab6、创建一个新 notebo原创 2024-05-11 13:52:25 · 1476 阅读 · 0 评论 -
oxford-iiit-pet 数据集
主要分为 images 和 annotations 文件。大写字母开头的是猫;小写字母开头的是狗。将零散的数据,根据名字放到不同文件夹。文件,然后下载完整文件。原创 2024-05-07 11:05:39 · 473 阅读 · 0 评论 -
transformers - 阅读理解
【代码】transformers - 阅读理解。原创 2024-05-09 03:15:00 · 322 阅读 · 0 评论 -
PyTorch - 天气图片
2023-03-21(二)原创 2024-05-07 10:57:30 · 323 阅读 · 0 评论 -
NLP - AI 写诗
由于模型较大,up主上传时使用了分卷压缩,这里我们先合并解压。然后根据需要,一步步添加下方的方法。原创 2024-05-08 11:30:00 · 210 阅读 · 0 评论 -
NLP - 长求总
【代码】NLP - 长求总。原创 2024-05-08 09:15:00 · 240 阅读 · 0 评论 -
NLP transformers - token 分类
加载 WNUT 17 数据集预处理EvaluateTrain推理原创 2024-04-29 14:17:35 · 1177 阅读 · 0 评论 -
NLP transformers - 文本分类
本文翻译自:Text classificationnotebook :文本分类是一种常见的 NLP 任务,它为文本分配标签或类别。一些大公司在生产中运行文本分类,以实现广泛的实际应用。最流行的文本分类形式之一是 情感分析,它为文本序列分配 🙂 积极、🙁 消极或 😐 中性等标签。我们鼓励您登录 Hugging Face 帐户,以便您可以上传模型并与社区分享。原创 2024-04-28 21:37:27 · 1139 阅读 · 1 评论 -
Amazon SageMaker Studio Lab
Amazon SageMaker Studio Lab 是一个免费的机器学习(ML)开发环境,它免费提供计算、存储(高达 15GB)和安全性,供任何人学习和试验 ML。SageMaker Studio Lab 通过 GitHub 集成加速模型构建,它预配置了最流行的 ML 工具、框架和库,可让您立即开始使用。SageMaker Studio Lab 会自动保存您的工作,因此您无需在会话之间重新启动。您只需一个有效的电子邮件地址即可开始使用,无需配置基础设施或管理身份和访问权限,甚至无需注册 AWS 账户。原创 2024-05-03 11:15:00 · 566 阅读 · 0 评论 -
transformers - 预测中间词
【代码】transformers - 预测中间词。原创 2024-04-24 15:27:27 · 286 阅读 · 0 评论 -
NLP transformers - 文本分类
伊织 2022-12-08。原创 2024-04-24 15:26:21 · 258 阅读 · 0 评论 -
NLP transformers - 翻译
【代码】NLP - 使用 transformers 翻译。原创 2024-04-24 15:25:24 · 459 阅读 · 1 评论 -
DL - 图像分割
【代码】DL - 图像分割。原创 2024-04-24 15:17:13 · 217 阅读 · 0 评论 -
Pytorch - seq2seq、cnn、attention 日期翻译
文章目录seq2seqcnnattentionseq2seq# %%zidian = { '<PAD>': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9, '0': 10, 'Jan': 11, 'Feb': 12, 'Mar': 13, 'Apr': 14,转载 2022-02-20 21:08:42 · 345 阅读 · 0 评论 -
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
一、引言二、机器学习中常用的数据类型三、模型量化简介四、简要总结 LLM.int8(): 大语言模型的零退化矩阵乘法离群特征的重要性MatMul 内部0 退化是什么意思?比原始模型更快吗?五、Hugging Face `transformers` 集成细节1、用法2、`accelerate` 足矣3、在 `accelerate` 设置设备要当心4、总结六、如何在 `transformers` 中使用它硬件要求安装演示示例 - 在 Google Colab 上运行 T5 11B原创 2024-04-23 14:33:25 · 1017 阅读 · 0 评论 -
NLP - 结巴分词 & 词云
jieba关于 jieba特点安装使用分词工具添加自定义词典关键词抽取词性标注词云关于词云一些工具、资料使用一个简单的英文词云生成中文词云词云展示自定义显示分析 `WordCloud()` 方法带 mask 词云原创 2022-01-02 22:55:50 · 1439 阅读 · 2 评论 -
NLP - Gensim
关于 Gensim安装基本概念使用 步骤1、训练语料的预处理2、主题向量的变换3、文档相似度的计算补充TF-IDFLDA文档主题生成模型参考资料原创 2022-01-02 22:54:41 · 300 阅读 · 0 评论 -
HuggingFace - tokenizer
关于 tokenizer安装从零构建 tokenizer使用预训练的 tokenizer转载 2023-02-26 16:57:29 · 406 阅读 · 0 评论 -
MedSAM
这个数据集包含 50 个腹部CT扫描,每个扫描件包含 13个器官的标注。如果你只是想训练 mask decoder,可以查看。这里展示了三种方法,来在你的镜像上,快速测试模型。3、下载/编译 MedSAM 源码。2、安装 Pytorch 2.0。2023-07-13(四)上提供了循序渐进的教程。器官的名字等信息可查看。翻译 2023-07-13 12:05:13 · 1614 阅读 · 2 评论 -
PyTorch - RNN 生成歌词
``pythondef rnn(inputs , state , params) : # inputs和outputs皆为num_steps个形状为(batch_size, vocab_size)的矩阵 W_xh , W_hh , b_h , W_hq , b_q = params。原创 2023-06-21 00:21:17 · 167 阅读 · 0 评论 -
OpenUE - 轻量级开源知识图谱抽取开源工具
在这个notebook中我们将使用openue库代码来训练我们自己的三元组联合抽取,使用的基础模型是,训练分为两步,首先训练关系分类模型,其次训练实体抽取模型。之后联合验证。转载 2023-05-10 18:15:31 · 765 阅读 · 0 评论 -
Huggingface - 创建音频数据集(Create an audio dataset)
一、本地文件二、音频文件夹加载脚本三、加载脚本1、创建一个 dataset builder 类Multiple configurations2、添加数据集元数据3、下载和定义数据集拆分4、生成数据集5、将数据集上载到 Hub6、(Advanced) 本地提取压缩文件1)下载并定义数据集拆分2)生成数据集翻译 2023-04-23 15:02:21 · 1757 阅读 · 0 评论 -
Huggingface - datasets
安装 datasets 包从源安装使用 conda 安装QuickStart音频视觉NLP从 Hub 加载数据集获取数据集通用信息Split配置了解你的数据集Dataset 对象索引切片IterableDataset 对象翻译 2023-04-19 11:31:01 · 364 阅读 · 0 评论 -
蓝斯诺特 生成式深度学习
数据集说明 - celeba类型1、ae2、vae3、dcgan 对抗生成4、wgan5、wgangp6、cycleganUNet7、musegan8、style transfer 风格迁移9、simple style transfer10、diffusion11、pix2pix转载 2023-04-16 11:20:17 · 173 阅读 · 0 评论 -
Flower 联邦学习 - 小记
关于 联邦学习相关教程相关论文联邦学习 起源:相比传统分布式学习分类关于 Flower安装 Flower使用 - PyTorch1、client.py2、server.py使用 - HuggingFace1、client.py2、server.py转载 2023-04-07 16:45:49 · 532 阅读 · 1 评论 -
ai-code-translator
使用AI 将一种编程语言的代码,转化为另一种语言。你需要自备 OpenAI Key。转载 2023-04-04 16:22:54 · 765 阅读 · 0 评论 -
PyTorch - 目标检测和边界框、单发多框检测(SSD)
2023-03-31(五)仅做个人学习记录,如侵删。转载 2023-03-31 11:15:54 · 173 阅读 · 0 评论 -
PyTorch - 天气图片分类
项目说明数据集说明 - 天气数据代码实现数据处理查看数据和分类预处理数据数据集划分加载数据搭建模型网络训练模型训练函数测试函数执行训练模型评估转载 2023-03-21 21:40:58 · 327 阅读 · 0 评论 -
HuggingFace - timm
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UHF2W6zO-1679315791201)(HuggingFace-timm.assets/image.jpg)]timm是一个包含SOTA计算机视觉模型、层、实用程序、优化器、调度器、数据加载器、扩充和训练/评估脚本的库。您将学习如何加载、发现和使用库中包含的预训练模型。您可以通过更改分类器(最后一层)来微调任何预先训练的模型。它包装有700多种预训练的型号,设计灵活且易于使用。的训练脚本以使用您的数据集。转载 2023-03-20 20:44:09 · 792 阅读 · 1 评论 -
HuggingFace - Evaluate
关于 Evaluate安装 evaluate使用查看 accuracy_metric查看所有 evaluation modules加载指定类型加载 community module选择 metricGeneric metricsTask-specific metricsDataset-specific metricsEvaluator 类使用示例1、Text classificationEvaluate models on the HubEvaluate multiple me转载 2023-03-20 20:33:53 · 346 阅读 · 0 评论 -
PyTorch - 梯度下降
【代码】PyTorch - 梯度下降。原创 2023-03-18 18:50:19 · 81 阅读 · 0 评论 -
学习资源 - 深度学习/LLM 等
综合RAGPyTorchNLP语音CV综合机器学习原创 2023-02-22 18:42:25 · 441 阅读 · 0 评论 -
DL - 激活函数
激活函数1、阶跃函数2、Sigmoid 函数3、tanh 函数4、ReLU5、ELU6、Softmax原创 2021-12-30 23:02:06 · 970 阅读 · 0 评论 -
DL - softmax、log_softmax、nll_loss、cross_entropy_loss
softmax、log_softmax、nll_loss、cross_entropy_loss原创 2022-12-04 16:56:24 · 830 阅读 · 2 评论 -
DL - TensorBoard
TensorBoard文章目录TensorBoard一、安装 TensorBoard启动二、使用1、显示坐标轴2、展示图片使用注意一、安装 TensorBoard(base) $ sudo pip install tensorboard==1.15.0tensorflow 1.14.0 requires tensorboard<1.15.0,>=1.14.0, but you have tensorboard 1.15.0 which is incompatible.Import原创 2022-01-02 21:41:20 · 1897 阅读 · 1 评论 -
Numpy
关于 Numpy使用数组一、创建数组1、np.empty2、np.zeros3、np.ones---- 从已有的数组创建数组4、np.asarray5、np.frombuffer6、np.fromiter---- 从数值范围创建数组7、np.arange8、np.linspace 创建一维数组9、np.logspace二、索引1、基本索引和切片-- 高级索引1、整数数组索引2、布尔索引3、花式索引广播 Broadcastnp.tile迭代数组1、简单迭代2、控原创 2022-01-31 17:04:06 · 391 阅读 · 0 评论 -
Ubuntu - 安装NVIDIA 驱动、cuda、cudnn、gcc
文章目录查看设备信息Ubuntucuda 信息查看显卡信息nvidia 信息NVIDIA 驱动下载查看显卡型号卸载驱动更新驱动安装 cudann安装 cuda配置环境变量代码判断CUDA是否可用多版本的CUDA管理参考查看设备信息Ubuntu# 查看系统版本$ lsb_release -aLSB Version: core-9.20160110ubuntu0.2-amd64:core-9.20160110ubuntu0.2-noarch:security-9.20160110ubuntu0.2-原创 2022-01-11 14:14:43 · 1665 阅读 · 0 评论 -
PyTorch - 安装
文章目录关于对 macOS 的支持:测试关于显卡前往官方下载界面,选择自己的操作系统和安装方式,可以得到安装命令:https://pytorch.org/get-started/locally/这里我们得到的命令pip install torch torchvision torchaudio由于一般下载比较慢,这里我使用豆瓣的源pip install torch torchvision torchaudio -i https://pypi.douban.com/simple/im原创 2022-01-02 21:45:30 · 276 阅读 · 0 评论 -
PyTorch 2 - 基础数据处理
创建empty、zeros、ones`new_*` : new_onesrand / randn / randperm / randint / randn_likenormaleye创建列表,类似 numpy 中的 arange创建等差数列 linspacelogspace 返回一维张量Tensor -- Numpy属性和方法数据类型转换判断一个对象是否为 Tensor判断一个对象是否为 PyTorch Storage 类型item获取 Tensor 中元素个数 numel原创 2022-02-01 20:59:30 · 2051 阅读 · 0 评论 -
PyTorch 3 - 模型相关方法
文章目录创建模型模型初始化、参数保存/加载模型自动求导梯度函数损失函数mse二分类 bce多分类创建模型如,创建线性模型class LinearModel(nn.Module): def __init__(self, ndim): super(LinearModel, self).__init__() self.ndim = ndim self.weight = nn.Parameter(torch.randn(ndim, 1))原创 2022-02-01 21:25:18 · 1474 阅读 · 0 评论