深度学习
文章平均质量分 91
深度学习
小嗷犬
CSDN人工智能领域优质创作者,阿里云专家博主。天池竞赛两段Top10,ICPC区域赛铜,数学建模国赛国二,GPLT天梯赛国三。
展开
-
大模型常用推理参数工作原理
在生成文本时用于控制输出多样性和确定性的三个关键参数:do_sample、temperature、top_k 和 top_p。do_sample 参数决定模型是采用概率采样生成下一个token还是选择最高概率的token。temperature 参数通过调整softmax函数,控制概率分布的平滑度,从而影响输出的随机性或保守性。top_k 和 top_p 参数分别限制了在生成过程中考虑的最高概率token的数量和累计概率比例,进一步引导生成过程中的选择偏向。这些参数可以组合使用,按特定顺序叠加效果。原创 2024-06-09 18:13:34 · 938 阅读 · 4 评论 -
赛事分享 Amazon KDD Cup 2024: Multi-Task Online Shopping Challenge for LLMs
网上购物非常复杂,涉及从浏览到购买的各种任务,所有这些任务都需要深入了解客户的行为和意图。这就需要能够利用跨任务共享知识的多任务学习模型。然而,目前的许多模型都是针对特定任务的,从而增加了开发成本并限制了有效性。大语言模型(LLM)可以通过一个模型处理多个任务,只需稍作提示调整,从而有可能改变这种状况。此外,大语言模型还可以通过提供互动和及时的建议来改善客户体验。原创 2024-03-23 22:02:08 · 1403 阅读 · 6 评论 -
基于 Transformer 的中文对联生成器
本项目是一个基于 Transformer 的中文对联生成器,使用 PyTorch 构建模型,使用 Gradio 构建 Web UI。原创 2024-02-28 15:42:32 · 693 阅读 · 1 评论 -
Pytorch 自用 Scheduler 分享
本文介绍了 Warm-up + CosineAnnealingLR、Warm-up + ExponentialLR 和 Warm-up + StepLR 三种学习率调度器,并给出了使用模板。原创 2024-02-24 13:32:07 · 685 阅读 · 2 评论 -
变分自编码器(VAE)PyTorch Lightning 实现
变分自编码器(Variational Autoencoder,VAE)是一种深度学习中的生成模型,它结合了自编码器(Autoencoder, AE)和概率建模的思想,在无监督学习环境中表现出了强大的能力。VAE 在 2013 年由 Diederik P. Kingma 和 Max Welling 首次提出,并迅速成为生成模型领域的重要组成部分。原创 2024-02-16 14:30:31 · 1575 阅读 · 1 评论 -
大模型应用相关技术:RAG 与 Agent
检索增强生成(RAG, Retrieval-Augmented Generation)是一种自然语言处理(NLP)中的创新方法,它结合了信息检索(IR)和深度学习生成模型的优点,以提高文本生成任务的准确性和上下文相关性。在 AI 和机器学习领域中,RAG 旨在解决大规模语料库中的信息检索与自动生成相结合的问题。AI Agent,全称为人工智能代理(Artificial Intelligence Agent),是计算机科学和人工智能领域中的一个重要概念。它是指一种软件或硬件实体,设计用于模拟智能行为,并能够在原创 2024-01-29 17:24:25 · 5252 阅读 · 0 评论 -
自然语言处理 TF-IDF
TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于信息检索和文本挖掘的常用加权技术,它用于评估一个单词对于一个文档集合中某个特定文档的重要程度。在自然语言处理、搜索引擎优化和机器学习等领域中,TF-IDF 被广泛应用于关键词抽取、相似性计算、文档排名等多个场景。组成部分:TF 表示词频,即一个给定词语在特定文档中出现的次数或频率。原创 2024-01-29 15:54:20 · 1582 阅读 · 0 评论 -
ImageNet Classification with Deep Convolutional 论文笔记
本文提出了一个大型深度卷积神经网络,该网络在 ImageNet LSVRC-2010 比赛任务(120 万张图片的 1000 分类任务)中,取得了top-1 准确率 62.5%和top-5 准确率 83.0%的好成绩,超越了以往所有的 SOTA 方法。该网络有 6000 万个参数和 65 万个神经元,由五个卷积层组成,其中一些后面跟着最大池化层,以及三个全连接层和一个最终的 1000 分类的 softmax 层。为了使训练更快,作者使用ReLU。原创 2024-01-16 23:17:26 · 1303 阅读 · 4 评论 -
数据科学竞赛平台推荐
Kaggle,成立于 2010 年,于 2017 年 3 月被谷歌收购,目前已是全球最大、最权威的数据科学竞赛平台。Kaggle 以数据科学竞赛为主,同时也提供了 Datasets、Code、Discussions、Learn 等功能。Kaggle 为初学者提供了很多学习资源,同时也设置了很多入门级别的练习赛,如经典的泰坦尼克号生还预测、波士顿房价预测、手写数字识别等,可以帮助初学者快速入门。Kaggle 上的竞赛往往有很高的奖金,吸引了全球的数据科学家参与其中,竞赛的难度也很大,往往需原创 2024-01-12 20:59:14 · 1274 阅读 · 2 评论 -
「ResNet-18」70 个犬种的图片分类
「ResNet-18」70 个犬种的图片分类原创 2023-11-21 18:30:34 · 327 阅读 · 5 评论 -
「MobileNet V3」70 个犬种的图片分类
「MobileNet V3」70 个犬种的图片分类原创 2023-11-21 17:47:41 · 157 阅读 · 0 评论 -
AI生成图像竟如此真实了?Stable Diffusion Model本地部署教程
Stable Diffusion Model 是一个基于扩散模型的图像生成模型。stable-diffusion-webui 是 AUTOMATIC1111 大佬在 Github 上开源的一个专用于图片生成模型的 WebUI,可以在本地部署,支持导入模型和自己训练。重要的是,该项目的部署方式非常简单,不需要任何的编程基础,环境也会帮你自动配置好;GUI 的操作也非常简单,所见即所得。本文介绍了如何在本地部署 Stable Diffusion + WebUI。展示了部分生成图片。原创 2023-02-21 23:42:46 · 11536 阅读 · 7 评论 -
Pytorch 基础
本文是对 Pytorch 的基础知识的总结,包括 Pytorch 的简介、基础知识、常用函数等。原创 2023-01-31 15:52:52 · 589 阅读 · 0 评论 -
Pytorch 基于ResNet-18的物体分类(使用CIFAR-10数据集)
CIFAR-10 是一个更接近普适物体的彩色图像数据集。CIFAR-10 是由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。残差神经网络(ResNet) 是由微软研究院的 何恺明、张祥雨、任少卿、孙剑 等人提出的。ResNet 在 2015 年的 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)中取得了冠军。原创 2022-11-08 22:00:29 · 3136 阅读 · 11 评论 -
Pytorch 基于ResNet-18的服饰识别(使用Fashion-MNIST数据集)
残差神经网络(ResNet) 是由微软研究院的 何恺明、张祥雨、任少卿、孙剑 等人提出的。ResNet 在 2015 年的 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)中取得了冠军。残差神经网络 的主要贡献是发现了“退化现象(Degradation)”,并针对退化现象发明了 “快捷连接(Shortcut connection)”,极大的消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了 100 层、最大的神经网络甚至超过原创 2022-11-07 22:42:52 · 2610 阅读 · 3 评论 -
Pytorch 基于NiN的服饰识别(使用Fashion-MNIST数据集)
Network In Network (NIN) 是由 Min Lin 等人于 2014 年提出,在 CIFAR-10 和 CIFAR-100 分类任务中达到当时的最好水平,其网络结构是由三个多层感知机(NiN块)堆叠而成。NiN 模型论文 《Network In Network》 发表于 ICLR-2014,NIN 以一种全新的角度审视了卷积神经网络中的卷积核设计,通过引入子网络结构代替纯卷积中的线性映射部分,这种形式的网络结构激发了更复杂的卷积神经网络的结构设计,GoogLeNet 的 Inceptio原创 2022-11-06 23:31:44 · 796 阅读 · 2 评论 -
Pytorch 基于VGG-16的服饰识别(使用Fashion-MNIST数据集)
VGG-16 网络是14年牛津大学计算机视觉组和 Google DeepMind 公司研究员一起研发的深度网络模型。该网络一共有16个训练参数的网络,它的兄弟版本如下图所示,清晰的展示了每一级别的参数量,从11层的网络一直到19层的网络。VGG-16 网络取得了 ILSVRC 2014 比赛分类项目的第2名,定位项目的第1名。VGGNet 网络结构简洁,迁移到其他图片数据上的泛化性能非常好。VGGNet 现在依然经常被用来提取图像特征,该网络训练后的模型参数在其官网上开源了,可以用来在图像分类任务上进行在训原创 2022-11-05 22:42:39 · 2099 阅读 · 1 评论 -
Pytorch 基于AlexNet的服饰识别(使用Fashion-MNIST数据集)
Fashion-MNIST是一个替代MNIST手写数字集的图像数据集。它是由Zalando(一家德国的时尚科技公司)旗下的研究部门提供。其涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。的大小、格式和训练集/测试集划分与原始的MNIST完全一致。的训练测试数据划分,28x28的灰度图片。AlexNet 是2012年 ImageNet 竞赛冠军获得者 Hinton 和他的学生 Alex Krizhevsky 设计的。AlexNet 中包含了几个比较新的技术点,也首次在 CNN 中成功应用了 ReLU原创 2022-11-04 22:10:46 · 2428 阅读 · 6 评论 -
Pytorch 基于LeNet的手写数字识别
使用MNIST数据集(Mixed National Institute of Standards and Technology database)。是美国国家标准与技术研究院收集整理的大型手写数字数据库,包含60,000个示例的训练集以及10,000个示例的测试集。本文使用 Pytorch 自动下载。LeNet是由Yann Lecun提出的一种经典的卷积神经网络,是现代卷积神经网络的起源之一。本文使用的LeNet为LeNet-5原创 2022-11-03 17:22:34 · 2007 阅读 · 6 评论