2023-9-14: Transformer

最新推荐文章于 2024-10-06 11:24:32 发布
最新推荐文章于 2024-10-06 11:24:32 发布
阅读量94 收藏
点赞数
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38045176/article/details/132891236
版权

python

  1. 理解python装饰器的作用
    https://blog.csdn.net/a2806005024/article/details/124723061
  2. 可变参数的使用
    https://zhuanlan.zhihu.com/p/266512848
  3. eval函数
    https://www.runoob.com/python/python-func-eval.html
  4. golbal关键字
    https://www.cnblogs.com/break-python/p/6200618.html
  5. python 官方文档讲解cytpes
  6. 列表索引规则： [::,::,::] 可省略

keras and tensorflow

  1. keras 官方文档callback API
  2. keras中to_categorical函数解析
    https://zhuanlan.zhihu.com/p/266512848
  3. tf.data.TextLineDataset作用
  4. keras training source code and keras callback source code
  5. 看损失函数计算过程的小tip
  6. 通过回调函数查看loss和acu
  7. K.concatenate: 对某个维度进行拼接
  8. tfds.deprecated.text.TokenTextEncoder

numpy

  1. np.hstack 用法 水平拼接，2维增加的是列的长度

Transformer

  1. 阿里天池对transformer的介绍
  2. 一些可用的预训练model
  3. 李宏毅老师对transformer的讲解
    对应的知乎笔记
  4. 知乎小项目
qq_38045176
关注
Video-Action-Transformer-Network-Pytorch-:视频行动变压器网络的实现
05-01
重新定义视频变压器（用途为RESNET基地）transformer_v1.py更像是真正的变压器，transformer.py更真实到什么纸通告用法： from transformer_v1 import Semi_Transformer model = Semi_Transformer(num_classes=num...
typescript-transformer-handbook：:blue_book:有关如何使用代码示例为TypeScript创建转换器的综合手册
02-06
TypeScript变压器手册 本文档介绍如何编写 。 目录 介绍 TypeScript是Javascript的类型化超集，可编译为纯Javascript。 TypeScript支持消费者将代码从一种形式转换为另一种形式的能力，类似于如何通过plugins进行。...
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
安装$ pip install point-transformer-pytorch用法import torchfrom point_transformer_pytorch import PointTransformerLayerattn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_...
react-native-sass-transformer：使用Sass为您的React Native应用设置样式
02-05
React-Nass-Sass-Transformer 使用设置您的React Native应用程序的样式。 在后台将Sass文件转换为（请参见示例）。 该转换器可以与一起使用。 它是如何工作的？ 您的App.scss文件可能如下所示： %blue { color...
react-native-typescript-transformer：与React Native无缝使用TypeScript
02-05
react-native-typescript-transformer 与React-native> = 0.45无缝使用TypeScript 停！ 您可能不需要此软件包。 如果您正在启动一个新的React Native项目，则可以按照React Native文档中的说明进行操作： : 这将...
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1562
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
深度学习：DCGAN
Landy_Jay的博客
10-01 517
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
深度学习-----------------机器翻译与数据集
Einstein·Jun
10-03 437
绘制每个文本序列所包含的标记数量的直方图。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 1027
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
基于深度学习的视频摘要生成
weixin_42605076的博客
10-03 499
信息过载：随着视频内容的爆炸性增长，用户很难有效地消费大量视频，视频摘要可以帮助快速浏览重要内容。多场景应用：视频摘要可用于社交媒体、视频检索、监控分析、教育视频浓缩等领域。结合音频与字幕：多模态方法可以同时分析视频、音频、字幕等多种信号，提升摘要生成的准确性和丰富性。视觉和语义信息结合：通过结合视觉内容与语义信息（如字幕或语音转录），模型可以生成更具语义理解的摘要。
基于Python的自然语言处理系列（19）：基于LSTM的语言模型实现
不想宅的冷同学
09-29 907
在本篇博文中，我们实现了一个基于LSTM的语言模型，探讨了其在自然语言处理中的重要性。通过对WikiText数据集的训练，我们了解了如何进行数据预处理、模型构建以及训练与评估过程。这一模型为理解语言生成打下了基础，也展示了如何使用PyTorch进行实际应用。随着对LSTM语言模型的深入理解，我们将在下一篇博文中转向更先进的Transformer模型及其在语言建模中的应用，期待与大家一同探讨Transformer如何提升自然语言处理的能力，并掌握束搜索等高效解码技术。希望继续激发大家对这一领域的热情与探索！
YOLO11改进|注意力机制篇|引入MLCA轻量级注意力机制
A1983Z的博客
10-01 1469
YOLO11中添加MLCA轻量级注意力机制
深度学习在计算机视觉中的应用
09-30 1268
深度学习的兴起标志着计算机视觉领域的革命，尤其是在图像识别、物体检测、图像分割等任务中，深度学习展现了无与伦比的性能。通过不断的研究与实践，深度学习推动计算机视觉技术在更多领域的应用，为我们的生活带来了深远的影响。在自然图像分类任务中，EfficientNet的应用使得多种图像分类模型的准确率显著提高，尤其在ImageNet数据集上，提升了分类准确率并减少了模型参数。在城市交通监控中，Mask R-CNN被用来识别和分割交通标志及车辆，提供精准的道路信息，增强了交通管理的智能化水平。
【深度学习】（11）--迁移学习
m0_74896766的博客
09-29 1358
本篇介绍了： 如何进行迁移学习 对迁移模型进行微调： 微调全连接层 微调卷积层（本篇未写），原理相同，可自行尝试 注意：原本的模型参数务必要冻结住，那是已经调好的，可以节省计算时间。仅需要调整修改部分的参数。
YOLO11改进|注意力机制篇|引入上下文锚注意力机制CAA
最新发布
A1983Z的博客
10-06 723
YOLO11中添加CAA注意力机制
基于深度学习的3D人体姿态预测
weixin_42605076的博客
10-06 730
基于深度学习的3D人体姿态预测是指利用深度学习模型，从图像或视频中自动估计人体的三维骨架结构或关节点位置。此任务在增强现实、动作捕捉、人体行为识别、虚拟现实等多个领域中有广泛应用。3D人体姿态预测面临的挑战包括姿态变化多样、遮挡、光照条件复杂以及不同视角下的深度信息恢复等问题。
基于深度学习的持续的知识积累与转移
weixin_42605076的博客
10-01 702
基于深度学习的持续知识积累与转移是指利用深度学习技术在多个任务或领域中有效地获取、更新和应用知识。这一过程能够提高模型在新任务上的性能，同时减少对大量标注数据的依赖。
卷积神经网络（Convolutional Neural Networks, CNN）
qq_34376868的博客
10-02 1408
卷积神经网络（Convolutional Neural Networks, CNN）是深度学习领域中用于处理具有网格结构的输入（如图像和视频）的神经网络模型。
《深度学习》—— 神经网络中的数据增强
weixin_73504499的博客
09-24 1690
神经网络中的数据增强是一种通过增加训练数据的多样性和数量来提高模型泛化能力的技术。在神经网络训练过程中，尤其是在数据集较小的情况下，模型容易出现过拟合问题，即模型在训练数据上表现良好，但在未见过的数据上表现不佳。数据增强技术通过对原始数据进行一系列变换，生成新的数据样本，从而有效缓解这一问题。
Access denied You do not have access to chat.openai.com. The site owner may have set restrictions that prevent you from accessing the site. Ray ID: 7b61b9bedb7110a9 Timestamp: 2023-04-11 08:05:37 UT
07-11
它的原理是基于Transformer架构，通过预训练大量文本数据来学习如何生成人类可读的文本，然后通过接受输入并生成输出来实现对话。 ChatGPT的用途非常广泛，可以用于自然语言处理（NLP）任务，如对话生成、问答系统...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值