Trick for AI

最新推荐文章于 2025-06-27 11:03:37 发布
原创 最新推荐文章于 2025-06-27 11:03:37 发布 · 159 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Trick

一般把网络中具有**可学习参数的层放在构造函数__init__()**中，不具有可学习参数的层(如ReLU)可放在构造函数中。

梯度裁剪:解决梯度消失/爆炸（就是偏导无限接近0，导致长时记忆无法更新）：

  1. 当梯度小于/大于阈值时，更新的梯度为阈值。
  2. 根据参数的范数来衡量clip_grad_norm()
走进AI人工智能领域变分自编码器的世界
AI天才研究院
05-20 576
本文旨在为读者提供关于变分自编码器(VAE)的全面技术指南，涵盖从基础理论到实际应用的各个方面。我们将深入探讨VAE的核心概念、数学原理、实现细节以及在实际项目中的应用。文章首先介绍VAE的基本概念和背景知识，然后深入探讨其数学原理和架构设计。接着，我们将通过Python代码实现一个完整的VAE模型，并分析其工作原理。最后，我们将讨论VAE的应用场景、工具资源以及未来发展趋势。变分自编码器(VAE): 一种生成模型，结合了自编码器和变分推断的思想，能够学习数据的潜在表示并生成新样本。
深入了解 AI 人工智能中变分自编码器的架构
AI 原生应用开发的博客
07-07 1008
想象一下，如果你有一位画家朋友，他看过1000张猫的图片后，就能画出一张全新的、栩栩如生的猫——这只猫从未在现实中存在过，但所有人看到都会说"这肯定是只猫"。变分自编码器（VAE）就是人工智能世界里的这样一位"画家"：它的核心目的是学习数据的"创作规律"（概率分布），然后基于这些规律生成全新的、与原始数据相似的新样本。
AI For Everyone
tangtang2022的博客
10-13 341
欢迎观看AI for everyone。人工智能正在改变我们工作和生活的方式。这个通俗易懂(不含有专业词汇的)课程会教你理解人工智能的发展。无论你是想更深入了解人工智能流行的背后，或是你想把人工智能应用到你的生活、公司或其他组织中，这个课程会教你如何达成这些目标。如果你想了解人工智能是如何影响社会的，以及你如何驾驭它，你也会从这个课程中学到这些。这个星期，我们将抛开对人工智能的炒作，让你对人工智能有更加客观的了解。让我们开始吧。你可能看过关于AI创造了多少价值的新闻。
AI人工智能专业词汇集
热门推荐
xmt1139057136的专栏
08-01 2万+
作为最早关注人工智能技术的媒体，机器之心在编译国外技术博客、论文、专家观点等内容上已经积累了超过两年多的经验。期间，从无到有，机器之心的编译团队一直在积累专业词汇。虽然有很多的文章因为专业性我们没能尽善尽美的编译为中文呈现给大家，但我们一直在进步、一直在积累、一直在提高自己的专业性。两年来，机器之心编译团队整理过翻译词汇对照表「红宝书」，编辑个人也整理过类似的词典。而我们也从机器之心读者留言中发现
AI作画：AI人工智能时代艺术创作的新途径
AI天才研究院
04-18 936
AI作画作为人工智能与艺术创作相结合的新兴领域，其目的在于探索利用人工智能技术为艺术创作带来新的可能性和创作方式。本文章的范围涵盖了AI作画的核心概念、算法原理、数学模型、实际应用案例以及未来发展趋势等方面，旨在让读者全面了解AI作画这一新兴艺术创作途径的全貌。本文将按照以下结构进行阐述：首先介绍AI作画的核心概念与联系，让读者对其有初步的认识；接着详细讲解核心算法原理和具体操作步骤，并给出相应的Python代码；然后介绍数学模型和公式，帮助读者深入理解AI作画的技术本质；
2020年AI竞赛获奖方案复盘系列(二) 遥感语义分割竞赛trick-2020华为云人工智能大赛
人唯优的博客
02-24 2万+
前言 这是去年博主参加的一个语义分割竞赛，最终取得了top3%(14/377)。这是博主第一次参加遥感图像语义分割竞赛，借着这次机会博主开始了语义分割的学习旅程，比起最终名次，博主更在意的是在这个过程中能学到什么。在上次复盘了违法广告目标检测竞赛之后，博主充分意识到了复盘的重要性，因此迫不及待地对这次遥感分割竞赛进行复盘。 没看过之前违法广告的目标检测竞赛复盘的朋友可以也关注下检测赛，因为是2020年的竞赛里面很多的model和trick都是最新的，也涉及很多cvpr2020的论文。下面是传送门： 违法广告
用PyTorch在AI人工智能中进行图像生成
AI大模型应用之禅
06-27 1033
本文旨在为读者提供使用PyTorch实现AI图像生成的全面指南。我们将覆盖从基础理论到高级应用的完整知识体系，重点介绍三种主流的图像生成方法：生成对抗网络(GANs)、变分自编码器(VAEs)和扩散模型(Diffusion Models)。文章首先介绍图像生成的基本概念和技术背景，然后深入讲解三种主要方法的原理和实现，接着通过实际案例展示完整开发流程，最后讨论应用场景和未来趋势。生成模型(Generative Models): 能够学习数据分布并生成新样本的机器学习模型。
深度学习trick2
cnzzs的博客
07-30 310
还是之前发过一篇了~~Deep learning在训练的时候往往有很多trick，不可否认这些trick也是DL成功的关键因素之一，所谓“the devil is in the details”。除了batch大小的改变以及初始化等trick，还有哪些提升performance的利器？Focal Loss针对类别不平衡问题...
值得收藏的深度学习模型训练trick
AI蜗牛车
07-08 1234
Deep learning 在训练的时候往往有很多 trick ，不可否认这些 trick 也是 DL 成功的关键因素之一，所谓 “the devil is in the details”...
目标检测之优化trick
AndyJ的学习之旅
08-13 984
本文参考以下链接，如有侵权，联系删除 参考链接 Bag of Freebies for Training Object Detection Neural Networks-CVPR2019 概要 这篇介绍的优化技巧具体而言包括mixup、label smoothing、学习率修改策略的选择、跨卡BN层计算和随机尺度训练。 mixup mixup是指将2张输入图像按照一定权重合并成一张图像，基于这种合成图像进行训练的模型更加鲁棒，能够有效降低对抗图像的影响。如图Figure2是在分类算法中使用mixup的例子
人工智能术语翻译（三）
AI浩
07-26 4098
人工智能术语翻译第三部分，包括I、J、K、L开头的词汇！
飞浆AI studio人工智能课程学习（2）-Prompt优化思路|十个技巧高效优化Prompt|迭代法|Trick法|通用法|工具辅助
Medlar_CN的博客
05-19 2170
飞浆AI studio人工智能课程学习（2）-Prompt优化思路|十个技巧高效优化Prompt|迭代法|Trick法|通用法|工具辅助
pytorch 权重weight 与 梯度grad 可视化
Rainbow
05-25 1万+
查看特定layer的权重以及相应的梯度信息 打印模型 观察到model下面有module的key，module下面有features的key， features下面有(0)的key，这样就可以直接打印出weight了 在pdb debug界面输入p model.module.features[0].weight，就可以看到weight，输入 p model.module.features[0].weight.grad 就可以查看梯度信息。 中间变量的梯度 : .register_hook pytor
GNN等优缺点总结及解决方案
Rainbow
11-17 1万+
https://www.zhihu.com/question/338051122 https://www.zhihu.com/question/346942899 https://zhuanlan.zhihu.com/p/291230435 GCN的缺点在于它灵活性差，transductive，并且扩展性非常差，除此之外这篇论文借助验证集来早停帮助性能提升，跟它半监督学习的初衷有点相悖。训练是full-batch的，难以扩展到大规模网络，并且收敛较慢。 GraphSage论文旨在提升gcn扩展性和改进训练
Transformer解析
Rainbow
01-22 7323
代码：https://www.github.com/kyubyong/transformer 文件集合 hyperparams.py prepro.py data_load.py modules.py train.py eval.py 关键步骤（德语-》英语） 1. 定义超参数 1.1 源语言、目标语言的训练数据和测试数据的路径 1.2 batch大小（32）、初始learning rate（0....
Conv重要参数介绍
Rainbow
09-21 6857
文章目录资料：函数参数stride：步长zero-padding：图像四周填0dilation：控制 kernel 点之间的空间距离groups：分组卷积channel: 每个卷积层中卷积核的数量 资料： https://blog.csdn.net/qq_34107425/article/details/104117670 函数 Conv1d：常用于文本数据的处理 Conv2d：一般用于二维图像 参数 stride：步长 zero-padding：图像四周填0 dilation：控制 kernel 点之
关于训练时Loss值不变解决办法
Rainbow
05-13 6544
fgf
BERT解读 —— 基础概念
Rainbow
12-09 6134
dropout：防止过拟合 典型的神经网络训练流程：将输入通过网络正向传导，而后将误差进行反向传播。Dropout针对这一过程，随机地删除隐藏层的部分单元。 训练中，对于神经网络单元，按照一定的概率（若dropout=0.5，即以50%的概率移除，停止工作）暂时从网络中随机丢弃。训练中，对于神经网络单元，按照一定的概率暂时从网络中随机丢弃。 步骤： 3.1. 随机删除网络中的一些隐藏神经元，保持...
tensorflow —— tf.Session()
Rainbow
12-28 4108
tf.Session() 在TensorFlow的世界里，变量的定义和初始化是分开的，所有关于图变量的赋值和计算都要通过tf.Session的run来进行。想要将所有图变量进行集体初始化时应该使用tf.global_variables_initializer。 session用于执行命令，对话控制。sess.run()用于执行某一个小图片上的功能。 sess.run() feed_dict 给使...
房价预测 AI
最新发布
08-26
房价预测是人工智能和机器学习领域中的一个经典回归任务。通常可以使用多种模型和方法来实现，包括传统的机器学习模型和现代的深度学习模型。以下是一些常见的方法和模型： ### 1. 线性回归（Linear Regression） ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值