深度学习
文章平均质量分 56
tensorflow和torch
静心问道
这个作者很懒,什么都没留下…
展开
-
多分类任务中如何使用facal loss
Focal Loss 在多分类问题中,通过对难分类样本赋予更高的损失权重,来减少容易分类样本对模型训练的干扰,常用于类别不平衡的任务,如目标检测等。原创 2024-09-22 14:51:00 · 701 阅读 · 0 评论 -
生成模型可以用编辑距离作为损失函数么
研究人员也在探索将离散的损失函数(如编辑距离)转换为近似可微的形式,从而可以在训练中使用。比如,通过设计一种软近似的编辑距离,使得它在模型训练中可以作为一个损失函数来使用。原创 2024-09-18 10:21:59 · 326 阅读 · 0 评论 -
GAN如何使用的 Jensen-Shannon 散度
GAN 使用Jensen-Shannon 散度来衡量生成分布PgP_gPg和真实数据分布PrP_rPr的差异,这是原始 GAN 损失函数的核心。然而,由于 JS 散度的梯度消失问题和训练不稳定性,后来如 WGAN(Wasserstein GAN)通过 Wasserstein 距离代替了 JS 散度,解决了这些问题。原创 2024-09-17 15:43:03 · 648 阅读 · 0 评论 -
WGAN算法
给定两个概率分布PrP_rPr和PgP_gPgWPrPginfγ∈ΠPrPgExy∼γ∥x−y∥WPrPgγ∈ΠPrPginfExy∼γ∥x−y∥其中ΠPrPgΠPrPg是所有将PrP_rPr变为PgP_gPg的联合分布,∥x−y∥\|x - y\|∥x−y∥表示从PrP_rPr。原创 2024-09-17 15:39:11 · 865 阅读 · 0 评论 -
解释下不同Gan模型之间的异同点
相同点所有 GAN 模型都基于生成器和判别器之间的对抗性训练机制。基本目标是让生成器生成的样本尽可能接近真实样本,同时让判别器能够有效地区分真实样本和生成样本。不同点损失函数:不同的 GAN 变体使用了不同的损失函数和衡量标准来改进模型的训练稳定性和性能,如 WGAN 使用 Wasserstein 距离,WGAN-GP 使用梯度惩罚。网络结构:DCGAN 引入了卷积网络,StyleGAN 引入了风格模块,PGGAN 逐步增加图像分辨率。特定任务优化。原创 2024-09-17 10:26:08 · 739 阅读 · 0 评论 -
模型训练的过程中对学习不好的样本怎么处理更合适
处理学习不好的样本的方法包括样本加权、数据增强、样本重采样、难例挖掘、模型调整、学习率调整和后处理技术。具体采用哪种策略,取决于你的模型、数据以及训练目标。调整这些策略可以有效地改善模型对困难样本的学习效果。原创 2024-09-17 00:07:58 · 463 阅读 · 0 评论 -
常见生成模型有哪些?生成模型前后存在依赖关系,怎么处理更合适
生成模型包括 GANs、VAEs、自回归模型、流模型和扩散模型等,它们各有优点并适用于不同的生成任务。处理生成模型中的前后依赖关系可以通过条件生成、序列建模、自回归生成、模型融合和后处理等策略来实现,具体选择取决于任务的需求和数据的特点。原创 2024-09-16 11:43:55 · 300 阅读 · 0 评论 -
调度器scheduler保留什么参数
学习率调度器的状态文件包含了用于恢复训练时必要的所有信息,以确保学习率的调整可以从中断点继续。保存这些状态信息可以使训练过程更加稳定,并避免从头开始调整学习率。原创 2024-09-02 16:59:48 · 576 阅读 · 0 评论 -
pytorch模型保存及加载参数恢复训练的例子
在恢复训练时,优化器不需要重新传递是因为它在初始化时已经绑定了模型参数,并且这些引用在模型权重加载后仍然有效。优化器只需要恢复它的状态,就可以继续操作绑定的模型参数。原创 2024-09-02 16:28:50 · 918 阅读 · 0 评论 -
Flask部署pytorch服务
【代码】Flask部署pytorch服务。原创 2023-09-20 23:30:30 · 181 阅读 · 0 评论 -
paddle-gpu安装避坑指南
在终端中输入ls /usr/lib |grep lib,可以看到shared library中并没有libcudnn.so和libcublas.so。在shared library中创建libcudnn.so和libcublas.so。找到libcudnn.so和libcublas.so的位置。原创 2023-02-20 15:51:53 · 1749 阅读 · 0 评论 -
使用DQN问题整理
【代码】使用DQN问题整理。原创 2022-11-18 17:16:19 · 725 阅读 · 3 评论 -
Transformer
1.TransformerTransformer 是一种新的、基于 attention 机制来实现的特征提取器,可用于代替 CNN 和 RNN 来提取序列的特征。Transformer 首次由论文 《Attention Is All You Need》 提出,在该论文中 Transformer 用于 encoder - decoder 架构。事实上 Transformer 可以单独应用于 encoder 或者单独应用于 decoder 。Transformer 相比较 LSTM 等循环神经网络原创 2022-01-15 11:21:40 · 524 阅读 · 0 评论 -
pycharm连接docker tensorflow-gpu镜像运行报错
报错如下:Traceback (most recent call last): File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/pywrap_tensorflow.py", line 58, in <module> from tensorflow.python.pywrap_tensorflow...原创 2020-02-01 11:50:11 · 372 阅读 · 0 评论 -
tensorflow api
1. api使用tf.matmul(a, b, transpose_b=True) 根据a和b的后两维进行矩阵相乘tf.where(condition, x, y)如果x,y和condition的数据维度不一样,会直接进行broadcast原创 2021-09-02 19:00:06 · 82 阅读 · 0 评论 -
Tensorflow-各种优化器总结与比较
http://t.zoukankan.com/xiaofengzai-p-14346767.html原创 2022-08-09 15:30:28 · 355 阅读 · 0 评论 -
tensorflow-serving-api安装
第1步安装指定版本的tensorflow-gpu==2.4.0和tensorflow==2.4.0(cpu版本)tensoflow的cpu版本是必须的,只有gpu版本不行第2步pip install tensorflow-serving-api==2.4.0原创 2021-06-29 14:36:49 · 971 阅读 · 0 评论 -
pycharm连接docker配置及tensorflow_gpu镜像的设置
连接设置sudo vim /lib/systemd/system/docker.service设置tcp, 比ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock原创 2021-09-30 15:45:01 · 173 阅读 · 0 评论 -
tensorflow部署服务样例
step2: deploy_train中python的路径。step1: python的环境包,建议重新安装。step3: Dockerfile中的ip。原创 2022-08-25 11:15:53 · 481 阅读 · 0 评论 -
pycharm 不能debug tensorflow keras的call函数
tensorflow keras call函数不能debugclass MyLoss(tf.keras.losses.Loss): def __init__(self): super().__init__() @tf.autograph.experimental.do_not_convert # breakpoint now recognized with this decorator def call(self, y_true, y_pred):原创 2021-08-21 20:50:54 · 955 阅读 · 0 评论 -
torch安装geometric相关包指定torch和cuda版本
1. 版本目录版本库的列表: https://pytorch-geometric.com/whl/pip install torch_sparse -f https://pytorch-geometric.com/whl/torch-1.9.1%2Bcu102.html2. 选择合适的版本点击,生成对应的f参数链接例如选择torch 1.9.1 cuda的版本10.2...原创 2021-10-18 16:58:47 · 1800 阅读 · 0 评论 -
Torch基础知识
1、报错日志1解决方案2、报错日志2解决方案原创 2022-06-24 17:26:56 · 1412 阅读 · 0 评论