tensorflow/pytorch
zx超
这个作者很懒,什么都没留下…
展开
-
pytorch基础模型层和tranformer解释
2. transformer解释和实践: https://cloud.tencent.com/developer/article/2323625。1.模型基础层: https://cloud.tencent.com/developer/article/1664899, 转载。转载 2024-04-09 09:44:09 · 36 阅读 · 0 评论 -
交叉熵损失函数(Cross Entropy Loss)、散度(KL)
交叉熵、散度转载 2023-02-12 10:47:32 · 515 阅读 · 0 评论 -
tensorflow搭建神经网络的三种方法,Sequential/add/定义类
搭建神经网络的三种办法Sequential model = tf.keras.models.Sequential([ tf.keras.layers.Dense(3, activation='softmax', kernel_regularizer=tf.keras.regularizers.l2()) ]) model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.1), loss=tf.keras.los原创 2021-09-15 22:31:12 · 1108 阅读 · 2 评论 -
tensorflow中的算术运算(高维度)
import tensorflow as tfimport numpy as npx = tf.ones((2, 3, 6),dtype=tf.int32)print(x)y = np.array([[2,5,8,7,3,2]])y= tf.convert_to_tensor(y)print(y)tf.Tensor([[[1 1 1 1 1 1][1 1 1 1 1 1][1 1 1 1 1 1]][[1 1 1 1 1 1][1 1 1 1 1 1][1 1 1 1 1 1]原创 2021-05-05 14:34:00 · 98 阅读 · 0 评论 -
maxout 与dropout组合
1.Maxout可以与Dropout同时使用提升网络性能Dropout是一种网络规则化技巧,其实它就是相当于在训练很多个不同的网络结构,尽管如此,推理阶段所有不同结构的参数依然是共享的,因为实际上只有一个网络存在。在机器学习算法中,有一个概念叫做bagging,bagging就相当于提供了一种投票机制,对于一个任务,我们不是仅仅使用一个模型来做出决策,而是通过多个模型的平均来决定最终的决策。由于在Dropout中仅仅只有一个模型,因此无法进行平均操作,取而代之的是将模型的权重乘以Dropout比率p,原创 2021-05-05 16:07:13 · 491 阅读 · 0 评论 -
逻辑回归,原理及代码实现
Ⅰ.逻辑回归概述:逻辑回归(LR,Logistic Regression)是传统机器学习中的一种分类模型,它属于一种在线学习算法,可以利用新的数据对各个特征的权重进行更新,而不需要重新利用历史数据训练。因此在实际开发中,一般针对该类任务首先都会构建一个基于LR的模型作为Baseline Model,实现快速上线,然后在此基础上结合后续业务与数据的演进,不断的优化改进。由于LR算法具有简单、高效、易于并行且在线学习(动态扩展)的特点,在工业界具有非常广泛的应用。例如:评论信息正负情感分析(二分类)、用户点原创 2021-04-23 17:45:15 · 901 阅读 · 1 评论 -
安装gpu版本的tensorflow2.**
windows下安装tensorflow-gpu:首先查看我们自己的电脑是否携带gpu,以及计算力是否达到3以上。。。目前我们的电脑基本上都是可以达到这个标准的。。。。可以放心安装。。。。。python环境推荐安装anaconda。。。。。1.准备 .condarc文件的配置:目的就是为了下载快。 channels: - defaultsshow_channel_urls: truedefault_channels: - https://mirrors.tuna.tsinghua.e原创 2021-02-24 14:37:34 · 118 阅读 · 0 评论 -
pytorch中的dataloader 、iterationloader、num_works、dp、ddp
Dataloader 参数设置示例:Dataloader(dataset, num_workers=8, pin_memory=True)Dataloader的num_worker设置多少才合适,这个问题是很难有一个推荐的值。有以下几个建议:num_workers=0表示只有主进程去加载batch数据,这个可能会是一个瓶颈。num_workers = 1表示只有一个worker进程用来加载batch数据,而主进程是不参与数据加载的。这样速度也会很慢。num_workers>0 表示只有指定原创 2022-02-13 17:56:31 · 583 阅读 · 0 评论