深度学习
xiaocong1990
这个作者很懒,什么都没留下…
展开
-
多模态系列论文--BLIP 详细解析
多模态系列论文--BLIP 详细解析_blip模型-CSDN博客原创 2024-03-27 13:50:30 · 237 阅读 · 0 评论 -
各种文字生成图片的AIGC模型
各种文字生成图片的AIGC模型(openAI、谷歌、stable、Midjourney等)_文本生成图像模型-CSDN博客原创 2024-03-27 13:48:57 · 382 阅读 · 0 评论 -
关于Prompt Engineering
关于Prompt Engineering – WuShan's Notes原创 2024-03-21 09:58:28 · 340 阅读 · 0 评论 -
预训练新范式提示学习(Prompt-tuning,Prefix-tuning,P-tuning)
https://bbs.xfyun.cn/thread/85182大模型微调技巧:Prefix Tuning, Prompt Tuning, P-Tuning, P-Prompting v2.0-百度开发者中心原创 2024-03-20 16:58:00 · 111 阅读 · 0 评论 -
MMOE极化
MMOE中的Gate极化原创 2024-02-04 09:15:04 · 414 阅读 · 0 评论 -
技巧:训练时Loss剧烈震荡原因汇总
在深度学习里面,不同的loss针对的任务是有不同的,有些loss函数比较通用例如L1/L2等,而如perceptual loss则比较适合在图像恢复/生成领域的任务上。当loss出现问题的适合,想一想,是不是loss设置的有问题,别人在此领域的任务的方法是否也使用和你一样的loss。对比度变换(contrast): 在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变. 对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间), 增加光照变化;改变图像内容的朝向;原创 2023-10-12 09:26:24 · 1755 阅读 · 0 评论 -
激活函数
神经网络参数初始化方法-腾讯云开发者社区-腾讯云人工智能系列实验(四)——多种神经网络参数初始化方法对比(Xavier初始化和He初始化)_PPPerry_1的博客-CSDN博客https://www.cnblogs.com/banluxinshou/p/14000353.html原创 2023-05-30 15:08:46 · 60 阅读 · 0 评论 -
损失函数。
机器学习方法—损失函数(二):MSE、0-1 Loss与Logistic Loss - 知乎原创 2023-05-01 11:42:31 · 58 阅读 · 0 评论 -
max pooling 和 mean pooling如何参与反向传播的?
【你不知道的基础】max pooling 和 mean pooling如何参与反向传播的?_zenRRan的博客-CSDN博客原创 2023-04-27 15:05:36 · 63 阅读 · 0 评论 -
MSE、0-1 Loss与Logistic Loss
深度学习相关概念:过拟合与欠拟合_什么是过拟合和欠拟合_AiCharm的博客-CSDN博客原创 2023-04-27 15:03:43 · 74 阅读 · 0 评论 -
过拟合与欠拟合
深度学习相关概念:过拟合与欠拟合_什么是过拟合和欠拟合_AiCharm的博客-CSDN博客原创 2023-04-27 14:59:51 · 59 阅读 · 0 评论 -
L1与L2分别服从什么分布?
L1与L2分别服从什么分布?_l1和l2正则先验分别服从什么分布_AliceWanderAI的博客-CSDN博客L1正则化和L2正则化的区别 - 知乎原创 2023-04-26 16:54:16 · 53 阅读 · 0 评论 -
AUC原理详细讲解
AUC原理详细讲解_晚睡的人没对象的博客-CSDN博客原创 2023-04-26 16:32:05 · 70 阅读 · 0 评论 -
pytorch自定义
Pytorch 学习笔记-自定义激活函数_pytorch自定义激活函数_@bnu_smile的博客-CSDN博客原创 2023-04-23 22:12:27 · 42 阅读 · 0 评论 -
手写.
【代码】手写。原创 2023-04-23 11:07:11 · 133 阅读 · 0 评论 -
Pytorch 自定义激活函数前向与反向传播
1、转化对偶问题上篇博客中我们得到的目标函数:(1)我们在优化时喜欢求最小值,将上式转化正等价的求最小值如下:(2)对于(2)式,这是一个凸二次规划问题,我们可以使用拉格朗日乘数法进行优化。 (3)(3)式中的是拉格朗日乘子,然后我们令:(4)为什么能这样假设呢?如果约束条件都满足,(4)式的最优...原创 2023-04-18 12:59:45 · 196 阅读 · 1 评论 -
计算机视觉面试
计算机视觉(AI)面试大全_计算机视觉面试_大黑山修道的博客-CSDN博客深度可分离卷积(DepthwiseSeparableConvolution):Depthwise卷积与Pointwise卷积_pointwise conv with channel attention_我是一个对称矩阵的博客-CSDN博客MobileNetv2笔记:倒残差和线性Bottlenecks - 知乎深度学习基础:深入理解Squeeze-and-Excitation (SE)网络_C_小米同学的博客-CSDN博客【CV知识点扫原创 2023-04-18 21:16:38 · 1254 阅读 · 0 评论 -
标签平滑Label Smoothing
标签平滑Label Smoothing-CSDN博客原创 2023-04-18 20:06:42 · 67 阅读 · 0 评论 -
AUC/ROC
无原创 2023-04-17 18:30:35 · 41 阅读 · 0 评论 -
关于Adam
【深度学习】关于Adam_adam优点_littlemichelle的博客-CSDN博客原创 2023-04-18 18:54:35 · 111 阅读 · 1 评论 -
Auto Encoder && GAN
Auto Encoder原创 2022-09-27 20:25:20 · 224 阅读 · 0 评论 -
PID详解
PID在控制领域应该是应用最为广泛的算法了,在工业控制,汽车电子等诸多领域中运用下面我用一个例子和算法过程来讲解PID的概念转载 2022-08-11 11:26:09 · 2564 阅读 · 0 评论 -
非线性优化-拟牛顿法L-BFGS(6)
转载 2018-09-22 18:52:46 · 341 阅读 · 0 评论 -
非线性优化-拟牛顿法BFGS(5)
转载 2018-09-22 18:51:03 · 386 阅读 · 0 评论 -
非线性优化-拟牛顿法DFP(4)
转载 2018-09-22 18:49:18 · 389 阅读 · 0 评论 -
tensorflow的一些代码分析(四) tensorflow常用函数介绍
1.矩阵操作1.1矩阵生成这部分主要将如何生成矩阵,包括全0矩阵,全1矩阵,随机数矩阵,常数矩阵等tf.ones | tf.zerostf.ones(shape,type=tf.float32,name=None) tf.zeros([2, 3], int32) 用法类似,都是产生尺寸为shape的张量(tensor)sess = tf.Intera转载 2017-05-17 16:26:23 · 386 阅读 · 0 评论 -
非线性优化-几种优化方法的比较(1)
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题,比如每个企业和个人都要考虑的一个问题“在一定成本下,如何使利润最大化”等。最优化方法是一种数学方法,它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入,博主越来越发现最优化方法的重要性,学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解,比如我们现在学习的机器学习算法...转载 2018-09-22 18:55:20 · 29807 阅读 · 1 评论 -
非线性优化-共轭梯度法(7)
转载 2018-09-22 19:07:28 · 4004 阅读 · 1 评论 -
非线性优化-拉格朗日乘数法(8)
1. 拉格朗日乘数法的基本思想 作为一种优化算法,拉格朗日乘子法主要用于解决约束优化问题,它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有(n+k)个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。 如何将一个含有n个变量和k个约束条件的约束优化问题转化为含有(n+k)个变量的无约束优化问题?拉格朗日...转载 2018-09-22 19:21:04 · 1838 阅读 · 0 评论 -
LSTM及其变种
Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点,看起来也像是一种巨大的弊端。例如,假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经...原创 2018-10-12 15:42:03 · 4079 阅读 · 1 评论 -
Inception(V1-V4)
参考:1. Inception[V1]: Going Deeper with Convolutions2. Inception[V2]: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift3. Inception[V3]: Rethinking the ...转载 2018-12-10 14:35:09 · 459 阅读 · 0 评论 -
非线性优化-拟牛顿法条件(3)
转载 2018-09-22 18:48:15 · 490 阅读 · 0 评论 -
非线性优化-牛顿法(2)
转载 2018-09-22 18:46:42 · 367 阅读 · 0 评论 -
MCMC
链接:http://www.cnblogs.com/pinard/p/6625739.html http://www.cnblogs.com/pinard/p/6632399.html http://www.cnblogs.com/pinard/p/6638955.html http://www.cnblogs.com/pin...转载 2018-09-23 17:00:54 · 1271 阅读 · 0 评论 -
Softmax函数加速(Part I)
===========================本章内容:基于Softmax函数的优化层次化的Softmax函数(Hierarchical Softmax)差分Softmax函数(Differentiated Softmax)CNN-Softmax基于采样的优化========转载 2017-06-16 14:46:44 · 4761 阅读 · 1 评论 -
深度学习调参策略(二)
超参数(Hyper-Parameter)是困扰神经网络训练的问题之一,因为这些参数不可通过常规方法学习获得。神经网络经典五大超参数:学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers)单层神经元数(Units)、正则惩罚项(Regularizer|Normalization)这五大超参数使得神经网络转载 2017-05-20 20:09:25 · 1437 阅读 · 1 评论 -
深度学习调参策略(一)
经常会被问到你用深度学习训练模型时怎么样改善你的结果呢?然后每次都懵逼了,一是自己懂的不多,二是实验的不多,三是记性不行忘记了。所以写这篇博客,记录下别人以及自己的一些经验。Ilya Sutskever(Hinton的学生)讲述了有关深度学习的见解及实用建议:获取数据:确保要有高质量的输入/输出数据集,这个数据集要足够大、具有代表性以及拥有相对清楚的标签。缺乏数据集是很难成功的转载 2017-05-20 20:08:27 · 3837 阅读 · 0 评论 -
深度残差网络和Highway网络
今天讲的这两种网络结构都是最新被业界针对图像处理问题提出的最新的结构,主要解决就是超深层的网络在训练优化中遇到的问题。说实话这两种模型就本身来说数学公式都不复杂,但是确实在实战中取得了非常好的效果(深度残差网络帮助微软的团队以绝对优势获得了2015 Image Cup的冠军),这也从侧面说明了深度学习是一门以实践为主导的学科,在这个领域里实践才是检验真理的唯一标准。(很多新的结构都是因为在实践中取转载 2017-05-18 20:37:41 · 2128 阅读 · 0 评论 -
tensorflow的一些代码分析(六) tensorflow实现word2vec
核心代码核心代码主要就是描述模型,计算loss,根据loss优化参数等步骤。这里计算loss直接使用了tf封装好的tf.nn.nce_loss方法,比较方便。优化方法这里也是选的最简单的梯度下降法。具体的描述就放在代码里说好了self.graph = tf.Graph() self.graph = tf.Graph() with self.graph.a转载 2017-05-17 16:29:30 · 888 阅读 · 0 评论 -
tensorflow的一些代码分析(五) tensorflow模型保存和可视化
保存与读取模型在使用tf来训练模型的时候,难免会出现中断的情况。这时候自然就希望能够将辛辛苦苦得到的中间参数保留下来,不然下次又要重新开始。好在tf官方提供了保存和读取模型的方法。保存模型的方法:# 之前是各种构建模型graph的操作(矩阵相乘,sigmoid等等....)saver = tf.train.Saver() # 生成saverwith tf.Session转载 2017-05-17 16:27:46 · 1391 阅读 · 0 评论