deep learning
文章平均质量分 76
青山渺渺
Android Framework、Android Media开发工程师,关注公众号《青山渺渺》阅读更多内容
展开
-
Pytorch intermediate(三) BiLSTM
bidirectional=True,这样就构建了一个双向的LSTM模型。初始化参数时,全连接层的隐藏层特征数量x2,h0和c0参数也要相应改变。有些时候预测可能需要由前面若干输入和后面若干输入共同决定,这样会更加准确。因此提出了双向循环神经网络,网络结构如上图。Bi-directional Long Short-Term Memory,双向LSTM网络。构建LSTM模型时,在参数中添加。原创 2023-09-11 23:54:04 · 1329 阅读 · 3 评论 -
K均值、模糊C均值、直觉模糊C均值的理解与C++实现
最近做课题想到用聚类算法做图像分割,从理论到实践,好不容易把理论看完,大概明白是个什么意思,到了代码转化的步骤,what the fuck!!!这都是什么,自己不会编就算了,把别人的代码借过来根本看不懂在写什么!!!特此开贴记录坑爹玩意儿。1、K-meanskmeans应该是算比较简单的算法之一了。算法思想如下:参考https://blog.csdn.net/loveliuzz/art...原创 2019-03-11 19:36:10 · 6498 阅读 · 1 评论 -
Pytorch Advanced(三) Neural Style Transfer
模型结构如下,可以看到使用序列模型来写的VGG-NET,所以标号即层号,我们要保存的是['0', '5', '10', '19', '28'] 的输出结果。6、风格损失:同样计算格拉姆风格矩阵,将每一层的风格损失叠加,得到总的风格损失,计算公式同样和keras版本有所不一样。1、加载风格图像和内容图像,我们在之前的博客中使用的一幅加噪图进行训练,这里是用的内容图像的拷贝。5、内容损失:这里是遍历5个层的输出来计算损失,而在keras版本中只用了第4层的输出计算损失。原创 2023-09-11 23:56:09 · 975 阅读 · 1 评论 -
Pytorch intermediate(四) Language Model (RNN-LM)
4、线性激活层:LSTM的隐藏层有1024个特征,要把这1024个特征通过全连接组合成我们词库特征10000,得到的就是这10000个词被选中的概率了。原创 2023-09-11 23:54:27 · 1195 阅读 · 4 评论 -
Pytorch intermediate(二) ResNet
layer2:输入通道:16,输出通道:32,padding = 0, stride = 2。由于输入不等于输出通道数,增加了一层卷积层,并且带有对应的stride。可以看到在残差块中有一个判断,就是判断输入数据是否被向下采样,也就是形状是否变化,如果变化就进行上述处理。layer1:输入通道:16,输出通道:16,padding = 0,stride = 0。conv3x3:将输入数据进行一次卷积,将数据转换成为,残差块需要的shape大小。layer3:输入通道:32,输出通道:64,其余同上。原创 2023-09-11 23:52:57 · 750 阅读 · 1 评论 -
Pytorch intermediate(一) CNN
在测试阶段需要model.eval(),使用移动平均值和方差代替训练过程中的均值和方差。使用pytorch实现了2层卷积神经网络,包含有batchnorm层。原创 2023-09-11 23:51:41 · 577 阅读 · 1 评论 -
Pytorch Advanced(一) Generative Adversarial Networks
输入随机噪声,G产生一个假图,D去分辨,score = 1就是需要我们需要优化的目标,意思就是我们要让生成的图片变成真的。假设G生成了一张图,在D那里的得分很高,那么G就很成功的骗过了D,如果D很轻松的分辨出了假图,那么G的效果不好,那么就需要调整参数了。这里给的真图是没有经过人工标注的,只知道这是真的,D是不知道这是什么的,只需要分辨真假。训练D时,上一轮G产生的图片,和真实图片一起作为x进行输入,假图为0,真图标签为1,通过x生成一个score,通过score和标签y计算损失,就可以进行反向传播了。原创 2023-09-11 23:54:54 · 958 阅读 · 1 评论 -
Pytorch intermediate(三) RNN分类
使用RNN对MNIST手写数字进行分类。pytorch中的LSTM的使用让人有点头晕,这里讲述的是LSTM的模型参数的意义。原创 2023-09-11 23:53:28 · 1252 阅读 · 1 评论 -
Pytorch Advanced(二) Variational Auto-Encoder
变分自编码 (Variational Autoencoder) 为了让隐层抓住输入数据特性, 而不是简单的输出数据=输入数据,他在隐层中加入随机噪声(单位高斯噪声)(这个过程也叫reparametrize),以确保隐层能较好抽象输入数据特点。有了随机的一张图片之后,我们把他完整的放入模型中,生成了和输入相似的一张图片,也没看出来是修复了图像......model.decode()是一个解码的过程,我们给他一个随机的中间特征z就可以输出一个数字图片了。下面找了一张很丑的图来说明自编码的过程。原创 2023-09-11 23:55:40 · 807 阅读 · 3 评论 -
Faster R-CNN由深入简
现有有很多关于faster-rcnn的文章,要么就是纯理论,要么就是干讲代码,读下来好像若有所思又好像什么都不会。断断续续看了一个月,不要问我为什么要这么长时间,因为我不会告诉你的...... 本文旨在将前辈们做的工作进行整合,从论文的原理和代码的实现流程深度剖析faster-rcnn,也当一个学习记录和一个疑问解答。语言和逻辑有不同的地方望谅解 py...原创 2019-07-28 19:53:10 · 1036 阅读 · 0 评论 -
Softmax分类和两层神经网络以及反向传播的代码推导
在jupyter中写的代码,要import需要下载成为.py文件,import之后如果.py文件中的内容有了修改需要重新打开jupyter,很麻烦,现在在import之后加上以下代码,更改.py文件后就不需要重新打开jupyter了。将之前的数据构建整合成一个方法,注意这边的归一化操作是将每个特征减去对应的特征点最大值,这和softmax中一组得分减取改组得分的最大值不一样。读完这两篇对反向传播中的链式求导有了基础了解,下面就是一个二层神经网络的反向传播的推导过程(字丑),其中softmax部分的推导。原创 2023-09-11 22:20:50 · 1741 阅读 · 1 评论 -
人脸识别与神经风格转换
文章参考参考,在此基础上对人脸识别和神经风格转换的内容做一个简述。人生苦短,我学torch人脸识别模型构建 人脸识别仅仅用的表层特征做对比是远远不够的,这里用到的就是FaceNet的特征提取。由于FaceNet需要大量的数据以及长时间的训练,因此,遵循在应用深度学习设置中常见的实践,我们要加载其他人已经训练过的权值。哈哈哈哈哈哈,其实我也不知道怎么训练,模型是个啥样我都...原创 2023-09-11 23:48:58 · 597 阅读 · 0 评论 -
多层神经网络以及反向传播的代码推导
在实际过程中,往往采用模块化的反向传播推导。w0 = w0*mu - learning_rate*dW个人理解,原本是按照梯度来走,但是现在更新后有了自己的速度,速度不可瞬间变化,把梯度看作一个力,这个力将会概念速度的大小和方向。据说,批量归一化可以减小随机初始化权重的影响,加速收敛,学习率适当增大,减少过拟合,使用较低的dropout,减小L2正则化系数等优点。上面的loss函数输出的是当前的损失值和模型参数的梯度,梯度下降过程中也就是在train的过程中,在负梯度方向上对模型参数进行更新。原创 2023-09-11 22:19:50 · 1829 阅读 · 4 评论 -
词向量的运算与Emoji生成器
1、词向量运算 之前学习RNN和LSTM的时候,输入的语句都是一个向量,比如恐龙的名字那个例子就是将一个单词中的字母按顺序依次输入,这对于一个单词的预测是可行的。但是对于想让机器学习到一个句子的意思那就不行了,它需要知道每个单词的意思,而且还需要知道单词连起来的意思,这时候输入到网络中的单位...原创 2023-09-11 23:50:58 · 1252 阅读 · 0 评论 -
Keras入门与残差网络的搭建
发现草稿箱里还有一篇很早之前的学习笔记,希望可以帮助到有需要的童鞋~原创 2023-09-11 22:19:08 · 9008 阅读 · 1 评论