![](https://img-blog.csdnimg.cn/20201114184905993.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
模式识别与深度学习
文章平均质量分 68
模式识别与深度学习
不卷CV了
热爱历史的工科狗
展开
-
Depthwise卷积与Pointwise卷积
Depthwise卷积与Pointwise卷积Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作Depthwise Separable Convolution(参见Google的Xception),该结构和常规卷积操作类似,可用来提取特征,但相比于常规卷积操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积操作对于一张5×5像素、三通道彩色输入图片(shape为5×5×3)。经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核sh转载 2021-08-27 16:33:45 · 467 阅读 · 0 评论 -
pytorch中的contiguous()
pytorch中的contiguous()1 先看看官方中英文doc:torch.Tensor.contiguous (Python method, in torch.Tensor)torch.Tensor.is_contiguous (Python method, in torch.Tensor)1.1 contiguous() → TensorReturns a contiguous tensor containing the same data as self tensor. If sel转载 2021-08-25 14:25:57 · 1209 阅读 · 0 评论 -
Pytorch自动混合精度(AMP)介绍与使用
Pytorch自动混合精度(AMP)介绍与使用背景:pytorch从1.6版本开始,已经内置了torch.cuda.amp,采用自动混合精度训练就不需要加载第三方NVIDIA的apex库了。本文主要从三个方面来介绍AMP:一.什么是AMP?二.为什么要使用AMP?三.如何使用AMP?四. 注意事项正文:一.什么是AMP?默认情况下,大多数深度学习框架都采用32位浮点算法进行训练。2017年,NVIDIA研究了一种用于混合精度训练的方法,该方法在训练网络时将单精度(FP32)与半精度(FP1转载 2021-07-25 10:51:31 · 8553 阅读 · 0 评论 -
HFT算法
原文链接:https://www.zhihu.com/question/56347440/answer/151561680HFT HFT算法(Hidden Factors as Topics,是一个用评论文本来增强评分预测的算法) 目前存在的推荐算法,主要关注于利用用户的评分历史和隐式反馈信息训练模型,而忽略了一项常见的用户反馈——评论。用户对商品进行的评论,既能反映用户偏好,又能体现商品的某些属性,其中蕴含着大量有价值的信息。 将经典的rating-prediction mod转载 2021-04-11 20:59:58 · 1042 阅读 · 0 评论 -
Grid Search简介
Grid Search简介 跟人聊天时听到Grid Search,一开始还以为误以为是Beam Search了,后来查阅了一下才了解了它的意思。 Grid Search是一种调参的手段,即穷举,穷举所有的超参组合。 当你对决策树调参,如果只对一个超参优化,比如树的最大深度,尝试[3, 5, 7]。那么可以表示为 如果你还想对分裂标准进行调参,分别试试gini和entropy,那么就相当要对2×3=6组参数进行尝试。如下图 所以这就是为什么叫做gird search原创 2021-04-09 15:53:15 · 5158 阅读 · 3 评论 -
条件随机场(CRF)的理解
条件随机场(CRF)的理解原文链接:https://www.zhihu.com/question/35866596/answer/139485548理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例子吧。于是乎,这件事只能由我这样的机器学习小白来干了。希望对其他的小白同学有所帮助。最近在刷李航的《统计学习方法》,翻阅目录,发现就后三章内容没有接触过,分别是EM算法、隐马尔可夫模型和条件随机场,其他内容在林轩田的两门公开课里转载 2021-04-07 15:43:51 · 274 阅读 · 0 评论 -
Attention机制学习笔记
Attention机制学习笔记Attention机制与Self-Attention机制的理解与区别:Attention机制与self-Attention机制常见的几种Attention方法以及对Attention计算方法的总结:https://www.zhihu.com/question/68482809/answer/1742071699Attention设计的套路:Attention Model(mechanism) 的 套路...原创 2021-04-07 08:50:38 · 249 阅读 · 0 评论 -
深度学习中的优化方法(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam, Radam)
深度学习中的优化方法(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam, Radam)SGD,Adagrad,Adadelta,Adam,Adamax,Nadam: https://zhuanlan.zhihu.com/p/22252270提供了不需要可调参数的动态warmup的Radam: https://zhuanlan.zhihu.com/p/85911013...原创 2021-03-28 11:15:59 · 659 阅读 · 0 评论 -
Benchmark和Baseline的含义与区别
Benchmark和Baseline的含义与区别原文地址:https://www.zhihu.com/question/28823373Benchmark和baseline都有性能比较的意思。先看看字典定义。benchmark:N-COUNT A benchmark is something whose quality or quantity is known and which can therefore be used as a standard with which other things转载 2021-03-14 18:25:41 · 750 阅读 · 0 评论 -
Resnet
Resnet原文地址:https://www.jianshu.com/p/93990a641066介绍终于可以说一下Resnet分类网络了,它差不多是当前应用最为广泛的CNN特征提取网络。它的提出始于2015年,作者中间有大名鼎鼎的三位人物He-Kaiming, Ren-Shaoqing, Sun-Jian。绝对是华人学者的骄傲啊。VGG网络试着探寻了一下深度学习网络的深度究竟可以深几许以能持续地提高分类准确率。我们的一般印象当中,深度学习愈是深(复杂,参数多)愈是有着更强的表达能力。凭着这一基本准转载 2021-03-14 17:02:50 · 339 阅读 · 0 评论 -
什么是one-shot learning
什么是one-shot learning Zero-shot learning 指的是我们之前没有这个类别的训练样本。但是我们可以学习到一个映射X->Y。如果这个映射足够好的话,我们就可以处理没有看到的类了。 比如,我们在训练时没有看见过狮子的图像,但是我们可以用这个映射得到狮子的特征。一个好的狮子特征,可能就和猫,老虎等等比较接近,和汽车,飞机比较远离。 One-shot learning 指的是我们在训练样本很少,甚至只有一个的情况下,依旧能做预测。 这是如何做到呢?可以在一个大数据原创 2020-11-27 08:16:39 · 5579 阅读 · 0 评论 -
Pytorch中BCELoss和BCEWithLogitsLoss的差别
Pytorch中BCELoss和BCEWithLogitsLoss的差别BCELoss在图片多标签分类时,如果3张图片分3类,会输出一个3*3的矩阵。先用Sigmoid给这些值都搞到0~1之间:假设Target是:BCELoss是−1n∑(yn×lnxn+(1−yn)×ln(1−xn))-\frac{1}{n} \sum(y_n \times lnx_n + (1-y_n) \times ln(1-x_n))−n1∑(yn×lnxn+(1−yn)×ln(1−xn)) ,其中y是ta原创 2020-11-25 11:02:58 · 829 阅读 · 0 评论 -
torch常用基础函数
torch原文地址:torch常用基础函数本笔记引用自PyTorch中文文档包torch包含了多维疑是的数据结构及基于其上的多种数学操作。1. 张量Tensorstorch.is_tensor(obj):如果obj是一个pytorch张量,则返回Truetorch.is_storage(obj):如果obj是一个pytorch storage对象,则返回Truetorch.numel(input):返回input张量中的元素个数。2. 创建操作torch.eye(n, m=Non转载 2020-11-12 21:29:26 · 3931 阅读 · 0 评论 -
Tacotron入门
Tacotron入门 Tacotron是TTS领域非常著名的一个模型(日常被当做对比参照物),正好毕设的Flowtron也是在它的基础上进行的改进,因此我也特地学习了一下Tacotron这个模型。 以下是相关的学习资料: Tacotron原论文:TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS 知乎上一篇写得不错的Tacotron概述:Tacotron&Tacotron2——基于深度学习的端到端语音合成模型...原创 2020-11-09 10:00:53 · 665 阅读 · 0 评论 -
什么是多模态机器学习?
什么是多模态机器学习?原文地址:什么是多模态学习?首先,什么叫做模态(Modality)呢?每一种信息的来源或者形式,都可以称为一种模态。例如,人有触觉,听觉,视觉,嗅觉;信息的媒介,有语音、视频、文字等;多种多样的传感器,如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。同时,模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态,甚至在两种不同情况下采集到的数据集,亦可认为是两种模态。因此,多模态机器学习,英文全称 MultiModal Machine Learning转载 2020-10-30 19:35:58 · 1974 阅读 · 0 评论 -
Embedding的理解
Embedding的理解 我Embedding作用总是忘…因此在此记录辅助理解。 原文地址:怎么形象理解embedding这个概念?什么是Embedding? Embedding(嵌入)是拓扑学里面的词,在深度学习领域经常和Manifold(流形)搭配使用。 可以用几个例子来说明,比如三维空间的球体是一个二维流形嵌入在三维空间(2D manifold embedded in 3D space)。之所以说他是一个二维流形,是因为球上的任意一个点只需要用一个二维的经纬度来表达就可以了。转载 2020-10-28 22:36:01 · 1055 阅读 · 0 评论 -
Transformer入门
上周导师让我可以先了解一下Transformer的模型,这周花了两三天时间查阅了相关资料以及论文,对Transformer有了一个大概的了解。(相关的代码还没看,后续会进一步了解一下相关代码)附上一个自认为相关博客里详解Transformer讲的最好的一篇:图解Transformer以及Transformer的原论文:Attention is all you need...原创 2020-09-23 22:15:57 · 825 阅读 · 0 评论 -
(深度学习)AI换脸?——Pytorch实现GAN、WGAN、WGAN-GP
(深度学习)AI换脸?——Pytorch实现GAN、WGAN、WGAN-GPGANWGANWGAN-GP详细代码此文为Pytorch深度学习的第四篇文章,在上一篇文章中(深度学习)Pytorch自己动手不调库实现LSTM我们不调库手动实现了LSTM。今天我们放松一下,来实现AI换脸(一看就是P站老流氓了 )中常常用到的GAN、WGAN、WGAN-GP这三个模型。GANGAN(Generative Adversarial Networks)是一种深度学习模型,是由Ian J. Goodf原创 2020-05-18 09:00:14 · 8589 阅读 · 8 评论 -
(深度学习)Pytorch自己动手不调库实现LSTM
(深度学习)Pycharm自己动手不调库实现LSTM此文为Pycharm深度学习的第三篇文章,在上一篇文章(深度学习)Pytorch进阶之实现AlexNet中我们不掉库手动实现了AlexNet,今天我们尝试更具挑战性的,手动实现LSTM。LSTM(Long short-term memory)是一种特殊的RNN。通过精巧的设计解决长序列训练过程中的远距离传递导致的信息丢失问题。标准RNN由简单的神经网络模块按时序展开成链式。这个重复模块往往结构简单且单一,如一个tanh层。这种记忆叠加方式简单粗暴,容原创 2020-05-15 09:51:31 · 3021 阅读 · 9 评论 -
(深度学习)Pytorch进阶之实现AlexNet
(深度学习)Pytorch进阶之实现AlexNet1.综述2.数据集3.代码细节说明4.训练数据可视化5.详细代码综述这是Pytorch深度学习系列的第二个项目。在上一篇文章Pytorch实现MLP并在MNIST数据集上验证文章中,我们实现了一个基础的神经网络。这次,我们要更进一步,实现一个CNN(卷积神经网络)——AlexNet。2012 年,Alex 等人提出的 Alex...原创 2020-04-27 10:47:08 · 1173 阅读 · 0 评论 -
tensorboard命令打开空白页面的解决办法
tensorboard命令打开空白页面的解决办法现象使用tensorboard --logdir runs命令后,命令行显示正常:然而打开所提供的http://localhost:6006/页面却却只有空白页面。分析原因在当前虚拟环境中输入conda list查看环境中的库:发现tensorflow、tensorboard版本跟tensorboardX版本不对应(我这里截图是修...原创 2020-04-25 15:25:42 · 3357 阅读 · 0 评论 -
(深度学习)构造属于你自己的Pytorch数据集
(深度学习)构造属于你自己的Pytorch数据集1.综述2.实现原理3.代码细节4.详细代码综述Pytorch可以说是一个非常便利的深度学习库,它甚至在torchvision.datasets中拥有许多一步到位完成数据集下载、解析、读取的类——然鹅,这样也就养成了我们懒惰依赖的心理。当我们需要用到torchvision.datasets中不曾拥有的数据集时,我们可能就会不知所措。这...原创 2020-04-24 21:57:25 · 1036 阅读 · 0 评论 -
(深度学习)Pytorch之dropout训练
(深度学习)Pytorch学习笔记之dropout训练Dropout训练实现快速通道:点我直接看代码实现Dropout训练简介在深度学习中,dropout训练时我们常常会用到的一个方法——通过使用它,我们可以可以避免过拟合,并增强模型的泛化能力。通过下图可以看出,dropout训练训练阶段所有模型共享参数,测试阶段直接组装成一个整体的大网络:那么,我们在深度学习的有力工具——Pytor...原创 2020-04-22 09:15:16 · 59410 阅读 · 13 评论 -
(深度学习)Pytorch实现MLP并在MNIST数据集上验证
Pytorch实现MLP并在MNIST数据集上验证1.综述2.MNIST数据集3.代码细节说明4.详细代码综述”PyTorch实现MLP并在MNIST数据集上验证“是我所上的模式识别与深度学习课程的第一个实验,主要是给我们练练手熟悉熟悉Pytorch的——如果你也是刚刚入门Pytorch,这个实验非常适合你来练手!首先,介绍一下Pytorch:Pytorch是torch的pyt...原创 2020-04-21 22:57:48 · 8142 阅读 · 2 评论