![](https://img-blog.csdnimg.cn/20210914222429908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 71
深度学习笔记
A-Egoist
这个作者很懒,什么都没留下…
展开
-
推荐系统常用评价指标及其 Python 实现
推荐系统常用评价指标(Precision、Recall、HR、MRR、NDCG)原创 2023-05-08 19:12:05 · 994 阅读 · 0 评论 -
PyTorch to(device) 使用(PyTorch 指定设备, 查看设备)
在 PyTorch 的Module和Tensor使用to()有所区别,Module对象只需要调用to(device)不用接受返回值,Tensor对象需要接收返回值.原创 2023-04-18 17:18:00 · 1714 阅读 · 0 评论 -
【论文精读系列】Real-ESRGAN
【论文精读系列】Real-ESRGAN论文标题:Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data论文地址:https://arxiv.org/abs/2107.10833v2作者代码:https://github.com/xinntao/Real-ESRGAN原文概述在单张图片超分辨率(Single Image Super-resolution)的问题中,许多方法都采用传统的 Bicu原创 2022-02-24 12:11:11 · 4544 阅读 · 1 评论 -
注意力机制
注意力机制更好的阅读体验1 Attention1.1 什么是 Attention灵长类动物的视觉系统中的视神经接受了大量的感官输入。在检查视觉场景时,我们的视觉神经系统大约每秒收到 10810^8108 位的信息,这远远超过了大脑能够完全处理的水平。但是,并非所有刺激的影响都是相等的。意识的聚集和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体,例如猎物和天敌。在心理学框架中,人类根据随意(有意识)线索和不随意(无意识)线索选择注意点。下面两张图展现了在随意线索和不随意线索的影响改下原创 2021-11-27 10:12:05 · 2026 阅读 · 0 评论 -
Attention
1 Attention1.1 Attention 思想在心理学框架中,人类根据随意(有意识)线索和不随意(无意识)线索选择注意点。卷积、全连接层、池化层都只考虑不随意线索注意力机制则显示的考虑随意线索随意线索被称为查询(query)每个输入是一个值(value)和不随意线索(key)的对通过注意力池化层来有偏向性的选择某些输入1.2 非参注意力池化层给定数据 (xi,xj),i=1,…,n(x_i,x_j),i=1,\dots,n(xi,xj),i=1,…,n,要想根据 query原创 2021-11-01 18:52:58 · 177 阅读 · 0 评论 -
DL_0——环境准备
1 安装anacondaAnaconda详细安装及使用教程(带图文)2 安装pycharm手把手的教你安装PyCharm --Pycharm安装详细教程(一)3 anaconda配置虚拟环境Anaconda创建、激活、退出、删除虚拟环境4 pycharm中使用anaconda中的虚拟环境Pycharm如何使用Anaconda配置的虚拟环境(windows下)5 框架&工具包安装1)pytorch2)numpy3)pandas4)matplotlib5)…...原创 2021-09-09 20:55:29 · 132 阅读 · 0 评论 -
超分辨率的资料摘录
本篇博客主要记录了这几天我在查找资料时的收获概述,大概也指明了博客中提及到的文章的一部分主要内容,方便大家做一个筛选。SRGAN With WGAN,让超分辨率算法训练更稳定SRGAN 是基于 GAN 方法进行训练的,有一个生成器和一个判别器,判别器的主体使用 VGG19,生成器是一连串的 Residual block 连接,同时在模型后部也加入了 subpixel 模块,借鉴了 Shi et al 的 Subpixel Network 的思想,让图片在最后面的网络层才增加分辨率,提升分辨率的同时减少计原创 2021-10-10 16:00:54 · 360 阅读 · 0 评论 -
二维码超分效果评价指标
1 PSNR(Peak Signal-to-Noise Ratio)——峰值信噪比PSNR 是信号的最大功率和信号噪声功率之比,来测量已经被压缩的重构图像的质量,通常以分贝(dB)来表示。PSNR 指标越高,说明图像质量越好。PSNR=10⋅log10(MAXI2MSE)=20⋅log10(MAXIMSE)PSNR=10\cdot{\log_{10}{(\frac{MAX_I^2}{MSE})}}=20\cdot{\log_{10}{(\frac{MAX_I}{\sqrt{MSE}})}}PSN原创 2021-10-08 12:12:50 · 450 阅读 · 0 评论 -
二维码分辨率提升
文章目录1 概述2 快速使用2.1 配置环境2.2 预处理数据2.3 QR Code实现超分辨率2.4 训练模型2.5 处理整个文件夹1 概述目前该项目还处于开发阶段,接下来的内容会展示一下目前的实现效果。还有很多地方没有优化,会在后续的过程中逐步优化模型。2 快速使用2.1 配置环境在当前目录下打开命令行窗口,运行以下代码pip install -r environment.yml2.2 预处理数据在当前目录下打开命令行窗口,运行以下代码python utils.py处理原始数据原创 2021-10-02 18:59:31 · 1295 阅读 · 2 评论 -
多层感知机解决异或问题简单实现
文章目录问题概述公式推导Numpy实现问题概述公式推导Numpy实现原创 2021-09-29 20:03:02 · 1712 阅读 · 0 评论 -
GAN_1——基础知识
1 GAN浅析GAN主要由两个网络组成,一个是生成网络G(Generator),另一个是判别网络D(Discriminator)。以图片生成为例:G是一个生成图片的网络,它的输入是一个随机噪声z,通过这个噪声生成的图片记作G(z)D是一个判别网络,它可以判别一张图片是不是真实的。它的输入是x,x表示一张图片;输出是D(x),表示图片x是真实图片的概率,如果为1,则表示这张图片是真实的概率为100%,如果为0,则表示这张图片是真实的概率为0%在训练过程中,G的目标就是尽量生成真实的图片去欺骗判别原创 2021-09-22 10:42:46 · 1265 阅读 · 0 评论 -
DL_10——间章(多层感知机、前馈神经网络、全连接网络和反向传播)
1 多层感知机&前馈神经网络&全连接网络1.1 概述1)前馈神经网络 (feedforward neural network),又称作深度前馈网络(deep feedforward network)、多层感知机(multilayer perceptron,MLP)顾名思义,该网络中没有反向传播反馈,因此无法自动修改网络参数。2)全连接网络 (Full connection)在该网络中,除输入层外,每个节点都和上一层的所有节点两两相连。2 反向传播算法(Backpropagatio原创 2021-09-16 20:22:15 · 733 阅读 · 0 评论 -
DL_9——池化层
1 池化层卷积层对位置敏感,因此需要池化层来提供一定程度的平移不变性1.1 最大池化层每个窗口中最强的模式信号1.2 平均池化层将最大池化中的 “最大” 操作替换为 “平均”1.3 填充、步幅、多通道池化层与卷积层类似,都具有填充和步幅没有可学习的参数在每个输入通道应用池化层以获得相应的输出通道输出通道数 = 输入通道数1.4 总结池化层返回窗口中最大或平均值缓解卷积层对位置的敏感性同样有窗口大小、填充步幅作为超参数1.5 实现def pool2d(X原创 2021-09-15 22:14:33 · 111 阅读 · 0 评论 -
DL_8——卷积层
文章目录1 卷积1.1 交叉相关和卷积1.2 一维和三维交叉相关1.3 总结1.4 从零实现卷积操作和卷积层2 填充&步幅2.1 填充2.2 步幅2.3 总结2.4 从零实现1 卷积1.1 交叉相关和卷积二维交叉相关yi,j=∑a=1h∑b=1wwa,bxi+a,j+by_{i, j}=\sum_{a=1}^{h} \sum_{b=1}^{w} w_{a, b} x_{i+a, j+b}yi,j=∑a=1h∑b=1wwa,bxi+a,j+b二维卷积yi,j=∑a=1h∑原创 2021-09-14 22:22:19 · 167 阅读 · 0 评论 -
DL_7——使用GPU
文章目录1 配置环境1.1 安装GPU版PyTorch1.2 安装cuda1.3 查看GPU信息2 计算设备2.1 将Tensor放入GPU2.2 将模型放入GPU1 配置环境1.1 安装GPU版PyTorch1.2 安装cuda1.3 查看GPU信息在命令行中输入nvidia-smi可以查看GPU信息2 计算设备注意在使用gpu训练模型时,需确保数据和模型都在同一个设备上,否则可能会报错或者导致训练速度减慢。import torchfrom torch import nnif __原创 2021-09-14 18:46:20 · 128 阅读 · 0 评论 -
DL_6——PyTorch神经网络基础
1 层和块在PyTorch中,我们可以很灵活的使用nn.Module这个父类来构造我们想要的层和块。并且,在创建nn.Module的子类时,我们只需要重写__init__和forward这两个方法。在__init__中定义好网络结构,在forward中定义好如何进行前向计算。# -*- coding: utf-8 -*- # @Time : 2021/9/13 20:12 # @Author : Amonologue# @software : pycharm # @File : use_P原创 2021-09-13 22:22:28 · 107 阅读 · 0 评论 -
DL_5——权重衰退、丢弃法
文章目录1 权重衰退1.1 使用均方范数作硬性限制1.2 使用均方范数作为柔性限制2 权重衰退代码实现3 丢弃法 Dropout3.1 无偏差的加入噪音3.2 使用丢弃法3.3 总结4 丢弃法代码实现1 权重衰退1.1 使用均方范数作硬性限制minℓ(w,b) subject to ∥w∥2≤θ\min \ell(\mathbf{w}, b) \quad \text { subject to }\|\mathbf{w}\|^{2} \leq \thetaminℓ(w,b原创 2021-09-13 17:05:17 · 139 阅读 · 0 评论 -
DL_4——模型选择,过拟合和欠拟合
文章目录1 模型选择1.1 数据集1.2 K折交叉验证2 过拟合和欠拟合2.1 模型容量2.2 数据复杂度2.3 总结1 模型选择1.1 数据集验证数据集:一个用来评估模型好坏的数据集例如拿出50%的训练数据不要跟训练数据混在一起测试数据集:只用一次的数据集未来的考试用在Kaggle私有排行榜中的数据集1.2 K折交叉验证当训练数据稀缺时,我们甚⾄可能⽆法提供⾜够的数据来构成⼀个合适的验证集。这个问题的⼀个流⾏的解决⽅案是采⽤K折交叉验证。这⾥,原始训练数据被分成K个不原创 2021-09-13 11:21:59 · 155 阅读 · 0 评论 -
DL_3——多层感知机
1 感知机1.1 感知机模型给定输入x,权重w,和偏移b,感知机输出:o=σ(⟨w,x⟩+b)σ(x)={1 if x>0−1 otherwise 给定输入 \mathbf{x} , 权重 \mathbf{w} , 和偏移 b , 感知机输出:\\o=\sigma(\langle\mathbf{w}, \mathbf{x}\rangle+b) \quad \sigma(x)=\left\{\begin{array}{ll}1 & \text原创 2021-09-12 21:58:26 · 183 阅读 · 0 评论 -
DL_2——Softmax回归
文章目录1 SoftmaxSoftmaxSoftmax 回归1.1 回归 VS 分类1.2 One-hot encoding1.3 softmaxsoftmaxsoftmax函数1 SoftmaxSoftmaxSoftmax 回归1.1 回归 VS 分类回归估计一个连续值分类预测一个离散类别1.2 One-hot encoding独热编码是一个向量,它的分量和分类类别一样多。类别对应的分量设置为1,其他所有分量设置为0.1.3 softmaxsoftmaxsoftmax函数y^=softma原创 2021-09-12 18:12:13 · 103 阅读 · 0 评论 -
DL_1——自动求导、线性回归
文章目录1 自动求导1.1 向量链式法则1.2 计算图1.3 自动求导的两种模式1.4 反向传播算法 bp2 线性回归2.1 模型假设2.2 **Loss Function** 衡量预估质量2.3 训练数据2.4 参数学习3 优化方法3.1 梯度下降3.2 小批量随机梯度下降4 线性回归的从零实现4.1 训练数据1 自动求导1.1 向量链式法则标量链式法则y=f(μ),u=g(x)∂y∂x=∂y∂μ∂μ∂xy = f(\mu), u = g(x)\\\frac{\partial y}{\par原创 2021-09-10 22:45:51 · 284 阅读 · 0 评论 -
DL_x——目标检测
1 方法目标检测主流的深度学习实现思路:特征提取网络这一部分属于算法研究方面,如何让它特征提取更强大、分类更准确、速度更快,从网络结构、loss function、activation function等入手。分类回归这一部分属于工程方面,用已有的优秀的神经网络算法,侧重于研究解决问题的框架,当然很多时候需要对已有的算法做些微调。针对任务,如何设计网络? 当面对实际任务时,如果目标是解决该任务而不是发明新算法,那么不要试图自己设计全新的网络结构,也不要试图从零复现现有的网络结构。找已经公开的实现原创 2021-09-10 10:14:22 · 126 阅读 · 0 评论