oldsummer

从事图像算法工程师已经有一段时间，最近打算开一个系列挑重点，重新梳理以前学到的机器学习、深度学习知识，并加入我现在能有的一些理解，这篇是一个总目录，逐步填坑，希望进行讨论、指正。

import numpy as npimport torchfrom torch import nnfrom torch.nn import init# SE-attention# 方法出处 2018 CVPR 《Squeeze-and-Excitation Networks》# 该方法用于捕获特征图之间的关系class SEAttention(nn.Module): # 模型层的初始化 def __init__(self, channel=512, reduction.

import torchfrom torch import nnfrom torch.nn import init# External Attention# 外部注意力# 方法出处 2021 arxiv 《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》class ExternalAttention(nn.Module): # 网络层的初始化 def __i.

import torchfrom torch import nnfrom torch.nn import init# 通道注意力+空间注意力的改进版# 方法出处 2018 BMCV 《BAM: Bottleneck Attention Module》# 展平层class Flatten(nn.Module): def __init__(self): super(Flatten, self).__init__() # 将输入的x，假如它是[B,C,H,W]维.

数据集下载地址：https://download.pytorch.org/tutorial/data.zip​download.pytorch.org数据集中包含18个文件，分别为18个国家中常用的名字，每一行是一个当前国家常用名字字符串。我们要搭建一个循环神经网络（RNN），将一个名字字符串输入到RNN中，让RNN告诉我们这个名字是属于那个国家的（分类问题）。运行以下代码，请确保：PyTorch=1.9.0torchtext=0.10.0from __future__ imp

Transformer模型出处2017 《Attention is all you need》Transformer中的位置编码是什么意思？https://kazemnejad.com/blog/transformer_architecture_positional_encoding/​kazemnejad.com运行以下代码请确保：PyTorch=1.9.0torchtext=0.10.0否则肯定报错import mathfrom typing import Tu.

import numpy as npimport torchfrom torch import nnfrom torch.nn import init# CBAM Attention# 方法出处 2018 ECCV 《CBAM: Convolutional Block Attention Module》# 通道注意力class ChannelAttention(nn.Module): def __init__(self, channel, reduction=16): .

PyG用torch_geometric.data.Data保存图结构的数据，导入的data(这个data指的是你导入的具体数据，不是前面那个torch_geometric.data)在PyG中会包含以下属性data.x：图节点的属性信息，比如社交网络中每个用户是一个节点，这个x可以表示用户的属性信息，维度为[num_nodes,num_node_features]

数据集中每一行是一对英语，德语句子对Transformer模型出处：2017 《Attention is all you need》Transformer中的位置编码是什么意思？https://kazemnejad.com/blog/transformer_architecture_positional_encoding/​kazemnejad.com运行以下代码请确保：PyTorch=1.9.0torchtext=0.10.0否则肯定报错# 利用Transformer结构

import numpy as npimport torchfrom torch import nnfrom torch.nn import initfrom collections import OrderedDict# selective kernel attention# 多个卷积核的通道注意力# 方法出处 2019 CVPR 《Selective Kernel Networks》class SKAttention(nn.Module): # 初始化层 def _.

数据集下载地址：https://download.pytorch.org/tutorial/data.zip​download.pytorch.org数据集在eng-fra.txt文件中，每一行是一对儿英语和法语之间的互译。运行以下代码，请确保PyTorch=1.9.0torchtext=0.10.0Encoder中的数据流：​Decoder中的数据流：​带有注意力机制Decoder的数据流:​# Encoder-Decoder实..

目录一 什么是线性模型1.1 定义1.2 回归和分类的转换1.3 几何解释二 线性回归2.1 定义2.2 参数学习方法三 Logistic回归3.1 定义3.2 参数学习方法四 SoftMax回归4.1 定义4.2 参数学习方法五 感知机5.1 定义5.2 参数学习方法六 支持向量机6.1 定义6.2 核函数和核方法6.3 参数学习方法七 Numpy实现代码7.1 Logistic回归7.2 SoftMax回...

import numpy as npimport torchfrom torch import nnfrom torch.nn import init# 多头注意力# 缩放点积计算相似性# 方法出处 2017 NIPS《Attention Is All You Need 》class ScaledDotProductAttention(nn.Module): # 定义网络的层 def __init__(self, d_model, d_k, d_v, h, dropout.

PyG是基于PyTorch的一个图神经网络框架，包含了大量经典图神经网络论文中的模型结构Cora是一个小规模图神经网络数据集，包含2708篇论文，每篇论文分为7个类别，每篇论文的属性用一个1433维的向量表示，论文之间通过引用关系形成一个无向图的结构。Cora数据集上的任务是判断一篇论文的所属类别，是一个在图结构数据上的分类问题。import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport torch

目录一 协同过滤方法1.1 论文1.2 代码二 矩阵分解方法2.1 论文2.2 代码三 因子分解机方法3.1 论文3.1.1 FM(Factorization Machines)3.1.2 FFM（Field-aware Factorization Machines）3.2 代码四 多模型融合方法4.1 论文4.1.1 GBDT+LR4.1.2 LS-PLM4.2 代码一 协同过滤方法1.1 论文论文题目：《Ama...

注意，这篇文章里的代码是我按照论文所述自己写的，里面肯定有些细节没表达出来，也难免有错误，推荐看论文的原代码了解更多模型细节，如果发现代码中存在错误，麻烦在评论区指正一 AutoRec1.1 论文论文题目：《AutoRec: Autoencoders Meet Collaborative Filtering》2015 WWW论文地址：《AutoRec: Autoencoders Meet Collaborative Filtering》深度学习在推荐系统中的首次尝试利用基于自编码..

目录一 预备知识1.1 什么是图深度学习1.2 图具有的性质1.3 时域（ spectral domain ）和空域（spatial domain）1.4 图深度学习的任务二 Embedding2.1 什么是嵌入2.2 Skip-gram词嵌入三 图嵌入方法四 图神经网络一 预备知识1.1 什么是图深度学习深度学习的目的是从输入数据中学习出有效的特征表示，然后利用学习到的特征表示进行相应的任务。举例来说，对于图片识别任务，我们可以利用卷积神经网络从

目录一 引言1.1 深度学习的优点1.2 深度学习的缺点二 什么是知识蒸馏2.1 模型压缩2.2 什么是学习2.3 什么是知识蒸馏2.4 知识蒸馏的一般流程三 知识蒸馏的分类3.1 模型结构的种类3.2 知识的分类3.3 如何蒸馏四 输出层知识蒸馏《Distilling the Knowledge in a Neural Network 》 2015五 中间层知识蒸馏《Learning Metrics from Teachers: Comp

目录1.caltech1012.caltech2563.celeba4.cifar105.cifar1006.cityscapes7.coco8.emnist9.FakeData10.fashionMNIST11.flickr8k12.hmdb5113.imagenet14.kinetics40015.kitti16.kmnist17.lsun18.mnist19.omniglot20.phototour21.place

目录一.文本分类数据集1.AG_News2.SogouNews3.DBpedia4.YelpReviewPolarity5.YelpReviewFull6.YahooAnswers7.AmazonReviewPolarity8.AmazonReviewFull9.IMDB二，语言模型1.WikiText-22.WikiTest1033.PennTreebank三，机器翻译1.Multi30k2.IWSLT20163.IWSLT2017