陌若安生的博客

论文泛读

文章目录WU-NET: A WEAKLY-SUPERVISED UNMIXING NETWORK FOR REMOTELY SENSED HYPERSPECTRAL IMAGERYHyperspectral Unmixing Using a Neural Network AutoencoderSpectral-Spatial Hyperspectral Unmixing Using Multitask LearningNEURAL NETWORK HYPERSPECTRAL UNMIXING WITH SP

BAM: Bottleneck Attention Module论文: https://arxiv.org/pdf/1807.06514.pdfPyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks将BAM放在了Resnet网络中每个stage之间。。BAM在每个stage之间消除了像背景语义特征这样的低层次特征，然后逐渐聚焦于高级的语义–明确的目标（比如图中的狗）。Feature map F{F}F进行全局平均池化得到，得到

知乎：【WACV 2021】Attentional Feature Fusion

低秩重构non-local复杂度o(n²)计算相关度的的方法，QKV以及contend和distribute分析non-local相关因子的工作，分为以下四类：注：©GCNet (d)只和距离 有关的（均值滤波，高斯滤波等）注：non-local是对全图建模，另一种是邻域内建模，但是具体建模哪个点，并未清楚。采用多路并行，每路采用不同的点。non-local跟DAN比较注：HW->K压缩操作。K->HW反压缩注：降至三维，进行可视化，发现火车内部，

文章目录一、《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》1.原文地址2.TensorFlow官方3.论文亮点4.代码学习二、《MobileNetV2: Inverted Residuals and Linear Bottlenecks》1.原文地址2.非官方Pytorch代码3.论文亮点4.代码学习三、《HybridSN: Exploring 3-D–2-DCNN Feature Hi

Part1: 李沐课程 卷积神经网络 部分动手学深度学习》之现代卷积神经网络Part2: AI研习社 “猫狗大战” 比赛本周在上周学习的基础，继续对猫狗大战进行代码的学习。首先，将VGG网络替换成李沐课程里讲过的ResNet，进行训练，最终提交结果到AI研习社。class conv_net(nn.Module): def __init__(self): super(conv_net,self).__init__() self.net = nn.Sequ

深度卷积神经网络（AlexNet）训练神经网络的一些关键技巧的缺失，包括启发式参数初始化、随机梯度下降的巧妙变体、非挤压激活函数和有效的正则化技术。并且数据集仍然相对较小，不足以开发出有大量参数的深层多通道多层卷积神经网络。AlexNetAlexNet和LeNet的设计理念非常相似，但也存在显著差异。首先，AlexNet比相对较小的LeNet5要深得多。AlexNet由八层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。其次，AlexNet使用ReLU而不是sigmoid作为其激活函数。

Part1《动手学深度学习》之卷积神经网络Part2注：本次使用的数据集并非是AI研习社下载的数据集，因为其数据集太大了，在自己电脑上用cpu跑一次就得两三个小时，所以最后采用的是少量的数据集，也就是pytorch练习的代码中的数据集。1.AI研习社猫狗大战，首先分析的以前pytorch练习的代码，代码是【 VGG迁移学习进行猫狗大战 】海量高分辨率图像的训练，比较玄学，很难得到一个好的网络。这里我们学习在pretrained VGG网络上 fine-tune，分类猫狗图片。然后进行简单的调整，效

文章目录从全连接层到卷积不变性限制多层感知机平移不变性局部性卷积通道图像卷积互相关运算特征映射和感受野填充和步幅填充步幅多输入多输出通道多输入通道1×11\times 11×1 卷积层汇聚层最大汇聚层和平均汇聚层卷积神经网络（LeNet）LeNet总结从全连接层到卷积卷积神经网络（convolutional neural networks，CNN）是机器学习利用自然图像中一些已知结构的创造性方法。不变性计算机视觉的神经网络结构：平移不变性（translation invariance）：不管检测

文章目录多层感知机Kaggle 加州2020年房价预测竞赛总结多层感知机Part1：《动手学深度学习》之线性神经网络Part2：《动手学深度学习》之多层感知机Kaggle 加州2020年房价预测竞赛首先：调试的是李沐老师给出的代码，最终实现效果不理想。提交kaggle，对数均方误差0.16多，排名3000靠外。其次，查看相关博客，找了几篇博客，跑通了kaggle比赛：房价预测，对比李沐老师的给出代码，主要就是三部分不同。数据预处理部分的不同网络架构添加了一层对数均方误差的实现，将小于1的

文章目录多层感知机从线性到非线性激活函数ReLU函数sigmoid函数tanh函数模型选择、欠拟合和过拟合训练误差和泛化误差统计学习理论模型复杂性模型选择验证集KKK折交叉验证权重衰减范数与权重衰减Dropout正向传播、反向传播和计算图数值稳定性和模型初始化梯度消失和梯度爆炸参数初始化默认初始化Xavier初始化环境和分布偏移分布偏移的类型协变量偏移标签偏移概念偏移分布偏移示例医学诊断自动驾驶汽车非平稳分布更多轶事分布偏移纠正经验风险与真实风险协变量偏移纠正标签偏移纠正概念偏移纠正总结多层感知机我们可

文章目录线性回归线性模型损失函数解析解小批量随机梯度下降softmax回归网络结构softmax运算损失函数对数似然softmax及其导数信息论基础。熵交叉熵总结线性回归回归（regression）是指一类为一个或多个自变量与因变量之间关系建模的方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。线性模型当我们的输入包含ddd个特征时，我们将预测结果y^\hat{y}y^​（通常使用“尖角”符号表示估计值）表示为：y^=w1x1+...+wdxd+b.\hat{y} = w_1

一、机器学习（深度学习）中的数学基础1.线性代数：数据表示、空间变换的基础。2.概率论（统计）：模型假设、策略设计的基础。3.最优化：求解目标函数的具体算法。4.信息论：对于不确定性的度量，信息增益选择特征，交叉熵。5.微积分：链式求导，泰勒展开。6.矩阵线性变换，矩阵相乘对原始向量同时施加方向变化和尺度变化。对于特征向量，矩阵的作用只有尺度变化而没有方向变化。尺度变化系数就是特征值。7.线性代数：秩线性方程组的角度：度量矩阵行列之间的相关性。数据点分布的角度：表示数据需要的最小的

一、专知《深度学习：算法到实战》1.深度学习：算法到实践（一）绪论2.深度学习：算法到实践（二）神经网络基础二、李沐《动手学深度学习在线课程》本周课程学习为预备知识部分，详细的文档可点击查看。主要包括以下七个小部分。1.数据操作主要就是了解张量，它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。2.数据预处理了解pandas的使用，对于数据进行简单的处理，针对于缺失值的处理，典型的方法包括插值和删除。最后，将pandas处理的数据转化成张量格式。

1. 浅层神经网络激活函数为什么要有激活函数？没有激活函数相当于矩阵相乘多层和一层一样只能拟合线性函数激活函数举例：sigmoid函数Sigmoid函数饱和使梯度消失。当神经元的激活在接近0或1处时会饱和，在这些区域梯度几乎为0，这就会导致梯度消失，几乎就有没有信号通过神经传回上一层。Sigmoid函数的输出不是零中心的。因为如果输入神经元的数据总是正数，那么关于[公式]的梯度在反向传播的过程中，将会要么全部是正数，要么全部是负数，这将会导致梯度下降权重更新时出现z字型的下降。

1. 人工智能和机器学习概述什么是人工智能？使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统人工智能发展的标志性事件人工智能发展阶段人工智能的三个层面计算智能：能存能算。感知智能：能听会说、能看会认，类似于人的视觉、听觉、触觉等感知能力。认知智能：能理解会思考，概念、意识、观念都是认知智能的表现。人工智能和机器学习与深度学习的关系人工智能是一个领域，就是一个目标，我们希望机器能像人一样的去感知、去思考，机器学习的是来实现这样一个目标的一类方法，而深度学习只是这一类方法中的

切忌，不要直接在Anaconda Prompt中直接使用 jupyter notebook打开，因为此时打开的jupyter不是在你创建的环境下的jupyter notebook，而是你以前建立的jupyter notebook。所以此时解决办法：首先激活你的pytorch环境(也就是你当前建立的新环境)，pytorch安装查看上一篇博客conda activate pytorch 然后重新安装jupyter notebookconda install ipythonconda instal

前提在Anaconda Prompt中建立新环境（python3.6版本的）建立新环境的目的，是为了适应不同版本的切换，比如，你想使用3.6版本的python，就切换到3.6的。使用3.7的就切换到3.7的。conda create -n 当前环境名称 python=3.6 安装好后，会有提示：To activate this environment, use（激活环境）conda activate 环境名称To deactivate an active environment, use

文章目录一、导读二、知识图谱的概念演化三、 什么是知识图谱四、知识图谱的数据类型和存储方式五、知识图谱的架构六、知识图谱的构建技术七、 知识图谱的应用八、总结注：首先声明，本篇博客是博主在查询知识图谱的资料的时候，看了数篇知识图谱综述以及阅读了相关资料后的一个总结以及自己的相关理解，仅是为了记录学习的过程。如果有侵权，请第一时间联系博主。博主是一位刚接触知识图谱的小白，初学乍练，希望可以每天进步...

最初代码：action = torch.max(actions_value, 1)[1].data.numpy()[0, 0] # return the argmax修改后代码：action = torch.max(actions_value, 1)[1].data.numpy()[0] # return the argmax参考：https://morvanzhou.g...

1.安装gym也要在虚拟环境下进行安装，对于虚拟环境的建立，使用conda，可以参考博客https://blog.csdn.net/qs17809259715/article/details/1037294782.第一次尝试：前提要先进入虚拟环境，然后使用如下命令sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev...

pytorch报错：IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Python number是你的torch版本的不同造成的。train_loss += loss.data[0] 是pytorch0.3.1版本代码,在0.4-0.5版本的pytorch会...

原版代码：torch_dataset = Data.TensorDataset(data_tensor=x, target_tensor=y)loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format batch_size=BATCH_SIZE, # mini b...

1.anaconda建立虚拟环境及conda操作//env_name代表你想要建立的环境名字,-n表示名字conda create -n env_name python=3.6 //激活环境source activate env_name //退出环境source deactivate //删除环境conda remove -n env_name --all //查看co...

1.安装tensorflow（1）本身tensorflow的安装很简单，只需要pip或者conda就好，但是必须找到tensorflow,cuda,cudnn的对应关系。Version Python version Compiler Build tools cuDNN CUDAtensorflow_gpu-...

文章目录一.anaconda的安装二.pycharm的安装对于ubuntu16.04下，通过conda安装cuda和cudnn。以及安装GPU版的tensorflow和pytorch，可以参考以下博客。ubuntu16.04 通过anaconda建立虚拟环境，安装cuda9.0，cudnn7.1.2虚拟环境下，基于cuda9.0，cudnn7.1.2安装tensorflow和pytorch...

文章目录一、MSE损失函数推导二、交叉熵损失函数推导对应于上一篇博客的BP神经网络的初步介绍中的七、BP反向传播的详细推导博主写博客旨在向他人学习过程的基础上整理的知识点，便于自己理解，以后复习也可以常看看。如果有错，望指出，博主定会虚心接受，细心改正。一、MSE损失函数推导两层的神经网络计算图绿色代表权重参数wjkw_{jk}wjk​,橙色代表基底参数bjb_jbj​。可见虽然网络图上...

文章目录前言：一、BP 神经网络概述二、神经网络的前馈过程三、逆向误差传播 (BP过程)四、模型的损失函数五、基于梯度下降的逆向传播过程 (关于损失函数的逆向求导)六、举例子直观了解BackPropagation七、BP反向传播的详细推导前言：上一篇博客，从感知机到人工神经网络大体的概括了人工神经网络，本篇博客旨在介绍BP神经网络，网上关于BP神经网络的相关知识以及数不胜数，本文在别人博客的基...

文章目录一、感知机二、人工神经网络（artificial neural networks，ANN）三、神经网络BP算法四、人工神经网络的特点上一篇博客，我们介绍了感知机原理，一种线性模型用来做二元分类。感知机不是一个通用函数近似器；它的决策边界必须是一个超平面。感兴趣的可以查阅感知机原理（Perceptron）,本片博客旨在大体的介绍感知机到人工神经网络，仅个人理解，如有偏差，欢迎指正。一、感...

文章目录一、感知机的原理二、感知机模型三、感知机学习算法四、小结感知机是SVM和神经网络的基础。一、感知机的原理感知机是二分类的线性模型，其输入是实例的特征向量，输出的是实例的类别，分别是+1和-1，属于判别模型。假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据，则最后无法获得超平面二、感知机模型...

B站视频：https://space.bilibili.com/216720985/video?keyword=cs231n 贺完结！CS231n官方笔记授权翻译总集篇发布 - 智能单元 - 知乎专栏 &n...

整理 | 阿司匹林机器学习和深度学习如何入门？相信很多人都会推荐吴恩达的在线课程。不过，这种视频在线课程也有其弊端，就跟很...