AI大模型前沿研究
软件工程硕士,机器学习&深度学习爱好者,忘记背后,努力面前,向着标杆直跑!
展开
-
『论文笔记』CBAM:Convolutional Block Attention Module(注意力机制)+TensorFlow2.0复现
本文提出了卷积块注意模块(CBAM),这是一个简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下,我们的模块按照通道和空间两个独立的维度依次推断注意图,然后将注意图乘入输入特征图进行自适应特征细化。因为CBAM是一个轻量级的通用模块,它可以无缝地集成到任何CNN架构中,开销可以忽略不计,并且可以与基本CNNs一起进行端到端的培训。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上的大量实验来验证我们的CBAM。原创 2019-12-30 15:07:16 · 13681 阅读 · 26 评论 -
〖TensorFlow2.0笔记23〗TensorFlow2.0学习笔记总结!
Tensorflow2.0全套课程学习笔记!原创 2019-11-10 16:38:31 · 16151 阅读 · 21 评论 -
〖TensorFlow2.0笔记1〗TensorFlow2.x介绍和详细安装指南(Win&Linux)
Tensorflow Dev Summit 正式宣布 Tensorflow 2.0 进入 Alpha 阶段。1、首先基于自己安装的Anaconda 创建环境一个尝鲜环境:conda create -n tf2.0 python=3.62、然后进入刚刚创建好的环境:conda activate tf2.03、执行下面的安装命令:pip install tensorflow...原创 2019-04-03 18:20:51 · 12985 阅读 · 32 评论 -
『docker笔记』通过docker搭建深度学习环境
通过docker搭建深度学习环境!文章目录一. docker简介二. centos安装docker第一步2.1. 安装前提条件2.2. 安装docker依赖环境2.3. 添加阿里云的软件源2.4. 更新yum缓存(为了保证能更新和下载需要的服务:如docker)三. centos安装docker第二步3.1. 安装并启动docker3.2. 启动Docker服务3.3. 设置开机自启四. docker高效搭建开发环境五. 关于宿主机卸载docker服务参考文章一. docker简介docker 是原创 2020-11-04 19:52:53 · 3886 阅读 · 1 评论 -
〖TensorFlow2.0笔记26〗YOLOV2目标检测算法以及实战!
YOLOV2目标检测算法以及实战! 文章目录一. YOLOV2算法介绍1.1. YOLOV2提升11.2. YOLOV2提升2二. YOLOV2算法实战2.1. 序列(Sequence)2.2. Tensorflow2.0中的Embedding层2.3. 预训练的词向量三. 循环神经网络一. YOLOV2算法介绍1.1. YOLOV2提升1Yolov2相对Yolov1的提升点之一:1.2. YOLOV2提升2Yolov2相对Yolov1的提升点之二:二. YOLOV2算法实战2原创 2020-05-31 16:35:49 · 2753 阅读 · 14 评论 -
〖TensorFlow2.0笔记25〗循环神经网络RNN原理讲解以及实战!
循环神经网络RNN原理讲解以及实战! 文章目录一. 序列的表示方法一. 序列的表示方法前面讲解的卷积神经网络是针对二维的、位置相关的图片,它采用权值共享的思想,通过一个移动的窗口,慢慢提取每个位置的相关信息,那么自然界除了位置相关的图片数据意外,还存在另外一个非常广泛的数据类型,它就是时间轴上面的一些数据,比如一些序列信号(例如语音信号,它会沿着时间轴上不停的产生波形,它就是),对于一个非数值类型的信号如何转换成数值信号,比如常见的文本信号,怎样把这样的String类型转换成数值类型。原创 2020-05-12 22:56:57 · 1404 阅读 · 0 评论 -
『论文笔记』BAM:Bottleneck Attention Module(注意力机制)+TensorFlow2.0复现!
CBAM:Convolutional Block Attention Module(注意力机制)+TensorFlow2.0复现! 文章目录一. 论文摘要二. BAM的网络结构2.1. 总体的描述2.2. 通道注意力机制2.3. 空间注意力机制 本论文是上篇CBAM的姊妹篇,原班人马打造,论文地址:CBAM! 本文使用Tensorflow2.0实现,代码地址:zhangkaifang/CB...原创 2020-01-03 22:51:55 · 3996 阅读 · 3 评论 -
『自己的工作6』MNIST Plus++竞赛(更加困难的mnist数据集竞赛)!
MNIST Plus++竞赛(更加困难的mnist数据集竞赛)! 文章目录一. 数据集描述1.1. 训练集(15,670个jpg文件)1.2. 测试集(54,330个jpg文件)1.1. SVM多分类模型一. 数据集描述 MNIST Plus++,一个困难的mnsit竞赛数据集!对mnist数据集的一个困难扩充为了检验模型对分类任务的推广能力和特征抓取能力1.1. 训练集...原创 2020-01-01 13:05:12 · 670 阅读 · 4 评论 -
〖TensorFlow2.0笔记24〗生成式对抗网络(GAN)原理讲解以及实战!
对抗生成网络! 文章目录一、GoogleNet-Iception V1(2014)介绍1.1、为什么提出Inception1.2、Inception模块介绍可以先参考一下我之前写过的一篇博客的介绍:第6章视觉分类任务一、GoogleNet-Iception V1(2014)介绍这篇论文之前的卷积神经网络的性能提高都是依赖于提高网络的深度和宽度,而这篇论文是从网络结构上入手,改变了网络...原创 2019-12-14 17:38:14 · 2175 阅读 · 2 评论 -
『自己的工作4』TensorFlow2.0自动微分和手工求导的结果对比!
文章目录一、公式推导1(预习)一、公式推导2二、代码实现:一、公式推导1(预习)一、公式推导2二、代码实现:数据集Iris,如下 one.txt5.1,3.5,1.4,0.2,Iris-setosa4.9,3.0,1.4,0.2,Iris-setosa4.7,3.2,1.3,0.2,Iris-setosa4.6,3.1,1.5,0.2,Iris-setosa5...原创 2019-11-28 19:53:31 · 924 阅读 · 0 评论 -
〖TensorFlow2.0笔记23〗(更新版)ResNet-18实现Cifar10(94%)和Cifar100(75%)分类
ResNet-18实现CIFAR-10(94%)和CIFAR-100(75%)分类!原创 2020-08-20 10:09:59 · 6764 阅读 · 7 评论 -
〖TensorFlow2.0笔记22〗使用Numpy在MNIST数据集上实现3层BP神经网络!
Numpy实战BP神经网络! 文章目录一、Numpy实战BP神经网络!1.1、回顾之前的知识1.2、无监督学习一、Numpy实战BP神经网络!1.1、回顾之前的知识注意:python中的zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。zip 语法:zip([iterable, …]); 返回元组列表。>>&...原创 2019-06-01 22:04:11 · 1998 阅读 · 0 评论 -
〖TensorFlow2.0笔记21〗自定义数据集(宝可精灵数据集)实现图像分类+补充:tf.where!
宝可精灵数据集(自定义数据集) 文章目录一、数据集介绍1.1、数据描述1.2、实现步骤二、加载数据集三、数据集预处理四、模型的搭建五、训练工作一、数据集介绍1.1、数据描述我们收集了宝可精灵(动漫)视频片段,从中收集了5种精灵,每个精灵有各种形态的图片。其中:皮卡丘234张图片,超梦239张,杰尼龟223张,小火龙238张,妙蛙种子234张。数据集划分: 每一类别的所有图片,按照...原创 2019-12-18 13:48:00 · 10239 阅读 · 24 评论 -
〖TensorFlow2.0笔记20〗GoogleNet-Iception实现Fashion mnist图像分类+BN介绍!
过拟合! 文章目录一、GoogleNet-Iception V1(2014)介绍1.1、为什么提出Inception1.2、Inception模块介绍1.3、Inception作用1.4、googLeNet-Inception V1结构max pooling后分别加上了1x1的卷积核起到了降低feature map厚度的作用。二、GoogleNet-Iception V2介绍2.1、Batch ...原创 2019-07-11 15:18:40 · 3190 阅读 · 4 评论 -
〖TensorFlow2.0笔记19〗过拟合介绍以及解决方法+补充: 实现GPU按需分配!
过拟合! 文章目录一、过拟合与欠拟合1.1、欠拟合`Underfitting`1.2、过拟合`Overfitting`二、交叉验证三、Regularization四、动量与学习率五、Early Stopping和Dropout一、过拟合与欠拟合1.1、欠拟合Underfitting训练的时候accuracy和训练的loss都不是很好的。就是accuracy一直上升不去,并且loss也一直下...原创 2019-06-13 18:44:04 · 3232 阅读 · 6 评论 -
〖TensorFlow2.0笔记18〗自编码器Auto-Encoders以及实战
ResNet介绍以及在CIFAR-100数据集上实战ResNet-18、ResNet-34! 文章目录一、自编码器Auto-Encoders!1.1、回顾之前的知识1.2、无监督学习1.1、ResNet-34的基本结构一、自编码器Auto-Encoders!1.1、回顾之前的知识1.2、无监督学习注意:其实无监督并不是没有目标,它也是有目标的,比如看下面的auto-encode,...原创 2019-10-23 22:57:09 · 4327 阅读 · 1 评论 -
〖TensorFlow2.0笔记17〗ResNet-18和ResNet-34实现Cifar10和Cifar100图像分类!
ResNet, DenseNet-2以及ResNet实战! 文章目录一、ResNet介绍1.1、ResNet-34的基本结构一、ResNet介绍1.1、ResNet-34的基本结构最左边为VGG19,也就是19层,这里画法非常有讲究的,比如左中特意留了一个空白,就意味着我们的34层通过加了一个short cut之后,至少至少也能退化到一个直连接就是VGG19...原创 2019-05-10 14:05:32 · 13969 阅读 · 30 评论 -
〖TensorFlow2.0笔记16〗卷积神经网络中的梯度求解以及CIFAR100与VGG13实战!
卷积神经网络中的求导理解! 文章目录一、the gradient!一、the gradient!对于一个卷积神经网络,gradient具体是怎么做的呢?tensorflow为我我们提供了一个自动求导的工具,我们刚才从理论证明了tensorflow是可以完成我们的目的的。所以整个卷积层的梯度求导其实是完全可行,而且并不复杂,tensorflow可以完全帮助我们完成这部分工作的,我们...原创 2019-05-08 14:26:20 · 2991 阅读 · 0 评论 -
〖TensorFlow2.0笔记15〗模型的保存与加载(非常重要)以及CIFAR10自定义网络实现!
tensorflow2.0笔记14:Tensorflow2.0中模型的保存与加载(非常重要)! 文章目录一、模型的保存与加载(非常重要)!1.1、三种保存模式1.2、模式1:save/load weights1.2.1、实战1.3、模式2:save/load entire model1.3.1、实战1.4、模式3:save_model一、模型的保存与加载(非常重要)!1.1、三种保存模式...原创 2019-05-05 12:39:19 · 4586 阅读 · 7 评论 -
〖TensorFlow2.0笔记14〗感知机梯度详细过程,Keras高层API,Keras的自定义网络!
Keras高层API! 文章目录一、Keras高层API-11.1、五大功能1.2、这里主要讲解Metrics1.3、1.2中的实战一、Keras高层API-11.1、五大功能1.2、这里主要讲解Metrics1.3、1.2中的实战import tensorflow as tffrom tensorflow.keras import datasets, layers, opt...原创 2019-05-01 00:04:37 · 1919 阅读 · 8 评论 -
〖TensorFlow2.0笔记13〗梯度下降,函数优化实战,手写数字问题实战以及Tensorboard可视化!
文章目录一、介绍一、介绍本文为YOLO提供了一系列更新!它包含一堆小设计,可以使系统的性能得到更新;也包含一个新训练的、非常棒的神经网络,虽然比上一版更大一些,但精度也提高了。不用担心,虽然体量大了点,它的速度还是有保障的。在输入320×320的图片后,YOLOv3能在22毫秒内完成处理,并取得28.2mAP的成绩。它的精度和SSD相当,但速度要快上3倍。和旧版数据相比,v3版进步明显。在Ti...原创 2019-04-25 00:00:47 · 3160 阅读 · 1 评论 -
〖TensorFlow2.0笔记12〗误差计算之MSE,Cross Enropy+补充:多类交叉熵反向传播(详细推导)!
误差计算!文章目录一、误差计算1.1、均方误差-MSE1.2、交叉熵-Entropy1.2.1、二分类的2中方式1.3、为什么不直接MSE而是交叉熵一、误差计算1.1、均方误差-MSE实战演练:代码如下:import tensorflow as tfy = tf.constant([1, 2, 3, 0, 2])y = tf.one_hot(y, depth=4)...原创 2019-04-24 00:35:03 · 2647 阅读 · 0 评论 -
〖TensorFlow2.0笔记11〗全连接层和输出方式!
全连接层!文章目录一、全连接层1.1、前言介绍1.2、Fully connected layer(全连接层)一、全连接层1.1、前言介绍1.2、Fully connected layer(全连接层)原创 2019-04-21 20:47:16 · 4696 阅读 · 1 评论 -
〖TensorFlow2.0笔记10〗关于数据集的加载,测试,实战+补充: 数据集下载慢的解决方法!
数据集加载!文章目录一、数据的加载1.1、tensorflow.keras.datasets接口1.1.1、MNIST数据集1.1.2、cifar 10/100数据集一、数据的加载这节主要介绍一些比较小型的常用的数据集的加载。1.1、tensorflow.keras.datasets接口1.1.1、MNIST数据集代码如下:import tensorflow as t...原创 2019-11-23 18:36:16 · 9407 阅读 · 17 评论 -
〖TensorFlow2.0笔记9〗TensorFlow2.0的高阶操作汇总!
tensorFlow2.0的高阶操作!文章目录一、张量的合并和分割(merge, split)1.1、tf.concat()拼接操作1.2、tf.stack()创建一个维度1.3、维度不匹配情况1.4、tf.unstack()对应tf.stack()二、数理统计一、张量的合并和分割(merge, split)1.1、tf.concat()拼接操作In [1]: import tenso...原创 2019-04-18 11:53:27 · 2989 阅读 · 0 评论 -
〖TensorFlow2.0笔记8〗TensorFlow2.0中的前向传播实战+补充: 关于loss的放缩!
tensorFlow2.0中的前向传播(张量)实战!文章目录一、分析1.1、前向传播1.2、计算损失函数1.2、计算梯度和更新参数二、代码演示2.1、代码2.1、运行结果一、分析1.1、前向传播利用前面已经学习的知识。1.2、计算损失函数1.2、计算梯度和更新参数二、代码演示2.1、代码import tensorflow as tffrom tensorflow...原创 2019-04-17 23:43:29 · 1822 阅读 · 0 评论 -
〖TensorFlow2.0笔记7〗TensorFlow2.0中的broadcasting!
tensorFlow2.0中的broadcasting!文章目录一、broadcasting广播机制1.1、简单的例子理解二、why broadcasting? 为什么使用广播机制三、broadcastable? 什么时候能使用广播机制3.1、具体的例子理解3.2、广播机制的好处3.3、broadcast VS tile一、broadcasting广播机制是一个运行时的优化手段1....原创 2019-04-17 01:33:49 · 1218 阅读 · 0 评论 -
〖TensorFlow2.0笔记6〗TensorFlow2.0中的维度变换!
11原创 2019-04-11 08:43:18 · 3063 阅读 · 0 评论 -
〖TensorFlow2.0笔记5〗TensorFlow2.0中的索引和切片!
文章目录一、索引与切片1.1、最基本的索引方式1.2、Numpy的索引方式1.3、切片(单冒号),start:end1.4、切片(双冒号),start: end: step 隔着采样。1.4.1、双冒号另一个神奇的功能: tensor倒序介绍如何对一个tensor的部分数据进行一个读取,也就是tensor的索引和切片。一、索引与切片1.1、最基本的索引方式注意:这种索引方式比较通用...原创 2019-04-06 21:57:31 · 3425 阅读 · 4 评论 -
〖TensorFlow2.0笔记4〗TensorFlow2.0的基础操作!
文章目录一、Data Container三、What's Tensor四、Tensor Type五、Create Tensor六、Tensor Property七、Check Tensor type一、Data Container三、What’s Tensor四、Tensor Type五、Create Tensor六、Tensor Property七、Check Tensor...原创 2019-04-05 15:17:43 · 4052 阅读 · 0 评论 -
〖TensorFlow2.0笔记3〗Numpy—实现线性回归问题!
Numpy实现—回归问题算法实战文章目录一、思路分析1.1、步骤1:计算损失函数1.2、步骤2:损失函数的梯度1.3、步骤3:设定w=w' and loop一、代码综合梳理2.1、程序运行结果一、思路分析找出 w,bw,bw,b 的偏导数,1.1、步骤1:计算损失函数# y=wx+bdef computer_error_for_line_given_points(b,w,poi...原创 2019-04-03 23:26:33 · 2437 阅读 · 0 评论 -
〖TensorFlow2.0笔记2〗手写数字(MNIST)识别问题初体验!
注意:Dataset类型有一个好处:比如一次给一个样本恩[1,784],这个样本对于GPU来说是非常快的。所以我们可以一次来完成多个样本,有个b的概念在里面。即是:一次完成多个图片的计算,高度的并行化。默认的是一次抽取一张图片。看下面的运行结果。如何返回一个batch呢?后面添加一个.batch(张数)...原创 2019-04-04 23:27:26 · 6138 阅读 · 8 评论