![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
fangzuliang
fzl爱学习
展开
-
Axial Attention 和 Criss-Cross Attention及其代码实现
Axial Attention 和 Criss-Cross Attention及其代码实现文章目录Axial Attention 和 Criss-Cross Attention及其代码实现1 Criss - Cross Attention介绍1.1 引言1.2 理论实现1.2.1 获取权重A1.2.2 Affinity操作1.3.3 全部信息获取1.3 代码实现1.3.1 官方实现1.3.2 纯pytorch实现2 Axial Attention 介绍2.1 引言2.2 理论实现2.3 代码实现2.3原创 2020-06-15 13:13:56 · 15331 阅读 · 9 评论 -
几种视觉Attention的代码详解
几种视觉Attention的代码详解文章目录几种视觉Attention的代码详解1 SENet - 通道注意力2 CBAM - 通道 + 空间注意力3 SKEConv4 self-attention4.1 Self_Attn_Spatial 空间注意力4.2 Self_Attn_Channel 通道注意力5 Non-local6 参考链接最近看了几篇很优秀的视觉Attention介绍的文章,详细见参考链接。这里再拾人牙慧,将代码再清晰整理一遍,并自己编写了Self_Attn_Channel 注意力。原创 2020-05-31 00:43:51 · 3922 阅读 · 0 评论 -
seq2seq中的Global Attention机制的三种评分函数的理解—以pytorch为例
seq2seq中的Global Attention机制的三种评分函数的理解—以pytorch为例文章目录seq2seq中的Global Attention机制的三种评分函数的理解—以pytorch为例1 seq2seq简介2 Attention介绍2.1 Local Attention 与 Global Attention2.2 Global Attention 介绍2.3 评分函数score的...原创 2020-04-13 16:37:16 · 2100 阅读 · 0 评论 -
win和linux下anaconda中pip 和 conda 换源加速
文章目录1 pip换源1.1 win下1.2 linux下2 conda换源2.1 win下2.2 linux下参考链接Python经常需要安装一些库,但是默认使用的国外的源,真的非常非常慢,体验不佳,因此很有必要替换为国内的源。1 pip换源1.1 win下打开appdata文件夹,在资源管理器的地址栏输入 %appdata% 后回车回车后进入当前路径,新建一个 pip 文件...原创 2020-04-08 09:16:04 · 2660 阅读 · 0 评论 -
加速安装pytorch
加速安装pytorch文章目录加速安装pytorch1 创建环境2 显卡版本查询3 安装合适的版本4 加快安装速度5 检验是否安装成功6 参考链接1 创建环境打开Anaconda Prompt终端#查看现在有哪些环境conda env list#创建新环境, 环境名称为:pytorch ,python版本为3.7conda create -n pytorch python=3.7...原创 2020-04-07 13:11:38 · 1879 阅读 · 0 评论 -
Deecamp深度学习降水预测总结
先做个广告https://mp.weixin.qq.com/s/fHgaCpReeZnwdn-F92Woog 欢迎关注这个公众号 MeteoAI ,一群有才华、有理想的年轻人的交流平台。正文:Deecamp 夏令营是创新工场举办的面向在校学生的 AI 夏令营,时长为 4 周左右。第 1 周主要为上课。上课老师包括来自产业界和学界的李开复、吴恩达、周志华、张潼、 孙剑、俞扬等老师,主讲内容包括...原创 2019-09-19 11:58:38 · 12501 阅读 · 17 评论 -
使用sklearn的GridSearchCV对keras进行多个超参数交叉验证
神经网络是玄学,很大一部分时间都是在花费参数的搭配选取上。如果在计算资源充足的情况下,使用网格搜索选取最优参数,就可以节省大量时间。下面给出示例:Scikit-Learn里有一个API 为model.selection.GridSearchCV,可以将keras搭建的模型传入,作为sklearn工作流程一部分。以下为keras的两个包装器,分别适用于分类和回归keras.wrappers.s...原创 2019-08-24 23:53:11 · 1593 阅读 · 1 评论 -
基于keras(或者tensorflow.keras)构建的模型的summary展示和plot_model结构图展示
一般在构建模型的时候,如果能在训练之前就知道模型的参数量和结构图,就能避免一些低级错误。常用的函数有summary和plot_model,下面就一个简单的个例进行展示另外,需要说明,在tensorflow 2.0版本中,tf.keras的用法和keras的用法基本一致,两者的API说明文档完全可以相互参考。这里使用tf.kerassummary的使用和保存import numpy as ...原创 2019-07-31 23:46:55 · 6668 阅读 · 0 评论 -
keras自定义simm作为损失函数,并且实现Tensor和数组之间的转换
ssim介绍在比较两幅图像误差或者相似度时,常用的衡量方法有MAE和MSE,https://blog.csdn.net/u011875342/article/details/78036380但是上述这两种损失不足以表达人的视觉系统对图像的直观感受,有时候两张图片只是亮度不同,但是他们之间的MSE loss相差很大,而一副很模糊与另一幅很清晰的图,他们的MSE loss可能反而很小。而...原创 2019-06-01 18:44:02 · 5127 阅读 · 0 评论 -
实现keras中ConvLSTM2D中recurrent_activation和activation的设置
LSTM结构如下图一种常见的写法为如下,每个门的生成除了当前时刻的信息Xt和上一个时刻的输出ht-1外,还外加了一个小尾巴 Ct-1,即上一个时刻的状态。 但是这个写法其实太过复杂,而且不易理解LSTM中参数个数的计算而这样的写法其实是更合适。每个门的生成都与当前时刻输入和上一个时刻的输出有关。这三个门的激活函数都默认为sigmoid(hard_sigmoid),在keras中为用re...原创 2019-05-20 12:00:55 · 5690 阅读 · 6 评论 -
keras 自定义损失函数loss
现在深度学习逐渐应用到各行各业,针对各个行业的具体不同问题,需要设计较为合理的损失函数。MSE之前接触的最多的应该是最小二乘优化方法,最小二乘损失函数为 平均均方误差MSE(Mean Squared Error),keres中MSE损失为:from keras import backend as Kdef mean_squared_error(y_true, y_pred): ...原创 2019-04-05 11:18:44 · 5007 阅读 · 2 评论 -
解决在调用keras encoder-decoder 中 ConcLSTM2D中的 initial_state问题
问题说明keras 在实现encoder-decoder (seq2seq)模型的时候,需要将encoder的最后一个时间步的状态输出作为decoder模型的初始状态输入,这样才能保证序列信息的传递。模型选择目前在构建encoder-decoder模型时候,常用RNN(如LSTM, GRU),这些用来处理时间序列问题,如文本,语音等,是很有效的。可以参考如下链接:https://blog...原创 2019-03-31 10:50:46 · 3604 阅读 · 7 评论 -
keras中的TimeDistributed的作用解释
循环神经网络中1.1 前戏输入向量维度为:[batch, timesteps,sequences] , 假设为[100, 20,10],from keras.models import Sequentialfrom keras.layers import Densefrom keras.layers import TimeDistributedfrom keras.layers i...原创 2019-03-29 15:46:50 · 4383 阅读 · 4 评论