- 博客(44)
- 收藏
- 关注
RSS订阅原创 因果学习篇(2)-Causal Attention for Vision-Language Tasks（文献阅读）
一篇由南洋理工大学和澳大利亚莫纳什大学联合发表自2021年的CVPR顶会上的一篇文献，提出了一种新的注意力机制：因果注意力(CATT)，使用因果推断中的“前门准则”解决训练数据中存在的虚假相关性，刨析了注意力机制在推理过程中的因果原理，在提高模型性能的前提下，加强了模型的可解释性，打开了神经网络的黑匣子，具有非常好的参考意义。
2024-03-06 17:45:59
2153
原创 Centos7手动编译安装glibc2.18时遇到的神坑解决方案
解决centos7中手动编译安装glic2.18时出现make too old 错误的方法。
2023-07-12 20:45:43
1255
原创 异常解决:cococaption包出现找不到edu.stanford.nlp.semgraph.semgrex.SemgrexPattern错误
异常解决经验分享: coco-caption包出现找不到edu.stanford.nlp.semgraph.semgrex.SemgrexPattern错误
2022-07-25 22:55:29
1213
2
原创 浅析Swin transformer模型(通俗易懂版)
对于最近新出的Swin Transformer的系统学习，包括模型的基本结构、参数介绍、计算过程等详细介绍，全面了解该模型，文中包含相关代码和论文下载连接。
2022-07-06 10:49:12
8166
1
原创 循环神经网络(RNN)及其变体GRU和LSTM的基础知识详解(公式)
RNN计算公式RNN结构图结构图中变量名介绍a：上一个时间步的激活值（activate value）x ：第x个输入（一句话中第x个字）y：第y个输出（预测值）Waa：与激活值进行计算的参数。其中第一个a是指当前参数是计算a（激活值）的，第二个a是指当前参数与激活值进行乘运算Wax：与输入进行计算的参数。其中第一个a是指当前参数是计算a（激活值）的，第二个x是指与输入值x进行运算Wya：与激活值运算的参数，得到的记过为y。其中第一个y是指当前参数是计算输入值y的，第二个a是指与激活值a进
2022-02-15 22:05:18
2010
原创 h5py读取h5文件报错：Unable to open object (bad heap free list)
前言最近在复现一篇论文的代码时发现了一个致命问题，研究了一天，终于还是破解了。网上找了半天，一个类似的解决方案都没有，记录一下。错误出现的代码位置：self.feature_app_file = h5py.File(self.opt.input_app_feature, 'r', driver='core')错误信息Traceback (most recent call last): File "train.py", line 259, in <module> train
2022-01-30 21:42:07
5191
2
原创 SEnet 通道注意力模块
SEnet 通道注意力模块开篇一张图：变量和图片解释：三个正方体：特征向量，比如说图像的特征，H表示图片高度、W表示图片宽、C表示通道（黑白1通道、彩色3通道）字母：X表示输入特征；Ftr表示的是对X进行一次卷积，也就是对特征进行一系列的操作之后的结果，表示为U；Fsq(.)表示的是对U进行压缩；Fex(.)表示的是对U进行激活（就是赋予权重）；Fscale(.)表示的是对U进行放大（就是恢复维度）；执行过程对于输入的特征X进行一些列处理（在图中表示为卷积：Ftr）之后，得到处
2021-12-30 21:16:50
1911
原创 论文阅读--Semantic Grouping Network for Video Captioning
Semantic Grouping Network for Video Captioningabstract提出了Semantic Grouping Network(SGN)网络：用部分已经解码的字幕中，选择可可以区分的单词短语对视频帧进行分组，也就是将表达不同意思的帧分组（与聚类相似）；对语义对齐的组进行解码，以预测下一个单词；（根据前面的已经生成的、分好组的词预测下一个）以前：丢弃或者合并重复视频信息SGN：检索最有鉴别能力的单词短语，然后将这些词与视频帧关联 。这样可以让语义差不多的帧
2021-12-28 20:22:25
1137
原创 简析LSTM()函数的输入输出数据
LSTM()函数输入参数参数有input_size, hidden_size, num_layers, bias, batch_first, dropout, bidrectional.常用的就是Input_size就是输入的大小，一般就是多维度的最后一个维度的值。hidden_size 是输出的维度，也是指输出数据的维度的最后一个维度的大小。bidrectional表示是否为双向lstm。这可能影响输出维度，后面讲。e.p.lstm_bi=torch.nn.LSTM(input_size=1
2021-08-30 14:47:27
3085
原创 Linux(Ubuntu20.04)安装配置Caffe环境(No module named caffe)
0. 前言ImportError: No module named caffe我滴天，我感觉我为了解决这个问题，都能写一篇论文了，整整搞了两天，是真麻烦，所以，我建议，如果能换成不用caffe的代码的话，尽量别用caffe跑了，太难了~1. 尝试解决办法首先，网上推荐的是用编译的方式进行安装配置caffe。具体如下：1.1 创建环境conda create -n caffe_env python=2.7.18conda activate caffe_envpip install pip -
2021-08-17 11:59:22
6404
12
原创 Linux(Ubuntu)通过NFS服务挂载群晖NAS为虚拟磁盘
0. 前言 由于服务器存储空间有限，但是如果有个外置的NAS存储服务就能够很好的解决服务器的磁盘问题。下面就简单介绍一下如何将NAS挂载在服务器上，简介的扩充磁盘。1. 设置NAS，共享目录1.1 文件服务 设置首先进入NAS服务，打开 [控制面板] ，在控制面版包含** 文件服务 ** 功能如图所示。然后进入文件服务，设置相关的文件权限： 在“文件服务”右侧选择"SMB/AFP/NFS"一栏，滑倒最下面有个[NFS]，打开后，有个"启动NAF服务"的复选框，选中 。这样我们就设置好了
2021-08-11 21:10:25
14862
6
原创 conda安装pytorch的镜像源问题
在安装pytorch的时候因为源的问题折腾了非常久，在这记录以下。问题报错：(video_env) D:\profession\code\model\SAAT-master>conda install pytorch-cpu==1.1.0 torchvision-cpu==0.3.0 cpuonly -c pytorchCollecting package metadata (current_repodata.json): failed# >>>>>>&
2021-06-03 22:31:53
1082
原创 django中新插入对象数据到数据库并返回自增主键的ID
问题：在Django中新插入一条数据之后，后面还需返回其自增的主键(ID)的值，从而完成后面的操作修改前：sign_id = models.IntegerField(primary_key=True)解决：将IntegerField 换成 AutoField修改后：sign_id = models.AutoField(primary_key=True)用法：例如对象名为Bookbook = Book(name='C语言', price=25.5)book.save()print('
2021-05-25 22:08:40
3180
2
原创 梯度下降
梯度下降adagrad每次学习率都会除以一个值，所以会更新越来越慢。所除的那个值恰好为函数的二次微分vanilla gradient descentstochastic只考虑一次的lossfeature scaling
2021-04-23 10:47:14
112
原创 正则表达式
正则表达式概念用实现定义好的一些指定字符及这些特定字符的组合，组成一个“规则字符串”， 这个“规则字符串”而能来表达对字符串的一种过滤。常用方法re.compile (编译)pattern.match (从头找一个)pattern.search (找一个)pattern.findall (找所有)pattern.sub (替换)符号. 匹配任意字符，不能匹配\n,要匹配\n 需要加re.DOTALL或re.S\ 转义字符[…] 匹配括号里某一个字符\d 数字[0-9]\D
2021-04-23 10:45:06
75
原创 Transformer 网络
Transformer从整体框架来讲，Transformer其实就是encode-decode框架，即就是编码解码。只不过在编码和解码的内部比较复杂，经过了多次复杂计算。比如说，encode编码阶段，其内部整体框架如图所示。在图上可以看出，首先输入所有的向量，然后经过多次block的计算，最终得到相同数量的输出结果向量。其中每个block内部包含一层自注意力机制、一层全连接层。同样，在自注意力机制中，计算每个向量时都会考虑其他元素。区别是，在transformer的自注意力机制结束后，.
2021-04-18 18:12:17
4837
原创 自注意力机制(Self-attention)
自注意力机制(Self-attention)背景最近，学了好多东西，今天看了一下李飞飞老师讲解的自注意力机制，因此在这记录一下，以供日后复习，同时自己学习消化知识也好。综述一般来说，模型的输入输出有三种： N个输入，经过模型计算后，输出N个结果，也就是对输入向量进行计算，从而得到每个向量对应的输出值。 N个输入，送入模型进行计算，最终得到一个结果。这就是平时常见的比如，文本分类、情感分析等。 任意个输入，输出任意个输出。这种在生活中也较为常见，比如机器翻译，对于一句
2021-04-17 18:04:34
8878
2
原创 浅析 集束搜索(Bean Search) 算法
集束搜索(Bean Search)背景 场景一：如果说，你想实现：输入一段语音片段，经过一一列操作，实现最后输出语音的内容。再此过程中，假如你不想随机输出一些结果，而想得到最好最优的输出结果，此时，则需要本算法。 场景二：实现机器翻译，输入一段法语，输出一段最有的翻译结果。方法：1. 使用的网络：2.词典3.思想与贪心算法不同，集束算法含有一个变量b(bean width), 用来存放在一次搜索中，搜索多少个可能的结果。例如：第一步：在搜索第一个词时，
2021-04-06 11:39:46
4375
原创 Resnet网络结构图和对应参数表的简单理解
ResnetResnet即就是残差网络，本文主要是对于resnet给出的网络结构图进行简单解释。网络结构图以上就是34层网络的网络结构图。以上是18层、34层、50层、101层以及152层网络所对应的残差块。我刚开始在网上看到这两张图片的时候，感觉一点都不懂，后面学了一下，稍微懂了，所以写下这篇博文做个记录。个人理解比如说第一张34层的网络结构图，它对应的是第二张图片的第四列。在第四列中，每一行的大概解释如下：第二行表示，从18层到152层的conv1都使用了64个7*7的卷积核，
2021-03-30 14:53:28
14155
4
原创 机器学习_1/2
机器学习概述机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测。数据集的构成存储类型：文件格式（如csv）可用的数scikit-learnKaggleUCI常用数据集数据的结构组成结构：特征值 + 目标值处理：pandas：一个数据读取非常方便以及基本的处理格式的工具sklearn: 对于特征的处理提供了强大的接口特征工程概念将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对位置数据的预测准确性意义直接影响预测
2020-08-20 23:26:15
211
原创 Pandas基础知识
Pandas常用数据类型Series 一维，带标签数组用法：import pandas as pd# 法一b = pd.Series([1,3,4,5,2,3,2], index=list("abcdefg")) # index指定索引值，与数组一一对应，b.dtype的值为int64# 法二a = {'name':'zhangsan', 'age':30} # a.dtype的值为objectpd.Series(temp_dict) # 索引=键 索引对应的值=键对应的
2020-08-17 21:32:18
385
原创 numpy基础知识
numpy概念科学计算基础库，多作为数值计算、在大型、多维数组上执行数值运算。创建数组import numpy as npa = np.array([1,2,3,4,5])b = np.array(range(1,6))c = np.arange(1,6)# 其中 a = b = cnp.arange的用法：arange([start], stop[, step,], dtype=None)c.dtype获取c中数据的类型c.astype(‘int8’)修改数据类型np.ro
2020-08-16 20:24:05
160
原创 matplotlib的使用
数据分析流程提出问题 --> 准备数据 --> 分析数据 --> 获得结论 --> 成果可视化conda 环境安装conda: data science package & environment manager创建环境：conda create --name python3 python=3切换环境：windows: activate python3linux/macos: source activate python3matplot
2020-08-16 14:42:27
111
原创 haystack(全文检索框架)和whoosh(全文检索引擎)的使用
haystack(全文检索框架)和whoosh(全文检索引擎)的使用后端安装与配置1）在虚拟环境中依次安装需要的包。pip install django-haystackpip install whooshpip install jieba 2）修改settings.py文件，安装应用haystack。INSTALLED_APPS = ( ... 'haystack',) 3）在settings.py文件中配置搜索引擎。...HAYSTACK_CONNECTIO
2020-07-29 22:31:23
486
原创 操作系统基础_1/2
操作系统一. 概述1. 操作系统的概念、功能和目标1.1 操作系统的概念1.2 操作的功能1.2.1 作为系统资源的管理者提供的功能操作系统的目标1.2.2 作为用户和计算机硬件之间的接口提供的功能操作系统的目标1.2.3 作为最接近硬件的层次提供的功能和目标2. 操作系统的特点2.1 并发(最基本特点)2.2 共享(最基本特点)2.3 虚拟2.4 异步3. 操作系统的发展和分类3.1 手工操作阶...
2020-05-01 11:36:40
165
原创 数据库基础_2/2
[end_label]7.2 调用存储过程和函数7.2.1 调用存储过程call proc_name([paramter[,...]])7.2.2 调用存储过程select fun_name([paramter[,...]])7.3 查看存储过程和函数使用show status 语句查看存储过程和函数的状态show {procedure|function} status{lik...
2020-05-01 11:31:25
502
原创 数据库基础_1/2
1.表操作1.1 表的设计理念第一范式：每个列不可分割第二范式：实体的每个属性都和主键完全依赖第三范式：每列都和主键列直接相关1.2 表操作查看数据库show databases;选择数据库use dname;创建表结构create table tname{属性名 数据类型 完整性约束条件}查看表详细定义show create table tname查看表定义...
2020-05-01 11:28:45
283
原创 Idea_笔记_CharacterEncodingFilter
笔记记一次在搭建SSM框架时遇到的一个小问题：在搭建完SSM框架之后，使用测试类测试时测试成功，完全没问题，但是在启动tomcat过程中，出现错误，这也是以前在eclipse中常见的一个问题：org.springframework.web.filter.CharacterEncodingFilter 这个类找不到，这个是全局的字符过滤类，在Spring-web的jar包里提供。...
2020-01-01 23:40:13
882
原创 二叉树的操作
二叉树本文包括二叉树的创建（满二叉树的方式）、先序遍历（递归、非递归）、后序遍历（非递归）、中序遍历（非递归）、层次遍历等操作。运行环境：VC++ 6.0以下程序可直接复制至编译器运行。#include<stdio.h>#include<stdlib.h>#define MaxSize 20#define MAX_NODE 50typedef ...
2019-11-13 14:20:17
171
原创 二分查找——C语言
二分查找思想：先确定待查记录所在范围（区间），然后逐步缩小范围直到找到或找不到该记录为止。代码：#include<stdio.h>#include<stdlib.h>#define LIST_SIZE 12typedef int ElemType;typedef struct{ ElemType *elem; int length;}SSTa...
2019-10-30 23:31:48
198
原创 堆排序算法——C语言
堆排序本次排序结果为非递减，采用的是大顶堆。思想小顶堆调整： 假设输出堆顶元素之后，以堆中最后一个元素替代之，此时根节点的左右值比较，由于左子树根节点的值大于右子树的根节点的值且大于根节点的值，则将27和97交换，由于97替代了27之后破坏了右子树的堆，则需要进行上述相同的调整，直至叶子节点，此时堆顶为n-1个元素中的最大值，重复上述过程，将堆顶元素27和堆中最后一个...
2019-10-29 00:03:56
457
原创 归并排序——C语言
归并排序思想：假设出示序列含有n个记录，则可看成是n的有序的子序列，每个子序列的长度为1，然后两两归并，得到n/2个长度为2或1的有序子序列；再两两归并，……，如此重复，直至得到一个长度为n的有序序列为止。代码：#include<stdio.h>#define MAXSIZE 20 //数组大小typedef int KeyType; //关键字类型typed...
2019-10-27 00:26:17
141
原创 简单选择排序
简单选择排序算法：一趟选择排序：通过n-i次关键字间的比较，从n-i+1个记录中选择出最小的记录，并和第i（1<= i <= n)个记录交换之。代码：#include<stdio.h>#define MAXSIZE 20 //数组大小typedef int KeyType; //关键字类型typedef int InfoType; //元素信息...
2019-10-25 23:26:46
141
原创 插入排序
插入排序 ：C语言编写的插入排序，思想在程序注释中体现。代码如下#include<stdio.h>#define MAXSIZE 20 //数组大小typedef int KeyType; //关键字类型typedef int InfoType; //元素信息类型//数组中元素的信息typedef struct{ KeyType key; //元素排...
2019-10-25 11:21:36
123
原创 快速排序
快速排序算法:思想：附设两个指针low和high，他们的储值分别为low和high，设枢轴记录的关键字pivotkey,则首先从high所指位置起向前搜索找到第一个关键字小于pivotkey的记录和枢轴记录互相交换，然后从low所指位置向后检索，找到第一个关键字大于pivotkey的记录和枢轴记录互相交换，重复这两步直至low=high为止。优化:先将枢轴记录暂存在r[0]的位置...
2019-10-25 10:33:43
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人