- 博客(20)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
虽然在文献中被忽略了，但我们发现在效率/速度方面存在问题，简单地提取输入特征比多模态交互步骤需要更多的计算，本文在总结了以往多模态学习工作的基础上，提出了一种新的多模态学习方法，它是第一个基于patch projection的多模态预训练模型，首个使用patch projection来做visual embedding的方法。(a) 如VSE等，对图像和文本独立使用encoder，图像的参数量更大，文本的更轻，使用简单的点积或者浅层attention层来表示两种模态特征的相似性。即 MLM loss。
2022-12-18 12:45:40
329
1
原创 What the DAAM: Interpreting Stable Diffusion Using Cross Attention
在读本篇文章之前先来了解深度学习的可解释性，可解释性方法有类激活映射CAM、基于梯度的方法、反卷积等，在diffusion模型出来之后，本篇文章就对扩散模型中的交叉注意力做了探究，主要做的工作是用交叉注意力来解释扩散模型学习到的特征，针对的具体任务是文本生成，探究不同词性、语义的单词和图像特征之间的关系。图像X经过编码器生成离散的向量（目的是为了可以进行离散的加噪去噪），再经过一个加噪过程(可以是高斯噪声)得到一个各向同性的噪声分布，再经过去噪过程，恢复为图像编码，经过解码器就可以得到生成的图像。
2022-12-15 14:09:45
2086
1
原创 Creation and validation of a chest X-ray dataset with eye-tracking and report dictation for AI devel
在这项工作中，我们使用公开可用的MIMIC-CXR数据库和公开可用的MIMIC-IV临床数据库的急诊科（ED）子集。MIMIC-IV-ED子集包含与MIMIC-CXR数据库中的一些CXR检查相关的临床观察数据和结果。纳入和排除标准应用于MIMIC-CXR临床数据库中记录的患者属性和临床结果1083例，涵盖3种疾病情况：正常、肺炎和充血性心力衰竭（CHF）。5. 音频片段：包含每个双标识符的听写音频掩码（即mp3、wav）、文本掩码（即json）、分割掩码（即png）的文件夹。转录的放射学报告文本，
2022-12-09 19:34:03
550
原创 indices should be either on cpu or on the same device as the indexed tensor (cpu)
出错误的版本：torch 1.13.0+cu117。不出错误的版本：torch 1.1.1+cu113。我的一个解决方法是降低torch的版本。
2022-11-25 17:00:43
704
原创 origin+tensorboard 科研绘图
代码运行过程中，生成 events.out.tfevents 文件，然后在终端用命令打开，出现一个网址，点击进入网址，即可实现可视化。安装过程及破解过程及汉化自行百度，亲测可用。5、科研配图及配色（待更新）
2022-09-27 16:11:07
468
原创 笔记本手机上网问题
1、连接过devsider之后被修改过网络代理，导致浏览器不能上网的问题，通过修改浏览器设置，网络代理改为不允许，这会自动跳转到系统代理设置，如图（亲测有效）路由器初始化设置属性的时候，一定要设置“自动获取ip地址”并且在登录网址的时候 断掉流量，连接此wifi，再修改默认设置。（1）查看ip协议 4 6 中是否都为自动获取ip地址，如果不是，则修改为自动获取。可以连接wifi但无法上网，一般是没有获得IP地址。（3）查看网络的连接 （暂时没有用）3、关于路由器、网关初始化的问题。...
2022-08-11 12:30:15
323
原创 解决pycharm回车之后不能换行或不能缩进的问题
【摘要】解决pycharm回车之后不能换行或不能缩进的问题如果不小心按到键盘上的Insert键的话，光标显示的就不是一条竖线，而是一个类似方块的阴影区域，比如插入一下insert键的介绍：它叫插入键，缩写INS。主要用于在文档中切换文本输入的模式。 有两种模式，一种是插入模式，新输入的字插入到光标…...
2022-05-25 10:36:18
1481
原创 网页视频下载
@https://blog.csdn.net/ldy597321444/article/details/115666936?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165338316216781432953594%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=165338316216781432953594&biz_id=
2022-05-24 17:17:13
1549
原创 python批量修改文件夹内所有图片的名字
https://blog.csdn.net/Li_haiyu/article/details/80797710?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-0.pc_relevant_aa&spm=1001.2101.3001.4242.1&utm_relevant_index=3
2022-04-20 16:36:54
691
原创 linux安装anaconda,torch和环境配置
下载anaconda```bashbash Anaconda3-2021.05-Linux-x86_64.shchmod +x Anaconda3-5.3.0-Linux-x86_64.sh ./Anaconda3-5.3.0-Linux-x86_64.sh 一直yes和enter`标题检查conda版本，是否安装成功anaconda -V##创建一个新的python环境conda create -n py37 python=3.7#安装对应版本torch，先查一下服务器cud
2022-04-15 22:13:24
748
原创 2021-10-22
项目场景：LINUX远程安装连接jupyter记录提示：这里简述项目相关背景：实验室预装了conda，想从conda上下载jupyter，利用jupyter调试程序例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述提示：这里描述项目中遇到的问题：按照各个博客，对服务器的conda进行了激活，并创建了自己的环境。例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：(1) /opt/an
2022-04-15 21:53:37
53
原创 vs2017试用期满了无法登陆怎么办
VS2017出现许可证过期解决方法vs2017是免费社区，但是第一次试用的时候没有登录账户，提示试用期满不能进行操作。查到有一下几种方法：1、在帮助栏里输入序列号进行激活，此时必须处于许可证未过期状态进行激活，否则只能退出visual。2、重新安装vs，对于一部分人来说是有效的，因为序列号丢失，这时可以重新激活，但建议不要轻易尝试，要在所有办法都尝试无效后再进行，有时候重装也解决不了问题，甚至有残余。3、当然首选是输入微软账号进行许可更新，但是都更新失败，我也是这种情况，一直显示在加载中，这种情况
2020-07-01 01:38:41
6666
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人