- 博客(33)
- 收藏
- 关注
RSS订阅原创 【论文阅读】Tabular Insights, Visual Impacts: Transferring Expertise from Tables to Images - 表格，图像分类，跨模态迁移
论文阅读，经验分享。ICML 2014 spotlight 论文：Tabular Insights, Visual Impacts: Transferring Expertise from Tables to Images。关于表格数据，图像分类，多模态学习，跨模态迁移等。本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。如有理解不当的地方，欢迎大家一起讨论。
2024-07-29 17:17:27
950
1
原创 【数据集下载】虚假内容检测，谣言检测，事实核查--纯文本，多模态，多语言，社交信息--rumor/misinformation/fake news detection dataset download
本博客系博主个人理解和整理所得，包含内容无法详尽，如有补充，欢迎讨论。这里只提供数据集相关介绍和来源出处，或者下载地址等，因版权原因不提供数据集所含的元数据。如有需要，请自行下载。博主目前暂时收集和整理了这些数据集，“其他”类别中的数据集还没有进行详细分析，同时还有许多不完善的地方。如有补充或者错漏敬请大家在评论区指正。会持续更新，对数据集进行详细介绍，提供相应的数据集下载地址。
2023-11-09 10:56:05
5579
21
原创 【论文阅读】NIPS 2023 Connecting Multi-modal Contrastive Representations 多模态表征，跨模态对比学习表征，图像，文本，音频，3D
【论文阅读】NIPS 2023 Connecting Multi-modal Contrastive Representations 多模态表征，跨模态对比学习表征，图像，文本，音频，3D
2023-11-06 22:30:29
1418
1
原创 python PIL open 无法打开 webp，jpeg等图像 ，报错 PIL.UnidentifiedImageError: cannot identify image file
使用 PIL.Image.open() 能正常打开大部分图像文件，但是webp格式的图像无法打开，有一些jpg，png图像也无法打开，报错：PIL.UnidentifiedImageError: cannot identify image file xxx。
2023-08-15 22:00:46
3474
3
原创 【论文阅读】Multi-Modal Sarcasm Detection via Cross-Modal Graph Convolutional Network 嘲讽检测，多模态，跨模态，图神经网络
ACL 2022 论文阅读：Multi-Modal Sarcasm Detection via Cross-Modal Graph Convolutional Network 嘲讽检测，多模态，跨模态，图神经网络。本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2023-02-20 20:16:57
3385
原创 【论文阅读】跨域推荐系统相关论文学习
一些跨域推荐系统相关论文学习的总结和部分心得体会，本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2022-12-01 09:53:24
747
原创 【论文阅读】Emphasizing Complementary Samples for Non-literal Cross-modal Retrieval 图文检索 多模态
CVPR 2022 workshop论文阅读，标题：Emphasizing Complementary Samples for Non-literal Cross-modal Retrieval。本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2022-11-30 16:55:24
406
原创 【论文阅读】Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval 多义性 视觉-语义编码 跨模态检索 视频 图像 文本
论文阅读，CVPR 2019 论文：Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval，本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2022-11-22 11:23:19
721
原创 联想 小新 pro13 笔记本 扩展坞 HDMI 外接显示器 失败 无反应
联想 小新 pro13 笔记本 扩展坞 HDMI 外接显示器 失败 无反应
2022-11-19 09:57:14
8670
原创 【论文阅读】Embracing Domain Differences in Fake News: Cross-domain Fake News Detection using 多模态数据
AAAI 2021 论文阅读，论文标题：Embracing Domain Differences in Fake News: Cross-domain Fake News Detection using Multimodal Data。本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2022-11-09 11:50:04
1016
4
原创 【论文阅读】Anti-Forgery: Towards a Stealthy and Robust DeepFake Disruption Attack viaAdversarial Percept
IJCAI 2022论文阅读，论文标题Anti-Forgery: Towards a Stealthy and Robust DeepFake Disruption Attack viaAdversarial Percept。本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2022-11-07 15:37:05
1189
2
原创 【论文阅读】MFAN: Multi-modal Feature-enhanced Attention Networks for Rumor Detection --- 多模态，谣言检测，注意力机制
【论文阅读】IJCAI 2022 论文：MFAN: Multi-modal Feature-enhanced Attention Networks for Rumor Detection。关键点：谣言检测，虚假新闻检测，多模态学习，视觉处理，自然语言处理，社交网络数据挖掘。注意：本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
2022-10-31 19:40:30
3826
11
原创 【论文阅读】InfoSurgeon: Cross-Media Fine-grained Information Consistency Checking for Fake News Detection
本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。论文标题：InfoSurgeon: Cross-Media Fine-grained Information Consistency Checking for Fake News Detection
2022-07-13 11:20:59
728
原创 【论文阅读】Neural Transformation Learning for Deep Anomaly Detection Beyond Images 异常检测，可学习变换，时间序列，表格数据
本博客系博主阅读论文之后根据自己理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。论文标题：Neural Transformation Learning for Deep Anomaly Detection Beyond Images；
2022-05-29 16:45:25
833
原创 matplotlib 合并cmap，创建cmap，创建listedcolormap
python中matplotlib内置的离散cmap中颜色有限，为了获得包含更多颜色的cmap，最简单的方法就是合并内置cmap，创建新的cmap。如下图所示，内置的qualitative系列包含下列离散cmap，最多只有20种颜色。而tab20b和tab20c的颜色各不相同，因此我们考虑合并它们得到一个新的cmap，可以直接用于图像绘制。import matplotlib.pyplot as pltfrom matplotlib.colors import
2022-05-15 13:02:26
4139
原创 ubuntu20，更新内核，或者更新软件后，或者系统bios更新后，屏幕分辨率出错，扩展屏幕失效，第二屏幕黑屏不亮，显卡无反应，nvidia-smi报错
ubuntu20更新内核或者软件后，屏幕分辨率出错，扩展屏幕失效，第二屏幕黑屏不亮结果安装完成，重启电脑之后屏幕分辨率出错了。设置中只有一种分辨率选项了，无法自适应显示器的分辨率。百度之后发现使用xrandr，等各种添加分辨率修改分辨率的方法都没用，最后发现是显卡驱动被更改了，导致了分辨率出错。上图中第3，4个驱动是服务器专用的，如果用错了就改成上面两个。第1，2个驱动版本不同，博主使用第1个驱动就会出现分辨率出错的问题，换成第2个就好了。...
2022-04-03 16:25:09
4028
原创 【论文阅读】Probabilistic Embeddings for Cross-Modal Retrieval CVPR 2021 --- 跨模态检索，概率嵌入，一对多，多对多匹配
CVPR 2021 论文 Probabilistic Embeddings for Cross-Modal Retrieval 阅读笔记。本博客非论文的逐字逐句翻译，乃博主阅读论文之后根据自己的理解所写，预知详情，请参阅论文原文。
2022-03-22 17:07:42
2365
3
原创 huggingface transformers使用心得
安装和使用代码在huggingface官网可见，本博客不在赘述，这里只记录一些博主使用过程中的想法和遇到的一些问题。
2022-03-14 22:31:00
3240
原创 从干净SSD安装ubuntu20.04.3 LTS 单系统
本文是作者根据自己的需求和喜好选择的安装方式，参考网上的安装过程和分区教程，添加了很多自己的改动，尤其是分区部分，仅供参考，不保证标准，但是博主安装成功了。
2022-03-12 20:29:21
4106
原创 【论文阅读】learning with noisy correspondence for cross-modal matching ------ 跨模态匹配，噪声对应
阅读NIPS 2021论文Learning with Noisy Correspondence for Cross-modal Matching。本文提出了一个跨模态匹配中一直存在但是没有被认真研究过的问题：noisy correspondence：现存数据集中图像-文本配对也许并不match，尤其是从网上爬取的图像-文本配对，很可能是mismatch的。用这样的数据训练跨模态模型显然是有问题的。本文方法能够自适应地划分clean和noisy数据，并纠正noisy的配对样本，得到更具鲁棒性的跨模态匹配模型
2022-03-08 11:17:57
7415
1
原创 【代码实践】使用CLIP做一些多模态的事情
CLIP到底有多强，让我们来试试吧！CLIP模型及代码地址：GitHub - openai/CLIP: Contrastive Language-Image Pretraining一、准备环境先创建一个anaconda虚拟环境，包含python=3.7版本，将该环境命名为clip。成功。（ pytorch=1.7.1 所需 python 版本 >=3.6，本博客决定安装 py3.7 ）conda create --name clip python=3.7# 切换到虚拟环境c
2022-03-02 21:48:56
16918
6
原创 【论文阅读】Representation Learning with Multiple Lipschitz-constrained Alignments on Partially-labeled
论文阅读：Representation Learning with Multiple Lipschitz-constrained Alignments on Partially-labeled Cross-domain Data；有关domain adaptation，域适应，领域自适应，跨域学习；利普希茨连续性
2022-03-02 16:54:48
2095
原创 【论文阅读】Attention Bottlenecks for Multimodal Fusion---多模态融合，音视频分类，注意力机制
本文任务是视频分类，方法是多模态视觉（图像）和音频融合。主要是对transformer结构中attention层进行修改，使之可以处理多模态信息，且降低计算量。本博客系本人阅读该论文，结合个人理解所写，非逐句翻译，欲知文章详情，请参阅论文原文。...
2022-03-01 16:55:36
14082
15
原创 【论文阅读】CLIP：Learning Transferable Visual Models From Natural Language Supervision ------ 多模态，视觉，预训练模型
本博客的作用是，预习CLIP。在阅读CLIP文章前可以对文章的内容有个整体的认识，有利于阅读过程中充分理解CLIP。讲解CLIP的文章和博客已经非常多了，因此本博客不再逐字逐句解释或者翻译本文的主要内容，而是主要记录一些关键点，包括博主在初次阅读这篇文章时所遇到的问题，以及难以理解透彻的地方。故本博客以问答形式展开。
2022-02-21 11:38:38
7468
2
原创 【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态
本博客系本人阅读该论文后根据自己理解所写，非逐句翻译，欲深入了解该论文，请参阅原文。论文标题：Hierarchical Multi-modal Contextual Attention Network for Fake News Detection；关键词：社交媒体，虚假新闻检测，多模态学习；作者：Shengsheng Qian，Jinguang Wang，Jun Hu，Quan Fang，Changsheng Xu；中国科学院大学，中国科学院模式识别国家重点实验室；合肥工业大学；发表会
2021-11-23 17:41:29
7577
7
原创 【论文阅读】Multimodal Fusion with Co-Attention Networks for Fake News Detection --- 虚假新闻检测，多模态融合
本博客系本人理解该论文之后所写，非逐句翻译，预知该论文详情，请参阅论文原文。论文标题：Multimodal Fusion with Co-Attention Networks for Fake News Detection；作者：Yang Wu, Pengwei Zhan, Yunjian Zhang, Liming Wang, Zhen Xu；中国科学院大学；出处：ACL 2021；摘要：靠人工识别谣言是费时费力的，所以急需自动识别谣言的模型。但是现有谣言检测模型在融合多模态特征方面
2021-11-21 22:32:53
11184
39
原创 【论文阅读】An Introduction to Image Synthesis with Generative Adversarial Nets --- 文本to图像，图像to图像生成，图像合成
论文原文链接：本博客根据博主对本论文的阅读和理解所写，重点关注个人理解方便，非逐句翻译，望周知。如需深入了解论文详情，请阅读原文。作者：He Huang, Philip S. Yu(University of Illinois at Chicago) and Changhu Wang (ByteDance AI Lab)；发表位置：Arxiv 2018；摘要：GAN在许多领域展现出强大能力，比如计算机视觉和NLP。在众多GAN的应用中，image synthesis是研究地最深入的领域，充.
2021-10-31 21:54:39
1055
原创 【论文阅读】A Survey of Image Synthesis Methods for Visual Machine Learning --- 图像生成，计算机视觉
论文原文地址：https://onlinelibrary.wiley.com/doi/epdf/10.1111/cgf.14047本文是对现存image synthesis方法的一个综述。摘要：为机器学习应用所设计的image synthesis提供了一种方法：有效地生成高质量的图像训练数据，同时控制生成过程，以提供图像的最佳分布和图像内容的多样性。随着深度学习应用的发展，合成数据在训练pipeline中很有可能成为非常重要的部分。最近一段时间，大量的训练数据生成方法被提出。image synthe
2021-09-17 16:04:12
991
原创 使用pytorch中预训练模型VGG19获取图像特征，得到图像embedding
使用pytorch预训练模型VGG19提取图像特征, 得到图像embedding前言pytorch中的VGG19预训练模型, 最后一层输出是1000维的图像分类结果, 但是如果我们只想要模型中某一层的输出特征, 比如全连接层的4096维度的特征, 要如何提取呢? 本文解决这个问题.本文内容参考:https://zhuanlan.zhihu.com/p/105703821https://blog.csdn.net/Geek_of_CSDN/article/details/84343971
2020-10-22 15:56:20
27305
26
原创 camel论文阅读笔记《Camel: Content-Aware and Meta-path Augmented Metric Learning for Author Identification 》
前几天读了18年的这篇文章《Camel: Content-Aware and Meta-path Augmented Metric Learning for Author Identification 》，将自己的阅读笔记分享给大家，共同学习共同进步！ 这篇文章主要介绍的是作者识别（author identification）问题。作者识别问题是指基于某个T时间之前的所有论文（p...
2018-05-26 11:26:27
1120
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人