知识图谱 & 多模态学习 2024 最新综述 在这篇综述中，作者重点分析了近三年（2020-2023）超过300篇文章，关注两个主要方面的知识图谱（KG）相关研究：KG驱动的多模态（KG4MM）学习，其中KG支持多模态任务，以及多模态知识图谱（MM4KG），它将KG研究扩展到MMKG领域。
ICLR 2024 | MolGen: 化学反馈引导的预训练分子生成 本文介绍了一种新的分子生成框架MolGen。实验分析表明，MolGen能够有效生成符合化学偏好的分子，规避了“分子幻觉”问题。为了进一步满足从头分子设计的需求，作者推出了最新的MolGen-7B版本。该版本基于LLaMA架构，无需依赖现有分子结构即可设计出多样化的新分子，开拓了更为广阔的化学探索空间。
ICLR 2024 | Mol-Instructions: 面向大模型的大规模生物分子指令数据集 大型语言模型（Large Language Model, LLM）在生物学、计算化学、药物研发等跨学科领域证明了其广泛的应用潜力。Mol-Instructions数据集共计含2043K条指令数据，覆盖了小分子、蛋白质以及生物分子文本三大领域的17个关键任务，包含了不同复杂度和结构的生物分子及丰富的文本描述。
IEEE Proc.｜基于知识图谱的少样本和零样本学习综述 本文回顾了这些研究领域的90多篇文章，介绍了ZSL和FSL中使用的知识图谱及其构建方法，并系统地归类和总结了知识图谱感知的ZSL和FSL方法，将它们分为不同的范式，如基于映射、数据增强、基于传播和基于优化等。
Mol-Instructions：大模型赋能，药物研发新视野 Mol-Instructions可用于评估通用模型在从人类语言到生命语言的跨模态理解能力，显著提升大型模型对生物分子的理解能力，并可作为后续研究更深入探索生物分子设计和处理复杂生物问题的重要数据来源。由于文本与生物分子在表示空间上的差异，以及LoRA训练策略的限制，当前大型模型在掌握生物分子语言方面尚未达到掌握人类语言的熟练度。因此，探索扩展词汇表或将生物分子语言作为另一种模态纳入，可能是提高大型模型在生物分子任务中理解和性能的关键。
Nature Machine Intelligence | “化学元素知识+功能提示”双驱动，探索分子预测新方法 在知识图谱的指导下进行的预训练使KANO获得了高质量的分子表征空间，同时，官能团提示捕捉了与下游任务相关的、富有化学意义的子结构信息。在预训练后，为了弥补预训练对比任务和下游任务之间的差距，本文提出使用官能团知识作为提示，以激励预训练的图编码器，并从ElementKG的官能团知识中生成功能提示。首先，检测输入分子中的所有官能团，并检索其在ElementKG中的对应实体嵌入，构建可学习的中介变量，以捕捉每个官能团的重要性。本文在14个分子性质预测的基准测试中对KANO进行了全面的评估，展现了其优越的性能。
AAAI 2023 | 语言模型如何增强视觉模型的零样本能力 ? 随着最近大语言模型（large language model，LLM），和多模态LLM的发展与兴起，每个领域的众多子任务，就平均水平而言都被提高到了一个新的层次。然而，如何利用一种更有效的方法来开发/唤醒模型对于细节的认知，依然存在着挑战。虽然大模型的一个特点就是天然的零样本能力，但这是由训练语料的庞大所带来的。而传统方向的研究中，作为长尾现象的衍生，零样本学习依旧是一个重要的问题，在LLM时代重新思考这个方向，，是后续研究者需要重点关注的问题。
[AAAI 2023 Oral] : Multi-modal 多模态 / Vision-language 视觉语言收录论文集合（42篇） 内容主要包括AAAI 2023 Oral中Multi-modal 多模态 / Vision-language 视觉语言 相关的Paper，若有遗漏欢迎补充。
[AAAI 2023] Oral : Zero-shot 零样本/ Few-shot 少样本收录论文集合 [AAAI 2023] Oral : Zero-shot 零样本/ Few-shot 少样本收录论文集合：零样本 (7篇)+少样本 (14篇)
【论文小综】基于外部知识的VQA（视觉问答） 我们生活在一个多模态的世界中。视觉的捕捉与理解，知识的学习与感知，语言的交流与表达，诸多方面的信息促进着我们对于世界的认知。作为多模态领域的一个典型场景，VQA旨在结合视觉的信息来回答所提出的问题。从15年首次被提出[1]至今，其涉及的方法从最开始的联合编码，到双线性融合，注意力机制，组合模型，场景图，再到引入外部知识，进行知识推理，以及使用图网络，多模态预训练语言模型…近年来发展迅速。 传统的VQA仅凭借视觉与语言信息的组合来回答问题，而近年来许多研究者开始探索外部信息对于解决VQA任务的重要性。.
pytorch: num_workers ＞1 的时候 Unable to open object (bad object header version number) 问题描述：KeyError: 'Unable to open object (bad object header version number)'原因：模型的num_workers >1 且使用了h5py 文件，但是h5py文件不支持多线程读取（其实不是）解决：This issue could be solved and the solution is simple:【两个方案】 Do not open hdf5 inside __init__ （不要再init里面初始化
服务器搭建个人网站 1. 准备 LNMP 环境 安装 Nginx 使用yum安装 Nginx： yum install nginx -y 修改/etc/nginx/conf.d/default.conf，去除对 IPv6 地址的监听，可参考下面的示例： default.conf server { listen 80 default_server;...
知识图谱基础 （一）什么是知识图谱知识图谱的定义知识图谱在国内属于一个比较新兴的概念，国内目前paper都比较少，应用方主要集中在BAT这类手握海量数据的企业，这个概念是google在2012年提出的，当时主要是为了将传统的keyword-base搜索模型向基于语义的搜索升级。知识图谱可以用来更好的查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。个人认为，知识图谱最大的优势是在...
pycharm 连接服务器-使用服务器GPU【代码在本地编辑-在服务器运行】 pycharm 大家都很熟悉，作为AIer，日常在服务器上跑代码是不可或缺的需求。那么除了方便快捷的jupyter notebook可以直连服务器外，pycharm是否也可以呢？答案是肯定的。【代码在本地编辑-在服务器运行】第一步：安装pycharm专业版pycharm 社区版是没有连接服务器的操作滴，所以必须安装专业版。专业版可以通过edu邮箱认证获得免费使用——具体移步百度：...
深度学习入门：基于Python的理论与实现【笔记及理解】 第一章 python入门 数据类型：Python中的type()函数 列表（数组）： >>> a = [1, 2, 3, 4, 5] # 生成列表 >>> a[0:2] # 获取索引为0到2（不包括2！）的元素 [1, 2] >>> a[1:] # 获取从索引为1的元素到最后一个元素 ...
github 使用指南 github的好处：多人协作，多分支 谁做了改变？ 做了什么改变？ 改变什么时候发生？ 为什么这些改变被需要？【输入】 github的目的：托管项目代码github建立在git的环境上。一个git库对应一个名词解释：（1）repository【仓库】 / Git Project： 存放项目代码，开源项目（2）star【收藏】 收藏...
关注
