大模型
文章平均质量分 78
学术菜鸟小晨
5年IT从业经验,人工智能高级算法工程师、人工智能领域新星创作者、博客专家
展开
-
NeurIPS 2023 | MQ-Det: 首个支持多模态查询的开放世界目标检测大模型
由于目前文本查询的预训练检测大模型本身就具备较好的泛化性,作者认为,只需要在原先文本特征基础上用视觉细节进行轻微地调整即可。在文章中也有具体的实验论证发现,打开原始预训练模型参数后进行微调很容易带来灾难性遗忘的问题,反而失去了开放世界检测的能力。由此,MQ-Det在冻结文本查询的预训练检测器基础上,仅调制训练插入的GCP模块,就可以高效地将视觉信息插入到现有文本查询的检测器中。在文章中,作者分别将MQ-Det的结构设计和训练技术应用于目前的SOTA模型GLIP。原创 2023-10-13 10:49:26 · 1561 阅读 · 0 评论 -
如何使用Langchain-ChatGLM快速搭建个人知识库
其中,Langchain-ChatGLM是一款使用了GPT-2语言模型的聊天机器人,它可以帮助用户快速搭建个人知识库,实现自动化问答和知识管理。总之,Langchain-ChatGLM是一款非常有用的工具,它可以帮助我们快速搭建个人知识库,实现自动化问答和知识管理。1. 当我们未加载知识库时,我们可以向机器人提出问题,例如“请列举10个工业互联网典型的应用场景”。接下来,我们需要拉取Langchain-ChatGLM的仓库,并进入目录。接下来,我们可以执行webui.py脚本,来体验Web交互。原创 2023-09-27 09:06:42 · 1527 阅读 · 0 评论 -
人工智能生成内容AIGC:AIGC for Various Data Modalities: A Survey
AIGC方法已经针对不同的数据模态进行了开发,如图像、视频、文本、3D形状(体素、点云、网格和神经隐式场等)、3D场景、3D人类化身(身体和头部)、3D运动和音频等,每种模态都具有不同的特点和挑战。例如,从不同模态到图像、视频、3D形状、3D场景、3D化身(身体和头部)、3D运动(骨架和化身)以及音频模态等。在本文中,对不同数据模态下的AIGC方法进行了全面的综述,包括单模态和跨模态方法,突出了每种情况下的各种挑战、代表性作品以及近期的技术方向。此外,还讨论了挑战和潜在的未来研究方向。原创 2023-09-24 12:35:45 · 270 阅读 · 0 评论 -
大模型之图表理解:StructChart: Perception, Structuring, Reasoning for Visual Chart Understanding
首先将图表信息从流行的表格形式(具体来说是线性化的CSV)重新表述为提出的结构化三元组表示(STR),这对于减小图表感知和推理之间的任务差距非常友好,因为采用了结构化信息提取来处理图表。在各种与图表相关的任务上进行了大量实验,展示了统一的图表感知-推理范式的有效性和潜力,推动了图表理解的前沿。目前与图表相关的任务主要集中在图表感知和基于提取的数据进行推理两个方面。5)结果:在各种与图表相关的任务上进行了广泛实验,结果表明了统一的图表感知-推理范式的有效性和潜在前景,从而推动了图表理解的前沿发展。原创 2023-09-22 23:41:48 · 925 阅读 · 3 评论
分享