AIMasterStar的博客

1. “AI教母”李飞飞：LLM不存在主观知觉能力，多少亿参数都不行。2. “AI教父”Hinton：「预测下一个词」值得全力以赴

如果不采取任何优化，一张 448*448 分辨率图片编码通常需要 45s 处理时间。通过手机端编译优化、显存整理等一系列优化方式，MiniCPM-Llama3-V 2.5 将 CPU 编码延迟降低到了 5s 左右。对于高通芯片的小米14Pro，MiniCPM-Llama3-V 2.5 实现了多模态大模型端侧图像编码150 倍加速的显著提升（45s -> 0.3s）。

我们正处于AI大模型爆发的黄金时期，各大科技巨头纷纷加大在AI领域的投资，特别是在大语言模型和多模态大模型方向。美国投资界把AI大模型看成是一场工业革命级别的机会，如同80年代的PC，95年的互联网。通过AI大模型创新创造出来的增量市场，使得原本在存量市场难以解决的技术难题游刃而解。三星、小米、华为、荣耀等系统/手机厂商都在竞相布局AI大模型赛道，市场竞争与合作正在重新塑造业务链条和行业格局。

下面以Ubuntu20.4为例进行步骤介绍 配置安装、文生图、图生图、寻找模型资源、提升绘画质量、Embeddings/LoRa/Hypernetworks、局部重绘、SD绘画插件、LoRA微调和ControlNet。

自8月起，GLM团队进一步向模型注入了文本和代码预训练，通过有监督微调等技术实现人类意图对齐，于23年2月开始内测 ChatGLM千亿对话模型，于3月开源ChatGLM-6B模型。报告将分享 GLM团队在千亿训练和ChatGLM研发过程的一点思考和尝试。曾奥涵： 清华大学知识工程实验室一年级博士生，为开源双语预训练模型 GLM-130B 模型和 ChatGLM 系统的主要开发者之一，研究方向为自然语言处理与大规模预训练模型，指导老师为唐杰教授。

下载pytorch，https://pytorch.org/，这里我们要先看一下cuda版本（nvcc --version）如果python版本为3.10，CUDA版本为11.8（下载地址：https://developer.nvidia.com/cuda-toolkit-archive，安装参考文献[3]），选择安装pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118。

语音对话方向涉及到基本算法编程、机器学习数学基础、语音信号处理、自然语言处理、以及一些多模态深度学习内容。这里对相关面试题目和解答进行汇总（主要面向python语言）

SereTOD2022挑战赛是清华大学欧智坚老师团队和中移动冯俊兰老师一同举办的，附属在。该数据集面向真实业务场景，口语对话转录，复杂度极高，挑战赛公开的数据意义重大，基准代码的NLU基于BERT实现，NLG基于GPT2实现，有较好的学习价值。因此，我们在此详细剖析一下该挑战赛Track2的基准方法与实现代码。......

SereTOD2022挑战赛是清华大学欧智坚老师团队和中移动冯俊兰老师一同举办的，附属在。该数据集面向真实业务场景，口语对话转录，复杂度极高，挑战赛公开的数据意义重大，基准代码的NLU基于BERT实现，NLG基于GPT2实现，有较好的学习价值。因此，我们在此详细剖析一下该挑战赛Track1的基准方法与实现代码。......

​SereTOD2022挑战赛是清华大学欧智坚老师团队和中移动冯俊兰老师一同举办的，附属在EMNLP2022的面向半监督和强化学习的任务型对话系统研讨会。该数据集面向真实业务场景，口语对话转录，复杂度极高，挑战赛公开的数据意义重大，基准代码的NLU基于BERT实现，NLG基于GPT2实现，有较好的学习价值。因此，我们在此详细剖析一下该挑战赛的数据和代码。...

这项工作是清华大学欧智坚老师团队和中移动研究院冯俊兰老师团队合作的工作。基于马尔科夫生成框架在任务型对话数据集MultiWOZ2.1上获得了较好性能。整体来看，本文属于一篇讨论型论文，认为维护的对话状态和当前用户输入以上一轮的系统响应已经足以表征完整的对话历史，在生成模型训练和推断时不需要再将所有的对话历史全部输入，不仅带来计算和显存的巨大消耗，还容易引入冗余噪音。我们在这里详细介绍一下该工作的细节。......

Blender是Facebook人工智能研究（FAIR）开源的英文对话预训练模型，论文发表在2021年的EACL，该工作提供了90M，2.7B和9.4B参数训练的不同体系结构供大家使用，能够方便地构建对话系统。Blender在对话生成方面表现的非常卓越，能够在几乎任何主题上进行各种各样的对话，同时展现出类似人的特征，例如同理心和个性化。因而我们在这里详细介绍一下该工作的细节。......

DAIC，全称为Distress Analysis Interview Corpus，基于人机交互采集了进行忧虑分析的访谈预料库，是由南加州大学创新技术研究所创建的。其中使用比较广泛的数据集是DAIC-WOZ，WOZ全称为Wizard-of-Oz，中文译名为绿野仙踪，又叫做奥兹国奇遇记，在任务型对话中常常做为一个对话范式，即由一个人控制智能体参与对话（被称作Wizard），另一个人直接参与对话。以此来模拟人机对话场景，使人适应与机器交流的场景。WOZ的梗源自绿野仙踪。

​复旦大学的这篇工作继续延续了NIPS RL workshop 2016上的神经症状检查器的想法，并借鉴AAAI2018的工作[15]，将层次化强化学习引入到对话诊断系统中。该工作比较大的贡献依然是公开了数据集和源代码，但是创新性上尚有改善空间，另外就是诊断性能的问题了，从表3和表4的结果可以看到，本文方法与基于隐性症状和显性症状的SVM模型依然存在显著的性能差距。本文于2020年放到ArXiv上后投稿多次，近期又遭ICLR2022拒稿。该工作的具体实现方法我们在下文中对该工作进行详细介绍。

这项基于任务型对话的自动医疗诊断工作来自复旦大学黄萱菁团队，发表在ACL Short 2018。初步看该工作和NIPS RL workshop 2016上的神经症状检查器的工作思路是相似的，将AI智能体跟患者多轮问诊的症状获取过程看成马尔可夫序列决策过程，然后基于强化学习算法进行训练。该工作的贡献包括：1. 标注了第一个面向对话系统的医疗数据集；2. 提出了一个基于强化学习的医学对话系统框架。3. 公开了实现代码和数据。但是，该工作也存在较多待完善之处。如何设计好的诊断系统依然任重道远。

​​将强化学习应用于医疗诊断的早期工作是发表在2016年人工智能领域顶级会议NIPS深度强化学习研讨会上的一篇工作，后续大部分基于强化学习进行医疗问诊的工作均基于该工作展开。其基本思想是将辅助诊断的问诊过程看成一个序列决策过程，每次只能向患者询问一个症状，然后根据当前搜集的症状进行诊断。整个问诊过程基于强化学习进行训练，依据诊断结果设定奖惩信号，并对问诊轮数进行惩罚。完成了基于强化学习的问诊与诊断模型训练过程。该工作将基于神经网络多轮交互的问诊与诊断模型称之为神经症状检查器，其具体方法我们在文中进行详细介绍