CEBRA算法浅析——如何读取小鼠视觉皮层电影

今天分析的文献是来自瑞典的洛桑联邦理工学院发布这篇有关神经预测行为的nature，题目为《learnable latent embeddings for joint behavioural and neural analysis》，其含义是用于联合行为和神经分析的可学习嵌入。地址如下：

https://arxiv.org/abs/2204.00673

一、文章信息

介绍一下文章信息，这篇于2023年5月3日发表的nature，研究的是如何根据大脑信号转化出人看到的东西。是sci一区，在PubMed上查询影响因子69.504，也顺手查了一下他们实验室的情况，依托EPFL脑研究所，主要是研究适应性行为的相关神经原理，实验人工智能和自然智能的一些工具。

发表期刊：Nature（IF=69.504）,1区Q1

文章领域：神经科学与神经学

发表时间：2023年5月3日

单位：瑞士 洛桑联邦理工学院（EPFL） 大脑思维研究所和神经研究所

实验室研究方向：融合机器学习和神经学，开源机器学习工具，适应性行为的神经动力原理

 

二、文章背景

分析完文章作者背景后，再介绍一下这篇文章的背景。有关大脑如何生成和理解视觉信息，一直受到广泛研究。其中一个问题就是，如何根据大脑信号复现出一个人看到的东西。这也就是本文做的事情，团队用AI解析通过神经探针获得的小鼠的大脑信号，重构小鼠观看的电影，准确率高达95%以上。具体操作上，研究人员让50只小鼠反复观看电影9次，将对应的数据让算法进行学习，最后再让小鼠观看一次进行预测。大家可以看左边这张图，我从原视频抽取了一张，上面是小鼠看到的电影，下面是根据算法解码出的电影，可以说是非常接近。文章主要是提出一张叫做CEBRA的算法，使用CEBRA可以生成一致的、稳健的神经潜在嵌入层，通过嵌入层解码输入的数据以预测大脑信号。

 

刚才讲了Cebra对小鼠电影的复现，看上去好像很豪华，经过我读完文献之后，觉得他们做的事情的确有帮助，但距离根据脑电波预测未来还是有差距。

研究背景：

神经活动和动作行为的研究通常是分开进行的，但是它们之间的关系很密切，因为大脑和行为之间存在着复杂的相互作用关系。因此，将神经数据和行为数据结合起来进行分析，可以更好地理解大脑和行为之间的关系。

联合神经活动和动作行为面临挑战：

1、神经数据和行为数据通常具有不同的特征空间和数据类型，因此如何将它们结合起来是一个难题。

2、单次采集的神经元数量和采集到的动作信号是有限的，神经元超过50亿个

3、神经数据和行为数据之间的关系通常是非线性和复杂的，因此需要使用更高级的分析方法来捕捉这种关系

研究目的：文章探究将动作行为映射神经活动，得到稳健、一致的神经潜在嵌入空间（latent embedding space），实现根据神经信号来获取行为动作的目的

研究方法：文章提出一种CEBRA算法， CEBRA 是一种自监督学习算法，核心思想是将神经活动和行为数据映射到一个共同的低维潜在空间中，从而可以在该空间中通过对比学习等方法进行联合分析。

研究结论：实现高精度解码行为,用感觉运动数据集、记忆系统数据集进行验证

三、文章内容

 

CEBRA的工作模型如上图所示，大体流程为，输入带有行为标签和时间标签的数据，由神经网络编码器这里自称用的是CNN，将神经活动数据和行为数据映射到低维潜在空间中，形成用于联合分析的初步模型，投入到潜在空间后，进行对比学习等方式，不断的减小损失函数infoNCE，以优化潜在嵌入的表现，从而得到一致稳定的神经潜在嵌入。下面这幅图，左面是真实的神经信号映射到二维的图像，右边是由Cebra算法之后，产生的重构潜在空间。以上是算法的大体流程，通过Cebra的处理后，可以联合的使用动作行为和神经活动，这一点是之前算法所不具备的。

工作流程图 

再进行cebra与之前的算法比较，当前的算法有线性的和非线性的，但他们都依赖于生成模型，无法生成一致的潜在空间。具体来说，Cebra是一种非线性的自监督降维方法，非线性可以处理非线性关系预测更精准。降维则可以揭示运动的稳定性，据文章所说，复杂的3d前肢伸展可以降维至8-12维。而传统的pca是线性方法，可解释性虽然好，但性能较低。像umap，tsne这样的算法虽然性能优秀，但是无法利用时间信息数据，可解释性差。而pivae是20年更发布的算法，性能也不错，但是没有Cebra强。

重建基本数据表现：

CEBRA＞tSNE，UMAP,  piVAE＞PCA，LFADS,  demixed-PCA，pfDS

 

比较真实潜在空间和重构潜在空间线性回归后的R²，很明显像这个图，Cebra的得分更出色。再比较，每个子图代表对相同数据集可视化效果，每个点代表一个样本信号，不同颜色代表不同类别。观察图像，可以发现Cebra形成的可视化效果更稳定，较为集中。

 

刚才我们分析了Cebra的工作原理，比较了不同算法的差异，大体算法是这样的，但还有一些细节需要处理。比如就像刚才的图所示，对行为标签产生Cebra模型，有对时间标签产生的Cebra模型，还有其他标签，比如方向位置等。那么哪种标签对拟合的影响效果更深呢？文章这里采用一种假设驱动和发现驱动分析的方法，为了探索哪个标签影响大，Cebra根据研究者设定的经验，提出一个可能的假设，再用神经信号和行为数据的模型去验证，这里就是假设驱动的方法，同时Cebra也采用聚类和分类算法，从数据中发现潜在的驱动模式，最后进行联合分析。

 

而这里以海马体神经数据集为例，通过比较这几种标签的infoNCE损失函数，得到位置➕方向是影响最大的表情，根据这个可以优化拟合。

因此Cebra算法还需要看他的模型选择标准，分别是这四个：

解码表现——下图所示

拟合优度——依据标签形成模型拟合判断

一致性——重构误差reconstruction error

鲁棒性——同源性co-homology测量

根据这四个标准，最后训练出一致稳定的潜在嵌入空间。这也是Cebra的三大特点，也是创新所在。见ppt，神经信号和动作信号存在某种相似性和相互作用，可以被不同的模型捕捉到。

 

 

以上是对Cebra的算法描述，接下来是团队进行实验验证。团队首先在猴子的运动上进行探索，让猴子有意思的去抓握一个东西的主动运动，和手松弛后的自然抖动这样的被动运动。这两种动作之间的神经活动可以说是有不小区别，因此团队验证主动动作和被动动作对形成潜在空间的影响。经过对比数据可视化效果，Cebra产生的数据效果仍然是超过其他算法的。研究主被动的影响发现，产生的神经嵌入层的确是不一样的。

 

第二个实践就是小鼠视觉皮层的跨模态验证，正如我们开头讲的那样，对小鼠进行测试，值得一提的是这里输入数据前使用DINO输出一些标签，可以简化工作量。这里不仅使用神经探针获得的数据，也使用钙成像变换的数据，验证不同采集方式的影响，后来发现还是联合分析效果好。有图像知，神经元数量越多，相关性越好。

 

四、文章结论：

一、CEBRA ，提出一种新的降维方法，可以联合利用行为或时间来发现潜在的神经嵌入。神经嵌入在广泛的行为中提供了高解码性能。猴子海马体中的位置解码，小鼠视觉皮层重建自然电影。

二、CEBRA 的独特优势是引入各种不同的采样策略来扩展 InfoNCE 损失函数，不同的采样策略产生的样本会影响样本相似度的分析，以适应分析时间序列数据集的需要。

三、与对比学习的其他算法相比， CEBRA 不依赖于数据增强技术，并且仍然灵活且易于适应不同的数据处理需要。

四、文章从小鼠被动观察自然电影时的视觉区域收集的数据集来展示 CEBRA 的效果。模型可以用超过95％的准确度解码帧，该模型从神经探针和位置等数据训练而来。

我认为可以思考的地方：

一、对比学习方法的稳定性有待提高。对比学习方法的稳定性和收敛性依赖于采样策略和参数设置，而这些参数的选择通常是经验性的。未来的研究可以考虑使用更稳定和可靠的对比学习方法来提高模型的性能和可靠性

二、考虑了行为和神经学数据的联合分析，未考虑其他因素的影响，如环境、遗传等因素。未来的研究可以考虑将这些因素纳入到模型中，从而更全面地分析和理解行为和神经学数据的关系

三、尚未明确发现神经数据和行为数据之间的映射关系，以及这种映射关系如何在神经层面上实现，文章只是进行数据联合分析获取神经潜在嵌入层来预测

四、在从小鼠脑中解析视频时，并非从老鼠看到的东西中创造视频，而是匹配哪一帧视频最符合模型解释当前帧的内容，所以不是产生视频数据，而是匹配一个帧号，然后在屏幕上显示该帧