简单神经编码模型---特征选择

简单神经编码模型—特征选择

引入

回顾一下我们在简单编码神经模型中的目标:构建一个由特定神经元产生的单个spike的响应模型,即一个encoding模型

我们将考虑在特定时间t,刺激s下观察到的单个spike的概率r(t)。
在这里插入图片描述
回到模型实际应用方面,假设我们这里所建立的模型是基于视网膜对于视觉信号的处理,换句话说我们想要通过建模来仿真观看电影时某个特定神经元的响应过程。

由于我们的模型是基于条件概率,那么就意味着会出现很多种可能的刺激源,而把每种响应值都采样又是不太可能的;因为随着可能的刺激类别增多,尤其是面对影像数据时,庞大的数据带来巨大的计算负担,因此我们需要一种策略去简化这种响应模式,而这就涉及到了选取主要特征也就是降低维度

高斯白噪声特征选取

明确策略之后,我们就开始思考如何把一种任意的刺激转换为一种可测量的尺度,在这里我们以s(t)作为例子:
在这里插入图片描述
我们选取每一个时间点的s,并将其投射到一个由t1、t2、t3…建立的高维空间中去。即s(t)离散化之后被转换为了可测量的高维数据。

继续引入中的问题,我们怎么才能够在不对所有刺激类别进行采样的前提下总结触发spike响应的刺激特征呢?
在这里插入图片描述
一种常用的方法是高斯白噪声。高斯白噪声是随机变化的输入,它是在每个时间步选择一个新的高斯随机数(任意时刻出现的噪声幅值都是随机的)。实际信号处理过程中,时间步长被设置为信号中的最高截止频率。 因此高斯白噪声包含的频率范围比较广,且几乎都拥有相同功率。

利用大批量的高斯白噪声,我们可以做到覆盖几乎所有的刺激类别,我们将生成的白噪声刺激分布称作先验分布,因为它与我们神经元的响应完全独立。
在这里插入图片描述
图右高斯先验分布是通过将图左一系列高斯白噪声投射到时间t所在的高维空间上得以实现的。简单来说,就是将刺激从频域转换到时域,由高维空间的一个点指代一个刺激。
在这里插入图片描述
现在让我们来看看触发spike的刺激,可以发现他们在高维空间上呈现某种分布,为了更好的提取这种特征,我们选取这一系列触发spike刺激的均值,也就是spike-triggered average作为触发响应的表征。

总的来说特征提取分为三步:

  • 利用高斯白噪声生成一系列可能的刺激,并对产生的响应进行采样
  • 根据采样结果选取能触发spike的白噪声
  • 计算上一步中白噪声的均值,作为触发spike响应的刺激表征
    在这里插入图片描述
    上图为一个特征提取的实际例子,可以看出最后提取出来的spike-triggered average呈现出明显的特征变化。

线性滤波器

回顾一下在简单神经编码模型中我们所提到过的线性滤波器,在执行加权求和(卷积)的过程中需要一个线性滤波器 f f f,而这个 f f f也就是我们上一节得到的投射在高维空间里的刺激特征向量 s 1 s_1 s1

此时 P ( s p i k e ∣ s 1 , s 2 , s 3 . . . s n ) − > P ( s p i k e ∣ s 1 ) P(spike|s_1,s_2,s_3...s_n)->P(spike|s_1) P(spikes1,s2,s3...sn)>P(spikes1)

由于我们建立模型的目的为观察给定时间t,特定刺激s下产生响应的概率;这里的刺激s被线性滤波器 f f f替代,因此我们需要通过其他变换求得结果。
在这里插入图片描述
在这里插入图片描述

通过应用贝叶斯法则,我们得到了以上展开, P ( s 1 ) P(s_1) P(s1)为我们之前得到的先验刺激概率, P ( s p i k e ) P(spike) P(spike)也是已知的,而 P ( s 1 ∣ s p i k e ) P(s_1|spike) P(s1spike)可以通过刺激s与响应spike求得。
在这里插入图片描述
spike分布概率 P ( s 1 ∣ s p i k e ) P(s_1|spike) P(s1spike)与先验概率 p ( s 1 ) p(s_1) p(s1)的关系可以直接用于评估我们的模型。

  • 任意一个来自于 P ( s ) P(s) P(s)和布 P ( s 1 ∣ s p i k e ) P(s_1|spike) P(s1spike)的直方图是相同的。这可能意味着其他的刺激值对神经的响应可能并没有作用,或是我们选择了错误的特征从而影响了之后的滤波等一系列过程
  • 我们希望看到的是 P ( s 1 ) P(s_1) P(s1) P ( s 1 ∣ s p i k e ) P(s_1|spike) P(s1spike)的直方图有一个明显的区别。这里的输入输出曲线更具有结构性意义,也同时符合生物学意义:即firing rate较高时更倾向于产生spike。

PCA降维

我们做到了选取主要特征,但是维度的问题依旧没有解决,返回到白噪音试验中来考虑,我们可以找到一些平均点来完成修正spike-triggered average的过程,但是我们也可以考虑提取更主要的成分,即应用主成分分析法。

主成分分析法(PCA)即通过将高维数据映射到低维空间,并保留绝大部分信息的形式完成降维的目的。

PCA降维在神经科学实验中也有很多实际应用,例如它可以用来收集从多个电极中记录的spike的值。
在这里插入图片描述
PCA 可以挑选出两个主成分从而捕获数据中最大的方差。通常,这将保留spike的完整波形。 所有被扔掉的组件都只是噪音。
欢迎大家关注公众号奇趣多多一起交流!
在这里插入图片描述

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 电影评论情感分类是一项重要的自然语言处理任务,旨在自动将电影评论分为正面或负面情感。为了解决这个问题,研究人员已经开发了各种机器学习模型,其中卷积神经网络text-cnn是一种有效的模型。 TensorFlow是一个强大的深度学习库,提供了text-cnn模型的实现。text-cnn模型由多个卷积层和全局最大池化层组成,每个卷积层用于提取文本中的特定特征,而全局最大池化层则用于提取最具代表性的特征。最终,这些特征将被用于分类任务,通过一个全连接层来实现。 与其他情感分类模型相比,text-cnn模型具有许多优点。首先,它可以自适应不同长度的文本输入,并且不需要手动提取特征。其次,text-cnn模型具有较高的分类准确率,并且可以在大规模数据上进行训练,以提高其性能。最后,TensorFlow提供了一个简单的接口来实现text-cnn模型,并且提供了丰富的调试和可视化工具,使得模型的训练和评估变得更加容易。 总之,卷积神经网络text-cnn模型是一种高效、准确的情感分类模型,结合TensorFlow库的支持,可以有效地应用于电影评论等自然语言处理任务中。 ### 回答2: 电影评论情感分类是一类自然语言处理任务,它的目标是对一段文本进行情感分类,预测这段文本表达的情感是正面的(positive)还是负面的(negative)。在实践中,卷积神经网络(CNN)已经被广泛应用于情感分类,其中text-cnn模型是最常用的一种。 Text-cnn模型在情感分类任务中的表现优秀,它将文本看作是一种二维结构,其中一个维度是词语,另一个维度是嵌入矩阵中的向量。文本中的词被编码为嵌入向量,并且这些嵌入向量被视为图像的像素。在text-cnn模型中,多个不同大小的卷积核被用来通过卷积操作提取出文本的局部特征。这些局部特征被压缩成一个全局特征向量,并通过一个全连接层进行分类器预测。 TensorFlow是实现text-cnn模型的流行工具之一,它是一个开源的机器学习框架,提供了广泛的API和工具来创建高效的深度学习模型。TensorFlow可以轻松地构建text-cnn模型,而且具有内置的优化器和损失函数,它可以加速模型训练和优化。 总的来说,text-cnn模型是一个强大的情感分类器,它已经在几个领域得到了成功的应用。在使用TensorFlow实现text-cnn模型时,需要注意模型的超参数调整,以及数据预处理和特征工程的优化,这些都可以影响模型的性能和泛化能力。 ### 回答3: 电影评论情感分类是NLP领域的一个基础应用问题,通过对文本进行情感分类可以帮助我们更好地理解用户心理、市场需求等诸多方面。卷积神经网络(CNN)是目前NLP领域应用广泛的深度学习算法,它能够对输入的多维矩阵进行特征提取,逐层降维,最终将特征表示为一维向量。 Text-CNN是CNN在NLP领域的应用,它主要通过卷积层和池化层对文本进行特征提取和降维。卷积层通过提取矩阵中的局部特征,池化层通过按照一定的规则对特征进行采样,最终形成一个固定长度的向量作为文本的表示。在情感分类任务中,Text-CNN可以通过对输入的文本进行卷积和池化操作,得到文本的固定长度特征向量,进而输出文本的情感类别。 TensorFlow是当前最受欢迎的深度学习框架之一,它提供了丰富的API和工具,能够方便地构建并训练Text-CNN模型。在构建Text-CNN模型时,首先需要进行文本的预处理,将文本转换为数字表示,然后使用TensorFlow对模型进行定义和训练。 总之,电影评论情感分类是NLP领域一个重要的应用问题,采用Text-CNN模型可以准确有效地对文本进行情感分类,而TensorFlow提供了一个便捷的框架和工具,用于构建和训练Text-CNN模型

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

佩瑞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值