情绪脑电基础理论（只是存稿）

研究背景及意义

随着脑科学的发展，人们越发重视大脑在调控人的身体动作、激素分泌、情绪产生等方面的活动。其中，情绪作为人类抒发情感的外在表现之一，能够直接或间接地影响人的理性认识。人们常见的情绪有高兴、悲伤、愉悦、恐惧和惊奇等，这些情绪能够调节、控制、激发人的行为，进而影响事件的进程[1]。若能深入研究人的情绪反应，则可以在各个领域针对人的情绪感受进行产品提升、安全警告、清晰表达等工作，为生活带来便捷。将其连接到用户消费领域，可以根据用户对商品或服务的情绪反应来选择性推荐商品或服务，甚至可以根据情绪结果对某一商品的未来发展、市场兴趣等方面进行调查研究，进一步促进商品上市或改进决策。基于研究界近来对建立人类和计算机之间的情感互动表现出的兴趣，识别前者的情绪状态成为了一项需要。近年来，在人机交互（HCI）领域，情绪识别得到了广泛关注，消费领域也成为重点研究方向之一。

研究表明[1]，一个人的内在情绪状态可以通过主观体验（人的感觉）、内在表现（生理信号）和外在表达（声音或视觉信号）识别。基于个人感受的主观评价可以提供有价值的信息，但其有效性和确证性存在一定的问题，人们并不能总是十分确定明确自己的偏好或意向，因人而异的口头表达习惯也会产生有意识或无意识的偏见。同样，消费者在挑选商品、观看广告时也可能无法确切地表达出他们的感受，或是受社会风气、道德伦理、购买力等因素影响，有意识地掩盖面部表情做出伪装，无法从显性表现判断消费者的真实情绪。

传统的广告营销方法（如电视广告和报纸广告）不一定能吸引消费者的目光，原因在于广告制作商以高效、准确的方法评估某一广告方案是否能强烈性地刺激消费者购买指定产品。广告制造商为了确定消费者对产品的态度，传统的做法是模拟推出多种广告方案，通过招募志愿者、实施群体性市场问卷调查等方法来评估最优方案。

此类挑选方法存在缺陷，原因在于：在调查过程中实际的购买意愿填写与反馈可能并不代表购买时的真实行为。营销人员很可能因此误解了消费者的行为意愿，因为预测的态度并不总是反映消费者的真实购买行为，从而影响广告方案的最终呈现。本文旨在弥补传统的市场研究方法过于依赖消费者的表面显性反应缺陷[2]，挖掘呈现消费者的真实情绪来评估内部隐性购买欲望。

情绪研究在生活消费领域有重大参考价值。消费者根据自身的喜好和需求进行购物消费，积极情绪通常与消费者的购物欲望成正比，情绪越积极，代表消费者的购物可能性和喜爱偏好度越高；反之亦然。利用神经科学将消费者行为的认知和情感方面联系起来，以消费者的正向情绪为指标来评估广告产品的市场效果，这一方法迅速获得了广告和营销专家的信任，许多专家正在采用神经营销策略[3]。神经营销可以帮助营销人员了解消费者的大脑如何评估不同的品牌，并认识到在购买产品时影响消费者选择的因素。

因此，将消费者的情绪状态作为重要参考标准有着一定的应有价值。在商品消费行业，依赖客户的情绪状态对其进行商品的选择性推荐，可以大大节约导购时间和缩短消费流程，促进商品销售的同时客户购买到心仪商品；在服务消费行业，如果计算机能够检测到消费者的情绪状态，即可调整服务流程，依照客人表现出的情绪喜好来定制符合度高的关怀服务；此外，在推行新产品进入市场时，可以提供观察消费者的情绪反应对产品试运行进行调整改善，使之能够贴合市场需求，加快进入市场的脚步。

生理信号可以帮助更好地理解消费者的潜在反应。通常用来测量情绪的信号有：皮肤电反应、肌电图、心电信号、呼吸速率、脑电图等[4]。人的情绪发生变化时，皮肤电反应、心电信号等生理信号皆有所变化。如呼吸速率，当人的情绪反应处于比较激烈的阶段，呼吸速率会明显加块、变得急促；当人的情绪状态较为平稳时，呼吸速率会随之放慢、趋于自然稳定。

其中，最具有权威性的是脑电图（EEG），作为一种医学成像技术，它可以读取大脑结构产生的头皮电活动，可在高时间分辨率下对大脑进行重复地实时分析，使其成为研究大脑对情绪刺激反应的首选方法。脑电图技术是唯一实用、通用、经济、便携、无创的脑机接口。如今，可以将基于脑电图的情感识别技术应用于娱乐、电子学习、虚拟世界或电子医疗应用等不同领域。它也可以用于达成多种目的，如即时通讯、在线游戏、协助治疗师和心理学家工作。使用传统的营销工具，如访谈和问卷，来评估消费者的偏好、需求和购买意愿，可能会产生含有偏见或不正确的结论。很难通过问卷中的选择项直接提取出消费者的偏好。以上原因皆突出了用户在他们实际使用产品过程中的内在偏好和外部表现之间的矛盾。

因此，基于脑电信号的消费者情绪识别技术能够提供研究消费者行为的有效方法，对潜意识活动的评价比传统的营销研究更准确地揭示了消费者的真实偏好。这些方法能够帮助营销人员获得成功或失败的案例背后的消费者真实情绪态度。

Hans Berger，德国精神病学家、精神生理学家，于几位颅骨有缺损、脑皮层暴露的病人头上测出了微小电位变化[13]，初步形成脑电图理论，后不断研究完善并发明了脑电图，（electroencephalogram，即EEG），对神经科学做出了卓越的贡献。

大脑中的信号传导有两种主要方式[14]，一是动作电位，二是突触后电位。在正常情况下，神经元需要传导信号时，神经元的静息电位就会产生一个动作电位，从包体通过轴突传到突触，神经元电位改变为外负内正，等待动作电位传到突触前膜之后，突触前膜释放神经递质，突触后膜因此产生一个突触后膜电位，此电位可以使用电极测量得到，如图2.1所示。

 图2.1  信号传导

动作电位的放电频率极高，为毫秒级别甚至更小，放电三次后，就会产生一个在时间跨度上相对高的突触后膜电位。突触后膜电位相对于动作电位来说可以持续累加，而且突触后膜电位的幅值都为几十毫伏左右。在人受到刺激时，当大脑中若干个神经元按照一定方式整齐排列同时放电，同时在突触后膜产生了很多突触后膜电位，这时在头皮表面放置若干电极，可以在头皮表面的电极上记录到几微伏至几十微伏的电压（或叫电位差、电势差），这个电压就被称之为脑电，即头皮表面记录的大脑活动产生的电信号（单位：微伏）。

故脑电并非任意一个神经元皆可产生，也不是动作电位或是简单的突触后膜电位，其产生条件有三点：离得近、数量大、同步好。而脑电信号也有以下特点:

(1)信噪比低。脑电技术记录到的电压主要是离头皮表面比较近的神经元所产生的，而大脑深层的神经核团产生的电活动无法传到头皮表面；单独的一两个神经元放电无法穿过颅骨头皮被电极记录到，必须要大量的神经元放电活动才能产生一个明显的电位；大量神经元同时放电，才能够产生足够大的电压传到头皮表面，生成一个比较明显的脑电。在此过程中，容易受到心电、眼电、肌电等生理信号的影响，产生伪迹，故需要对采集的原始信号进行去伪迹处理。

(2)脑电空间分辨率低。在神经元的信号传导过程中，由几十毫伏的动作电位到几十毫伏的大脑皮层的一些神经元突触后膜电位层层累加，往头皮表面电极传递经过了大量生物组织的过滤（如脑脊液、硬脑膜、软脑膜、颅骨等），衰减为几微伏至几十微伏的脑电（特殊情况下会达到上百微伏），脑电比突触后膜电位小了整整一个数量级，这就是容积传导。容积传导后果为电信号衰减剧烈和空间模糊效应，导致了为脑电空间分辨率非常低，原因在于产生脑电的神经核团的同步活动并不是固定往某个方向传导，而是以四面八方传递。在此过程中，头皮放置的电极离这些神经核团越近，其所受影响越大；而对于头皮上放置的每一个电极，它所收集到的脑电信号也是若干个神经核团共同作用的结果。故而脑电的电弧传递是弥散性的，造成脑电空间分辨率低。头皮上电极离得越近，检测到的脑电信号越相似。经学者研究，若脑电空间分辨率在直径2CM以内，电极放置需要考虑空间分辨率。

随着脑电信号研究的不断发展，比较常用的脑电电极分布系统为国际10-20系统。在此系统中，从人头骨的额极中点至鼻根的距离与枕点至枕外粗隆的距离占各自头部纵横划分连线全长的10％，其余各点均以此连线全长的20％相隔，如图2.1.2所示。因此命名为10-20系统。

图2.2  国际10-20系统

 EEG信号分类

 

    脑电图是电压随时间变化的波形图，是以电活动的电位作为纵轴，时间为横轴，记录下来的电位与时间相互关系的平面图。脑电数据等于作用电极电势与参考电极电势的差值。

按照电位记录位置的不同，EEG可分为侵入式和非侵入式[15]两种。

(1)非侵入式。非侵入式指将电极放置于头皮表面，不伤害被试者、可穿戴、便捷易使用，给研究带来了很大的便利。是大众接受度较高、实验使用广泛的EEG采集方式。但非侵入式在脑电信号的数据处理过程中会出现由心电、肌电、眼电、皮电（皮肤产生的慢电位漂移）等产生的噪声和伪迹。

根据不同的实验采集要求，现有干电极采集与湿电极采集[16]两种方法。干电极的准备过程较湿电极简便，适用于测试人群较多、实验用时较短且精度要求不高的实验情况。湿电极需要在电极与头皮接触处涂抹特殊的导电胶体，与干电极相比能够牢牢贴住头皮表面，采集到的信号质量更好，适合长时间的采集实验。但是湿电极比干电极敏感，需要实验人员谨慎设计实验时长，时刻注意实验过程中导电胶体状态来更换新的胶体，以免胶体受到被试的汗水与头皮油脂和重力下落的影响偏移位置，导致电极与头皮接触不良，进而影响信号采集质量。

(2)侵入式。侵入式分为两种，一种透过头皮与颅骨，将电极放在大脑皮层的表面或是将电极穿过颅骨贴在硬脑膜上，记录大脑神经元突触后膜产生的电位（脑皮层电图ECoG）；另一种将电极继续深入，插到大脑皮层内部，主要记录大脑神经元动作电位（涉及到局部场电位、多单元记录）。

电极插入越深，数据信道比越好，因此插入式具有极高的准确性和分辨率，但插入式均需要被试者接受开颅手术，会造成侵入性伤害，进行手术的风险大。一般的插入式实验的被试优先选择颅骨或是脑部已有损伤、需要接受手术治疗的病人群体。

本文在实验方面选择非侵入式实验装置采集信号。非侵入式采集的脑电信号可以分为节律性信号与诱发性信号，本文主要研究节律性信号。

由于EEG信息主要在0.5Hz到60Hz频段体现，经前人研究[17]，节律、神经振荡或脑电波是神经活动的重复形式。节律是对神经元集合的突触、神经元和轴突活动的集体测量。脑电图活动的特征是将频率分成频带，分别表示为δ、θ、α、β和γ节律。可将EEG信号根据频率分成五段：

(1)delta波（1-4Hz）与潜意识有关，发生在深度无梦睡眠中。

(2)theta波（4-8Hz）与潜意识有关，例如与睡眠和做梦等活动。

(3)alpha波（8-14Hz）通常与放松的情绪状态有关，是有意识的，在顶叶和枕叶区域更明显。高alpha活性与大脑失活有关。

(4)beta波（14-31Hz）与活跃的情绪状态有关，在高度集中的精神活动中，额叶皮层和其他区域更为突出。

(5)gamma波（31-50Hz）与超脑活动有关，包括知觉和意识。

与情绪相关的信号频段主要集中在8-50Hz。

图2.3  脑电节律图

2.1.3 情绪模型

我国自古以来就有“七情六欲”的说法，其七情指的是喜、怒、哀、乐、爱、恶、欲；美国心理学家Ekman等人[18]通过分析人类的面部表情，将人类的情绪划分为生气、讨厌、害怕、高兴、悲伤和惊讶等 6种基本情绪类别。以上的情绪分类在研究界中称为离散情绪模型，所有其他情绪都可以由这些基本情绪构成（例如，失望由惊讶和悲伤组成）。

在另一种维度上，Russell[19]最早提出了二维的连续情绪模型，以愉悦度为横轴、唤醒度为纵轴（VA），是最为广泛使用的二维模型，如图2.4。Mehrabian提出了三维连续情绪模型，在二维模型的基础上增加了支配度（VAD）。愉悦度表示情绪的愉悦程度；唤醒度表示情绪的强烈程度；支配度表示情绪的愤怒程度，连续模型可以在其坐标上找到人的所有基本情绪，能够有效反映情绪的连续变化过程，具有参考价值，这两种模型都有较高认可度。 

 

图2.4  二维情绪模型（VA模型）

图2.5  三维情绪模型（VAD）模型

基于EEG的情绪脑电信号数据集

脑电信号的采集和特征提取，基本需要经过被试者挑选、情绪诱发、脑电信号采集、信号预处理、特征提取于分析几个步骤。为方便神经科学领域的学者进行脑电信号情绪识别的相关研究，学术界有许多团队不断调整实验方法和实验设置，收集了具有典型情绪状态下的包含男女被试的脑电信号，整理成数据集并公开，方便、促进了脑电信号的特征研究。

国内外研究人员通常使用的情绪诱发材料包括音乐、视频、图片等。国内外研究常使用的数据集为DEAP数据集[20]与SEED数据集[21]。DEAP数据集是基于音乐视频材料诱发刺激下产生的多通道生理信号，为连续情绪模型。收集音乐视频分割成四十段，一段视频时长为一分钟，一次实验观看一个视频，一共记录了32名受试者观看四十分钟音乐视频激发出的生理信号，包括被试在视频结束后根据据自己的真实情绪做出的自我评估。

近年也有多位学者以上海交大吕宝粮教授收集的情感脑电数据集SEED作为主要数据集研究，此数据集为离散模型。SEED数据集用于激发情感的材料为剪辑好的集合精华情感片段的中国电影视频素材，每个电影素材剪辑为四分钟的视频，一共挑选出十五个电影素材，分为积极情绪、中性情绪、消极情绪三类，每类各五个。募集十五名被试（七名女性、八名男性,年龄区间为23-27）观看视频，采集他们的脑电信号和视频结束时对情感的自我评估，以最少一周的间隔反复进行三次实验。

本文拟用SEED数据集中预处理后的脑电数据进行特征提取，并将提取出的特征放入SVM向量机中进行积极情绪与中性情绪的分类测试，比对最终分类效果，在SEED数据集上验证提取出的特征可靠性。后续工作中将自行设置实验，在本校脑机实验室进行实验系统搭建，设计消费者信号采集实验所用范式，采集新的消费者情感数据，再根据采集到的新数据提取脑电特征，并观察分析分类结果。