weixin_46263718的博客

神经动力学模型的建立1.通用模型建立平台GENESIS（通用神经模拟系统的缩写）是一个通用模拟平台，旨在支持从亚细胞成分和生化反应到单个神经元的复杂模型、大型网络模拟和系统级模型的神经系统模拟。DynaSim是一个开源的 MATLAB/GNU Octave 工具箱，用于神经模型的快速原型设计和批量仿真管理。 它旨在加速和简化具有一个或多个compartment的神经元网络模型的生成、共享和探索过程。2.模型结构：1.细胞层面上low-level组件模拟2.将low-level组件链接到单个神经元

对神经元和spike信号进行建模我们的目标是建立一个简化的符合真实生物学意义的神经元模型—其中包括一个胞体，一个收集其他神经元输入的树突，以及一个将胞体内或附近产生的动作电位传递给其他神经元的轴突。我们需要将这种生物学上的联结用电路图的形式进行处理。RC电路（一）— 被动细胞膜细胞膜是脂质双层的，而磷脂和脂肪都是非常好的绝缘体，其中嵌入的离子通道会选择性的让离子通过，从而出现电流交换，但是在被动细胞膜的前提下我们不考虑离子通道，只考虑穿透细胞膜本身的微小电流。细胞膜本身可以被看作储存电流的电

计算spike train里的信息在上一节中提到了有关熵和spike train的基本概念以及从单个spike中利用互信息这一策略提取信息，因此这一节将着重介绍有关spike patterns的信息提取。spike patternsspike patterns可以理解为一系列0和1组成的序列（如图上1），而我们记录到的原始数据一般都是如图上2一样，因此需要采取一些策略来完成频域到时域的转换：选取一段时间间隔为Δt\Delta tΔt的窗口切分我们的频域图，时间间隔内存在spike响应记为1，反之

神经元内信号传递的计算模型-HH模型神经元动力学可以被设想为一个总和过程(有时也称为“集成”过程)，并结合一种触发动作电位高于临界电压的机制。在这里主要介绍Hodgkin Huxley模型模拟离子通道，膜电势的改变。原理基础知识细胞膜两侧离子浓度差产生了电势差，该电势差被称之为电位，而膜电位的改变与Na+Na^+Na+、K+K^+K+、leaky(以cl−cl^-cl−为代表）的三种通道的流入流出息息相关，Na+Na^+Na+通道有激活和失活两个门控开关，K+K^+K+通道只有激活门；每个离子通道

熵和spike train—信息和熵在这一节中我们将利用信息理论来探索神经系统的编码特性。spike train：在一个时间序列中，我们在给定的timebin上标记有无spike出现，此时问题转换为yes or no question，即我们可以用二元变量对于spike train进行描述这里的P(1)P(1)P(1)是假设spike出现在某个timebin里的概率，P(0)P(0)P(0)指的是某个timebin没有fire（即为沉默状态）的概率information(1)informati

神经解码—刺激重构之前一节提到了利用贝叶斯估计进行神经解码的策略，那么此时我们对于这种情况做出一下拓展：此时我们用于解码的是连续时间下的神经信号响应我们希望根据响应找出刺激s的最佳估计值sbayess_{bayes}sbayes​我们的解决方案：由于是连续时间下的神经信号响应，因此计算sbayess_{bayes}sbayes​时我们需要的是一个被平均了的，尽可能接近真实刺激的估计量为了使我们的sbayess_{bayes}sbayes​不断接近真实刺激，我们在这里引入误差函数这里引入均方

群体编码和贝叶斯估计引入之前我们所学习到的都是针对单个神经元放电的解码模型，但是现实生活中将会有许多神经元参与我们的决策，也就意味着我们需要考虑群体编码这一效应。群体编码在这里我们引入蟋蟀系统，蟋蟀腹后部的cercai可以将风速转换为神经元电信号从而引发其逃避捕食者的机械运动。我们将神经元放电响应与风向和蟋蟀夹角作图（为简便，我们这里用最大值rmaxr_{max}rmax​来规范化响应），发现这群神经元的调谐曲线分四种，神经元在四个主要方向具有峰值响应。 分别是呈45 度角的四个方向。不难发现

神经解码和信号检测理论引入在之前的内容里我们了解了神经编码模型，即一个刺激如何引起神经环路一系列的响应。因此从本节开始我们将聚焦于神经解码，即通过神经环路的一系列响应辨别不同的刺激。我们先来引入一个案例：假设你在公园里散步，听到了沙沙声，此时可能是微风也可能是一只躲在暗处的老虎，你需要做出继续走还是逃跑的这一决定。我们把这个过程数学化—假设我们可以沿着某个轴排列所有可能的沙沙声。此时我们的依据只有上图的声音，那么我们如何进行选择呢？这是一个经典的依据嘈杂的感觉信息进行动作决策的实验。同样的我

简单神经编码模型—可变性引入我们首先来回顾一下上一节的内容：1.我们案例中的刺激是观看电影时视网膜产生的自然刺激，而我们在建立模型时将输入刺激用高斯白噪声替代；这是因为无论我们如何过滤高斯白噪声，它都将保持高斯；换句话说，它没有特殊的结构，刺激集本身没有方向。2.1 通过不同时间点白噪声取值的线性组合，我们最终找到了spike-triggered average作为触发响应的表征，选定过滤器fff。2.2 我们还可以使用PCA选取主要的刺激成分，降低维度，选定过滤器fff3.利用spike分布

简单神经编码模型—特征选择引入回顾一下我们在简单编码神经模型中的目标：构建一个由特定神经元产生的单个spike的响应模型，即一个encoding模型我们将考虑在特定时间t，刺激s下观察到的单个spike的概率r(t)。回到模型实际应用方面，假设我们这里所建立的模型是基于视网膜对于视觉信号的处理，换句话说我们想要通过建模来仿真观看电影时某个特定神经元的响应过程。由于我们的模型是基于条件概率，那么就意味着会出现很多种可能的刺激源，而把每种响应值都采样又是不太可能的；因为随着可能的刺激类别增多，尤其是

神经编码引入我们可以简单的用encoding—decoding理论描述大脑的神经元活动：encoding：一个刺激如何引起神经环路一系列的响应？显然易见，这是关于"how"也就是建立机械模型的问题。decoding：通过神经环路的一系列响应我们该如何辨别不同的刺激？换句话说，我们怎么通过计算重构大脑的信息处理过程？比如说一个用来驱动机械臂的神经假肢，其工作将是读取一些神经数据的测量并激活手臂以朝着那个人的预期方向移动。因此我们的目标可以分为构建探究机制的encoding模型，以及实际应用的de

三种计算神经生物模型计算神经科学的主要研究目的， 是用计算术语描述大脑是如何指导行为的。而这具体又分为三个层次：描述神经系统在这个过程中做了什么—“what” model确定神经系统在这个过程中如何运转—“how” model理解神经系统在这个过程中为何如此运转—“why” model根据这三个层次，我们将计算神经生物模型分为三种：描述性模型，机械模型，解释性模型案例引入为了更好的理解这三种模型，我们首先引入一个案例。我们将一个微小电极植入到猫大脑最后部的视觉区，同时给予猫一个视觉刺

深度学习—从入门到放弃（九）RNN入门1.RNN简介RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。回想一下我们之前说到过的CNN，它可以通过在空间上共享参数的形式减小计算资源；RNN也是如此，不同于CNN基于空间的权值共享，RNN是基于时间来进行这个过程的。RNN 是在时间序列上运行的模型，并且能够记住过去的输入。他们还通过在每个时间步长上使用相同的权重来保存参数。上图显示了RNN可以通过“上下文”来进行缺失词的补全，且其具有权值共享的特点（U、V

深度学习—从入门到放弃（八）使用CNN进行人脸识别问题重述假设我们需要进行面部识别系统的开发，我们的思路如下：有一个有K个人的人脸数据的数据集进行人脸识别时我们先有一个输入图像输出图像为输入图像在数据集里的分类标签针对整个思路我们又面临着如下的挑战：人的个数多但是数据集里每一个人对应的图像又很少，即数据量小，我们需要在给定较少输入图像的情况下进行人脸识别鉴于以上，我们不选择简单的分类器，而是选择CNN，让CNN去学习相似度（类似于聚类）使用 CNN 进行人脸识别大型 CNN 的一

深度学习—从入门到放弃（七）CNN进阶，迁移学习引入图像是高维的。即image_length* image_width*image_channels是一个很大的数字，而上一教程里所提到的CNN的权值共享便是一种解决图像和其他领域高维问题的方法。在CNN网络结构的演化上，出现过许多优秀的CNN网络，本文的目的就是带大家了解现代卷积神经网络的发展历程，本文主要关注以下四种网络：LeNet，AlexNet，VGG-Net，GoogLeNet，ResNet。1....

深度学习—从入门到放弃（六）CNN、RNN入门

深度学习—从入门到放弃（五）正则化1.正则化引入在说到正则化的概念之前，我们先来回想一下我们花费力气建立神经网络的目的是什么？我们之所以建立模型，那么肯定是希望它能处理真实世界里的数据，换言之，也就是网络的泛化。那么为了达到良好的泛化效果，我们究竟要让模型训练时拟合效果达到哪种程度呢？1.1 过拟合过拟合是一个普遍存在的问题，尤其是在神经网络领域，神经网络模型动辄都有上万个参数，现代的深度网络参数则更是上百万的参数，所以深度网络更容易出现过拟合现象。存在过拟合现象的网络通常无法良好的泛化，这

深度学习—从入门到放弃（四）优化器1.案例引入-MNIST手写数字识别现代深度学习优化中的许多核心思想（和技巧）可以在训练 MLP 以解决图像分类任务的中进行说明。在这里我们使用的是手写数字的 MNIST 数据集，上图为MNIST数据集的部分展示。1.1 网络构建思路1.网络种类：MLP通常来说在对于图片的分类上，卷积神经网络（CNN）应用更为广泛且效果更好，但是鉴于目前只了解了MLP，那么请允许我用MLP来进行引入！在这里我们选择一个只有一个隐藏层的MLP。2.数据输入我们拿到的原始数

深度学习—从入门到放弃（三)多层感知器MLP1.MLP简介正式进入MLP之前，我们先来看看单个神经元组成的线性神经网络，由上图可知单个神经元的神经网络无法解决像XOR这样的非线性问题。这个时候MLP就出场了！多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐藏层，最简单的MLP只含一个隐藏层，即三层的结构。MLP最特殊的地方就在于这个隐藏层：隐藏层的激活函数例如ReLU、

深度学习—从入门到放弃（二）简单线性神经网络1.基本结构就像昨天说的，我们构建深度学习网络一般适用于数据大，处理难度也大的任务，因此对于网络的结构需要有一个非常深入的了解。这里以一个分类猫狗的线性神经网络分类器作为例子：1.目标函数想象一下，如果是想要一个能够分类出猫和狗的网络，我们的最终目的是什么？应该是使用最短的时间，最好的方法来完成任务。具象的来说就是在崎岖的山上找一条最优的下山路径。在神经网络中就是指最大限度降低损失函数的路径。2.学习规则可以继续联想刚刚的下山路径，我们的目标函数是如