人工神经网络和深度学习的另一个关键组成部分是反向传播算法

　　1959年，Hubel和Wiesel（1981年诺贝尔生理学或医学奖获得者）利用电子信号探测器捕捉到了神经元在视觉系统看到不同图像时的反应。来自哺乳动物视觉皮层的单细胞记录揭示了视觉输入信号是如何在V1 区域的简单和复杂细胞中被过滤和汇集的。这项研究表明，大脑中的视觉处理系统进行了卷积操作，而且该系统具有多层结构。生物系统利用具有非线性计算的连续层级结构将原始视觉输入信号转换为越来越复杂的特征集，从而使视觉系统在识别视觉输入信号时对姿势和比例等变换保持不变。这些发现直接启发了卷积神经网络，卷积神经网络是现阶段深度学习技术的基本模型。
　　人工神经网络和深度学习的另一个关键组成部分是反向传播算法，它解决了如何调整人工神经网络中的参数或权重的问题。有趣的是，反向传播算法的基本思想最初是由神经科学家和认知科学家在20世纪80年代提出的，而不是由计算机科学家或机器学习研究人员提出的。这些科学家观测到，神经系统的微观结构和生物大脑的神经系统是通过一个学习过程逐步被调整的，其目的是最小化误差和最大化输出回报。
　　注意力机制是在19世纪90年代首次被作为心理学概念而引入的，它的设计目的是使智能体可以选择性地集中在一些重要信息上而不是全部信息上，从而改善认知过程。自20世纪90年代以来，研究者开始使用新的医学成像技术，如PET，去研究大脑的注意力机制。1999 年，PET被用于研究大脑的选择性注意力。之后，研究人员通过运用更多的成像技术，发现了更多关于生物大脑的注意力机制。
　　受到生物大脑中注意力机制的启发，AI研究人员开始将注意力模块纳入基于时间或空间方式的人工神经网络中，分别提高了深度神经网络在自然语言处理和计算机视觉任务中的性能表现。利用注意力模块，人工神经网络能够选择性地关注重要的对象或词语并忽略不相关的部分，从而使训练和推理过程比传统深度网络更高效。
　　机器学习模型通常会忘记它已经处理的数据中的信息，而生物智能却能够将这种信息记住一段时间，生物大脑有工作记忆功能，它能记住过去的数据。工作记忆的概念最初是在20世纪70年代被引入的，它是通过一些认知实验所总结的。自1990年以来，研究人员就开始使用PET和fMRI来研究生物大脑的工作记忆，并发现大脑的前额叶皮质是关键部分。
　　受到脑科学工作记忆研究的启发，AI研究人员试图将记忆模块纳入机器学习模型。一种典型的方法是LSTM，该方法为诸多序列处理任务奠定了基础，如自然语言处理、视频理解以及时间序列分析。最近的一项研究表明，工作记忆模块可以使机器学习模型执行复杂的推理和工作任务，如找到特定点之间的最短路径并在随机生成的图形中推断缺失的连接。通过记忆以往的知识，我们可以进行一次性学习，即只需要标记少量的样本就可以学习一个新的概念。
　　连续学习是生物智能的一项基本技能，利用该方法可以在不会忘记以前任务的同时学习到新的任务。生物神经系统是如何实现在不同时间学习多个任务的，这是一个具有挑战性的研究课题。1990年，双光子显微技术使在单个突触的空间尺度上观察树突棘在学习期间的体内结构和功能成为可能。通过这种成像系统，一些研究人员在2010年对大脑中新皮质在连续学习期间的可塑性进行了研究，研究结果揭示了神经系统在学习新任务时是如何通过控制神经元的生长来记住之前的任务的。