盼小辉丶的博客

神经网络是一种性能强大的学习算法，其灵感来自大脑的运作方式。类似于神经元在大脑中彼此连接的方式，神经网络获取输入后，通过某些函数在网络中进行传递输入信息，连接在其后的一些神经元会被激活，从而产生输出。本文主要介绍神经网络中重要的基础知识，然后使用 Python 从零开始构建神经网络的训练流程，包括前向传播和反向传播，更直观的了解神经网络的通用训练流程。............

Keras 是用 Python 编写的高级神经网络 API，它的核心思想在于实现快速实验，该库提供了很多实用工具，可以简化构建复杂神经网络的过程。在本节中，我们将使用 Keras 库构建神经网络，感受 Keras 快速模型构建的特性。.........

在神经网络训练过程中，有多种超参数可以影响神经网络的准确性。在本节中，我们将详细介绍神经网络中各种超参数的作用，通过使用不同的超参数来优化神经网络性能，以 MNIST 手写数字分类模型为例应用多种神经网络优化技术提高模型准确率。.........

使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........

批归一化是神经网络中关键性技术之一，使用批归一化可以大幅加快网络的收敛，同时提高网络的泛化能力，也就说，批归一化可以用于缓解模型的过拟合问题。

过拟合是在训练数据上能够获得很好的性能， 但是在训练数据外的数据集上却不能很好地拟合数据。本文中，我们介绍了过拟合问题出现原因以及解决过拟合的常用的几种解决方法。

传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........

根据经验，我们知道对于给定的图像，即使我们平移，旋转或缩放图像，图像的标签也将保持不变。数据增强是从给定的图像集中创建更多图像的一种方法，即通过旋转，平移或缩放它们并将它们映射到原始图像的标签，以扩充数据集。本节中，将介绍通过增加训练数据集的数据量能够提高神经网络的模型性能。.........

我们已经学习了卷积神经网络 (Convolutional Neural Network, CNN) 的强大性能。虽然卷积神经网络的局部连接、权值共享和层次化表达等特性保证了网络模型可以有效的从大量样本中学习到数据的相应特征、避免了复杂的特征提取过程，但与其它模型一样，卷积神经网络同样也具有一定的局限性，本节将通过一系列实战来介绍卷积神经网络的一些局限性。............

迁移学习 (Transfer Learning) 是机器学习中的一个重要研究方向，指将一个预训练的模型重新用于另一个任务中，和从零开始训练卷积神经网络相比，利用迁移学习，只需要少量样本即可训练得到性能较好的模型。本文我们将使用预训练的 VGG16 模型利用迁移学习进行性别分类任务实战。......

我们已经学习了如何构建了卷积神经网络 (Convolutional Neural Network, CNN) 模型，并且看到了其具有的强大性能。但是，有关 CNN 模型学习到的内容，对于我们来说仍然是一个黑匣子。在本节中，将介绍如何提取模型中各种卷积核学习到的内容特征，并对比 CNN 中开始几个卷积层中的卷积核学习到的内容与最后几个卷积层中的卷积核学习到的内容。...............

面部关键点的定位通常是许多面部分析方法和算法中的关键步骤。在本节中，我们介绍了如何通过训练卷积神经网络来检测面部的关键点，首先通过预训练模型提取特征，然后利用微调模型预测图像中人物的面部关键点。............

目标检测一直是计算机视觉领域最具有挑战性的问题之一，同时也是具有广泛应用场景的任务之一。本节中，首先介绍了目标检测的基本概念，然后介绍了如何制作用于训练目标检测模型的数据集，最后讲解了如何生成候选区域和常用于目标检测模型性能评估的指标。通过介绍目标检测中的相关技术，为接下来实现目标检测算法奠定基础。.........

R-CNN 是基于候选区域的经典目标检测算法，其将卷积神经网络引入目标检测领域。本文首先介绍了 R-CNN 模型的核心思想与目标检测流程，然后使用 Keras 从零开始实现了一个基于 R-CNN 的目标检测模型，最后介绍了非极大值抑制用于移除相似的预测边界框。.........

YOLO 是基于锚框的经典目标检测算法，能够实现快速检测的同时具有较高的准确率，其将目标检测任务看作目标区域预测和类别预测的回归问题，实现端到端的目标检测。本文首先介绍了 YOLO 模型的核心思想与目标检测流程，然后使用 Keras 从零开始实现了一个基于 YOLO 的目标检测模型。......

对于高维输入向量的压缩对于许多应用来说都是至关重要的，不仅可以降低数据处理难度，同时也可以增加数据传输效率。本文介绍了在深度学习领域常用的数据编码技术——自编码器 (AutoEncoder)，并使用 MNIST 数据集训练了多个自编码器变体模型；最后，还将二维编码向量进行可视化，以验证相似的图像是否具有相似的嵌入。...

图像分割是指将图像分成若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性、不同子区域间特征呈现较为明显的差异。图像分割是是计算机视觉中一项基础的任务，已经广泛应用于许多实际场景中。在本节中，我们将学习如何使用神经网络模型，更具体的说是使用 U-Net 模型架构执行图像分割任务。...

语义分割 (Semantic Segmentation) 是为了便于图像分析而为图像中的每个像素分配标签的过程，可以将语义分割认为是一种为场景理解提供支持的高层任务。本节将介绍语义分割的基本概念，并实现交通图像语义分割模型，以便我们能够区分图像中的多个对象。...

尽管深度神经网络在各种计算机视觉任务上具有很高的准确性，但研究表明它们容易受到微小扰动的影响，从而导致它们输出完全错误的预测结果。本文首先介绍了对抗攻击的基本概念，然后利用 Keras 实现了一种经典的对抗攻击算法，通过在图中添加微小扰动令红狐图像被错误的预测为山猫图像，我们也可以通过改变攻击的目标索引，来使图像被错误分类为其它类别。

DeepDream 利用训练完成的深度卷积神经网络，仅需要优化模型卷积层某个通道的激活值即可生成令人印象深刻的图像。本节首先介绍了 DeepDream 的基本原理，并使用 Keras 实现了 DeepDream 生成模型，不仅能够生成富有艺术感的图像，同时加深对卷积神经网络的背后运行机制的理解。

在神经风格迁移中，我们需要一个内容图像和一个风格图像，我们的目标是保持内容图像的同时融和风格图像中的风格样式，以组合这两个图像生成全新图像。在本节中，首先介绍了神经风格迁移的核心思想与风格迁移图像的生成流程，然后利用 Keras 从零开始实现了神经风格迁移算法，可以通过修改模型中的超参数来生成不同观感的图像。......

生成对抗网络 (Generative Adversarial Networks, GAN) 使用神经网络生成与原始图像集非常相似的新图像，它在图像生成中应用广泛，且 GAN 的相关研究正在迅速发展，以伪造生成与真实图像难以区分的逼真图像。本节首先介绍了对抗生成网络的基本原理，并使用 Keras 从零开始实现了一个对抗生成网络用于生成手写数字图像。

深度卷积生成对抗网络 (Deep Convolutional GAN, DCGAN) 将卷积神经网络引入 GAN 中，以代替原始 GAN 中的全连接网络更好地学习图像中的特征。本节中，首先介绍了 DCGAN 的基本思想，然后使用 Keras 从零开始实现用于生成手写数字图片的 DCGAN 模型，可以看到生成的图像效果比原始 GAN 更逼真，最后为了充分验证 DCGAN 模型性能，使用 DCGAN 生成复杂的面部图像。

传统的文本分析中，将单词编码为独热向量导致相似的单词并不具备相似的向量。因此，需要研究如何对文本数据进行编码，以使相似的数据具有相似的编码向量。本节中，介绍了 WordVec 单词向量编码的技术原理，此方法可以将具有相似语义的单词编码为相似向量，然后使用 Keras 从零开始构建单词向量，最后介绍了如何度量单词向量间的相似度以验证具有相似语义的单词是否具有相似的单词向量。

在学习了如何从零开始构建了一个用于计算单词向量的模型之后，我们在本节介绍了如何使用 gensim 库构建 skip-gram 和 CBOW 模型获取单词向量，从而得到了更加准确的单词向量。最后，为了克服数据集中句子数量太少而导致的模型鲁棒性较差的问题，我们介绍了如何使用预训练的单词向量执行向量算术。

本节中，我们首先介绍了文档向量概念提出的背景，然后介绍了文档向量的基本概念以及如何生成文档向量，并了解了构建文档向量的策略，最后使用 Keras 从零开始实现了文档向量生成模型，并使用航空公司的 Twitter 数据集训练得到了数据集的文档向量。

循环神经网络 (Recurrent neural networks, RNN) 是一种十分重要的神经网络模型，基本已经成为机器翻译、语音助手、序列视频分析等应用的标准处理手段。由于其具有记忆特性，可以处理上下文环境有关系的序列数据，因此在自然语言处理领域中有着广泛的应用。本文首先介绍了 RNN 的核心思想及其架构，然后从零开始实现了一个 RNN 模型，并通过前向计算验证了 RNN 的输出，从而对 RNN 的核心机制有更深刻的理解。

分析隐藏在文本数据背后的情感是自然语言处理的一个基本研究领域，情感分析在推荐系统、语音助手等应用中有着十分重要的作用。本文通过使用 CBOW 模型获取用户评论数据的平均单词向量，然后利用平均单词向量训练情感分类模型，预测用户对于航空公司的评价是正面、负面或者中立的，相比直接使用单词独热编码进行预测，使用单词向量进行预测的模型准确率更高。

长短时记忆网络 (Long Short Term Memory, LSTM) 解决了循环神经网络 (Recurrent neural networks, RNN) 梯度爆炸/消失的问题，是建立在循环神经网络基础上的一种新型深度学习的时间序列模型。本节中，首先介绍了传统 RNN 模型的局限性，然后详细介绍了 LSTM 的基本原理与各组成部分的计算细节，最后，使用 Keras 实现了 LSTM 模型用以加深对 LSTM 背后运行机制的理解。

我们已经了解了循环神经网络和长短时记忆网络的工作原理，并学习了使用这两种架构进行情感分类，情感分类是一种经典的多对一应用，输入中的多个单词对应于一个输出——正面、负面或中立。但循环神经网络也可以实现多对多应用，本节中，我们利用循环神经网络构建了一个文本生成模型，利用爱丽丝梦游仙境小说进行训练，以尝试使用神经网络模型进行文学创作。

推荐系统在用户发现中起主要作用。假设，我们具有数千种不同的产品，每种产品还存在不同的规格、样式等。在这种情况下，对用户进行有关产品的精准推荐将成为增加销量的关键。在本节中，我们将以电影推荐系统为例介绍推荐系统模型构建的方法，从而为用户推荐其真正感兴趣的产品。

股价预测是时间序列预测中最具挑战性的问题之一，研究股价预测问题具有重要的理论意义和应用价值。针对循环神经网络在股价预测中存在的长期依赖等缺点，本文引入了长短时记忆神经网络以提高股价预测的效果。同时，我们把有关公司的新闻标题的文本数据作为模型的输入变量时，发现预测效果更好，因此我们可以把有关公司的新闻标题的文本数据作为一个有效的输入变量。最后，通过利用 Keras 实现了以上两个股价预测模型，并进行了性能分析和对比。

长短时记忆网络 (LSTM) 可以返回最后一个时间戳的结果，即输出为一维数据，而多对多神经网络架构输出为多个维度，其中每个维度对应一个输出，而非多个类别的 softmax 激活函数值。例如，在股价预测中，我们可以使用多对多神经网络架构预测未来 5 天的股价，而不仅是下一个交易日的股价。在这类情况下，我们构建神经网络模型的方式有所不同。本文基于 LSTM 研究各类不同模型的序列预测问题，包括一对一架构以及多对多架构，并且通过实战验证了不同架构的输出结果。

随着自然语言处理技术的飞速发展以及互联网上对话语料的不断积累，聊天机器人取得了迅速的发展，得到了学术界的广泛关注，并且在现实世界中也得到了一定的应用。当前，聊天机器人可以分为检索式聊天机器人和生成式聊天机器人，而检索式聊天机器人由于其生成的回复流畅且计算资源消耗小，仍然是目前实际应用中聊天机器人的主要实现手段。本节中，我们将学习检索式聊天机器人的基本原理，并实现其中的关键核心技术。

机器翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程，是人工智能的终极目标之一，具有重要的科学研究与实用价值，机器翻译技术在促进经济、文化交流等方面起到越来越重要的作用。本文中，首先介绍了机器翻译模型的基本原理，然后构建了两种不同的模型实现了机器翻译模型。

机器翻译是人工智能的重要方向之一，为提高机器翻译的准确性，在传统神经网络模型的基础上，引入了一种基于编码器-解码器的机器翻译模型，并通过注意力机制对卷积神经网络进行改进，以提高传统输入中的语义信息特征，然后实现目标语言的翻译；并使用 Keras 实现了以上两种机器翻译模型。

当前越来越多的场景需要将手写体的文字转换为电子格式，手写体识别成为人机交互最便捷的手段之一，拥有广泛的应用前景。在识别图像中手写文字(即转录手写文本图像)的问题中，我们需要同时处理图像数据和顺序数据，这是由于因为图像中的内容需要按顺序进行转录。在本节中，我们使用 Keras 库融合卷积神经网络 (Convolutional Neural Networks, CNN) 和循环神经网络 (Recurrent Neural Network, RNN) 实现深度学习手写识别模型。

随着大规模数据集的出现，深度学习因其出色的计算能力在很多传统的计算机视觉任务上取得了巨大的成功，尤其是图像识别领域的图像字幕生成任务。本文利用深度学习技术设计出能够连接图像与自然语言的模型，从而实现图像字幕生成。本文设计的模型主要包含两个部分，一个是图像特征提取部分，另一个是语言建模与生成部分。同时，为了提高图像字幕生成模型的性能，我们使用束搜索对模型进行改进。

音乐音频分类技术能够基于音乐内容为音乐添加类别标签,在音乐资源的高效组织、检索和推荐等相关方面的研究和应用具有重要意义。传统的音乐分类方法大量使用了人工设计的声学特征，特征的设计需要音乐领域的知识，不同分类任务的特征往往并不通用。深度学习的出现给更好地解决音乐分类问题提供了新的思路，本文对基于深度学习的音乐音频分类方法进行了研究。首先将音乐的音频信号转换成声谱作为统一表示，避免了手工选取特征存在的问题，然后基于一维卷积构建了一种音乐分类模型。

随着移动互联网、云端存储等技术的快速发展，包含丰富信息的音频数据呈现几何级速率增长。这些海量数据在为人工分析带来困难的同时，也为音频认知、创新学习研究提供了数据基础。在本节中，我们通过构建生成模型来生成音频序列文件，从而进一步加深对序列数据处理问题的了解。