使用TensorFlow构建，绘制和解释人工神经网络

使用 Python 进行深度学习：神经网络（完整教程） 使用TensorFlow构建，绘制和解释人工神经网络

总结

在本文中，我将展示如何使用Python构建神经网络，以及如何使用可视化和创建模型预测解释器向业务解释深度学习。

图片来源：作者 深度学习是一种机器学习，它模仿人类获得某些类型知识的方式，与标准模型相比，它多年来越来越受欢迎。

虽然传统算法是线性的，但深度学习模型（通常是神经网络）堆叠在一个越来越复杂和抽象的层次结构中（因此深度学习中的“深度”）。

神经网络基于一组连接的单元（神经元），就像大脑中的突触一样，可以将信号传递给其他神经元，因此，就像相互连接的脑细胞一样，它们可以以更像人类的方式学习和做出决定。

今天，深度学习是如此流行，以至于许多公司想要使用它，即使他们并不完全理解它。通常，数据科学家首先必须为业务简化这些复杂的算法，然后解释和证明模型的结果，这对于神经网络来说并不总是那么简单。我认为最好的方法是通过可视化。

我将介绍一些有用的 Python 代码，这些代码可以轻松应用于其他类似情况（只需复制、粘贴、运行），并通过注释遍历每一行代码，以便您可以复制示例。

特别是，我将经历：

环境设置，张量流与 pytorch

人工神经网络细分、输入、输出、隐藏层、激活函数

使用深度神经网络进行深度学习

使用张量流/keras进行模型设计

使用python可视化神经网络

模型训练和测试

用形状解释

设置

构建神经网络有两个主要库：TensorFlow（由Google开发）和PyTorch（由Facebook开发）。它们可以执行类似的任务，但前者更适合生产，而后者则适合构建快速原型，因为它更容易学习。

这两个库受到社区和企业的青睐，因为它们可以利用 NVIDIA GPU 的强大功能。这对于处理文本语料库或图像库等大型数据集非常有用，有时甚至是必要的。

在本教程中，我将使用 TensorFlow 和 Keras，这是一个比纯 TensorFlow 和 PyTorch 更用户友好的更高级别的模块，尽管速度有点慢。

第一步是通过终端安装 TensorFlow：

pip install tensorflow 如果要启用GPU支持，可以阅读官方文档或遵循本指南。设置完成后，您的 Python 指令将由您的机器转换为 CUDA 并由 GPU 处理，因此您的模型将运行得非常快。

现在我们可以在笔记本上导入 TensorFlow Keras 的主要模块并开始编码：

from tensorflow.keras import models, layers, utils, backend as K
import matplotlib.pyplot as plt
import shap

人工神经网络

ANN由具有输入和输出维度的层组成。后者由神经元（也称为“节点”）的数量决定，神经元是一个计算单元，通过激活函数连接加权输入（帮助神经元打开/关闭）。

与大多数机器学习算法一样，权重在训练期间随机初始化和优化，以最小化损失函数。

图层可以分组为：

输入层具有将输入向量传递给神经网络的工作。如果我们有一个包含 3 个特征的矩阵（形状 N x 3），则该层将 3 个数字作为输入，并将相同的 3 个数字传递给下一层。

隐藏层代表中间节点，它们对数字进行多次转换以提高最终结果的准确性，输出由神经元的数量定义。

返回神经网络最终输出的输出层。如果我们在做一个简单的二元分类或回归，输出层应该只有 1 个神经元（因此它只返回 1 个数字）。

在具有 5 个不同类的多类分类的情况下，输出层应具有 5 个神经元。

ANN最简单的形式是感知器，一个只有一层的模型，与线性回归模型非常相似。询问感知器内部发生了什么，相当于询问多层神经网络的单个节点内部发生了什么......让我们分解一下。

假设我们有一个包含 N 行、3 个特征和 1 个目标变量（即二进制 1/0）的数据集：

我在 0 到 1 之间放置了一些随机数数据在输入神经网络之前应始终缩放。

就像在所有其他机器学习用例中一样，我们将训练一个模型来逐行使用特征预测目标。让我们从第一行开始：

“训练模型”是什么意思？

在数学公式中搜索最佳参数，以最大程度地减少预测误差。在回归模型，即线性回归中，您必须找到最佳权重，在基于树的模型（即随机森林）中，这是关于找到最佳拆分点......

通常，权重是随机初始化的，然后随着学习的进行进行调整。在这里，我将它们全部设置为 1：

图片来源：作者

到目前为止，我们还没有做任何与线性回归不同的事情。对于业务来说，这很简单。

现在，这里是从线性模型 Σ（xiwi）=Y 到非线性模型 f ( Σ（xiwi)=Y 的升级...输入激活函数。

图片来源：作者

激活函数定义该节点的输出。有很多，甚至可以创建一些自定义函数，您可以在官方文档中找到详细信息并查看此备忘单。如果我们在示例中设置一个简单的线性函数，那么我们与线性回归模型没有区别。

来源：维基百科

我将使用仅返回 1 或 0 的二进制步骤激活函数：

来源：维基百科

图片来源：作者

我们有感知器的输出，这是一个单层神经网络，它接受一些输入并返回 1 个输出。现在，模型的训练将继续，将输出与目标进行比较，计算误差并优化权重，一次又一次地重复整个过程。

图片来源：作者 这是神经元的常见表示形式：

图片来源：作者

深度神经网络

可以说所有的深度学习模型都是神经网络，但并非所有的神经网络都是深度学习模型。一般来说，“深度”学习适用于算法至少有 2 个隐藏层（因此总共 4 层