超级会员免费看
🧑 博主简介：历代文学网（PC端可以访问：https://literature.sinhy.com/#/literature?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，
15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分享所学，希望通过我的实践经历和见解，启发他人的创新思维。在这里，我希望能与志同道合的朋友交流探讨，共同进步，一起在技术的世界里不断学习成长。
Java Deeplearning4j：构建和训练多层感知器（MLP）模型
一、多层感知器（MLP）简介
多层感知器（Multilayer Perceptron，MLP）是一种前馈人工神经网络模型。它由多个神经元（节点）组成，这些神经元分层排列，包括输入层、一个或多个隐藏层以及输出层。
（一）输入层
输入层的神经元数量取决于输入数据的特征数量。例如，在图像分类任务中，如果图像表示为一个向量，向量的长度就是输入层神经元的数量。
（二）隐藏层
隐藏层是MLP的核心部分。神经元之间通过权重连接，每个神经元接收来自上一层神经元的输入，经过激活函数处理后，将输出传递给下一层神经元。隐藏层可以学习到输入数据的复杂非线性关系。常见的激活函数有Sigmoid函数、ReLU（Rectified Linear Unit）函数等。Sigmoid函数将输入值映射到0到1之间，常用于二分类问题的输出层；ReLU函数在输入大于0时输出等于输入，在输入小于等于0时输出为0，它能够有效缓解梯度消失问题，加快模型训练速度。
（三）输出层
输出层的神经元数量取决于任务类型。在分类任务中，如果是二分类任务，输出层通常有1个神经元；如果是多分类任务，输出层神经元数量等于类别数量。在回归任务中，输出层通常只有1个神经元，直接输出预测值。
（四）工作原理
MLP 通过将输入数据传递到输入层，然后依次经过各个隐藏层进行非线性变换，最后在输出层产生预测结果。每个神经元接收来自上一层神经元的输入，并通过激活函数对输入进行处理，产生输出。常见的激活函数有 sigmoid、tanh 和 ReLU 等。
（五）应用场景
MLP 在分类和回归任务中都有广泛的应用。例如，在图像分类中，可以使用 MLP 对图像的特征进行学习和分类；在房价预测等回归问题中，MLP 可以根据输入的特征预测连续的输出值。
（六）优势与局限性
- 优势：
- 强大的非线性建模能力：能够学习复杂的非线性关系。
- 通用性：适用于各种类型的问题，包括分类和回归。
- 可扩展性：可以通过增加隐藏层和神经元的数量来提高模型的性能。
- 局限性：
- 容易过拟合：特别是在数据量较少或模型过于复杂时。
- 计算复杂度高：随着模型规模的增加，训练和推理的时间和资源消耗也会增加。
二、定义模型结构
（一）不同类型的层
- DenseLayer（全连接层）
- 在
DeepLearning4J中，DenseLayer是构建MLP时常用的层类型。它的每个神经元都与上一层的所有神经元相连。例如，创建一个有100个输入特征，50个神经元的DenseLayer可以这样定义：
DenseLayer.Builder builder = new DenseLayer.Builder() .nIn(100) .nOut(50) .activation(Activation.RELU);- 这里的
nIn参数表示输入的神经元数量，nOut参数表示输出的神经元数量，activation参数指定激活函数为ReLU。
- 在
- OutputLayer
- 输出层与全连接层类似，但根据任务类型（分类或回归）会有不同的配置。对于分类任务，常用Softmax激活函数。例如，在一个10类分类任务中：
OutputLayer.Builder outputBuilder = new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD) .nIn(50) .nOut(10) .activation(Activation.SOFTMAX);- 这里
LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD是损失函数，适用于多分类任务，nIn和nOut分别表示输入和输出的神经元数量，activation为Softmax激活函数。
三、场景及样例数据介绍
假设我们要进行一个简单的二分类任务，预测某个产品是否会被用户购买。我们有以下样例数据：
| 用户年龄 | 用户收入 | 产品价格 | 是否购买 |
|---|---|---|---|
| 25 | 50000 | 100 | 0 |
| 30 | 60000 | 150 | 1 |
| 22 | 45000 | 80 | 0 |
| 35 | 70000 | 200 | 1 |
| 28 | 55000 | 120 | 0 |
这个数据集中包含了用户的年龄、收入和产品价格作为输入特征，以及一个二值的输出表示用户是否购买了产品。
四、相关Maven 依赖
在使用 DeepLearning4J 构建 MLP 模型之前，我们需要在项目的 pom.xml 文件中添加以下依赖：
<dependency>
<groupId>org.deeplearning4j</groupId>
<artifactId>deeplearning4j-core</artifactId>
<version>1.0.0-beta7</version>
</dependency>
<dependency>
<groupId>org.nd4j</groupId>
<artifactId>nd4j-native-platform</artifactId>
<version>1.0.0-beta7</version>
</dependency>
五、必要的库及功能介绍
import org.deeplearning4j.datasets.iterator.impl.ListDataSetIterator;
import org.deeplearning4j.eval.Evaluation;
import org.deeplearning4j.nn.api.Layer;
import org.deeplearning4j.nn.conf.MultiLayerConfiguration;
import org.deeplearning4j.nn.conf.NeuralNetConfiguration;
import org.deeplearning4j.nn.conf.layers.DenseLayer;
import org.deeplearning4j.nn.conf.layers.OutputLayer;
import org.deeplearning4j.nn.multilayer.MultiLayerNetwork;
import org.deeplearning4j.nn.weights.WeightInit;
import org.nd4j.linalg.activations.Activation;
import org.nd4j.linalg.api.ndarray.INDArray;
import org.nd4j.linalg.dataset.DataSet;
import org.nd4j.linalg.dataset.api.iterator.DataSetIterator;
import org.nd4j.linalg.lossfunctions.LossFunctions;
org.deeplearning4j.datasets.iterator.impl.ListDataSetIterator：用于将数据集转换为迭代器，以便在训练和评估过程中使用。org.deeplearning4j.eval.Evaluation：用于评估模型的性能，例如计算准确率、召回率等指标。org.deeplearning4j.nn.api.Layer：表示神经网络中的一层。org.deeplearning4j.nn.conf.MultiLayerConfiguration：用于配置多层神经网络的结构。org.deeplearning4j.nn.conf.NeuralNetConfiguration：用于构建神经网络配置的基础类。org.deeplearning4j.nn.conf.layers.DenseLayer：表示全连接层，也称为密集层。org.deeplearning4j.nn.conf.layers.OutputLayer：表示输出层。org.deeplearning4j.nn.multilayer.MultiLayerNetwork：表示多层神经网络。org.deeplearning4j.nn.weights.WeightInit：用于初始化神经网络的权重。org.nd4j.linalg.activations.Activation：表示激活函数。org.nd4j.linalg.api.ndarray.INDArray：表示多维数组，用于存储数据和模型参数。org.nd4j.linalg.dataset.DataSet：表示数据集，包含输入数据和标签。org.nd4j.linalg.dataset.api.iterator.DataSetIterator：用于迭代数据集。org.nd4j.linalg.lossfunctions.LossFunctions：表示损失函数。
六、定义模型结构
MLP 模型通常由输入层、隐藏层和输出层组成。在 DeepLearning4J 中，我们可以使用NeuralNetConfiguration类来定义模型的结构。
1. 输入层
输入层的神经元数量取决于输入数据的特征数量。在我们的样例数据中，有三个输入特征（用户年龄、用户收入和产品价格），所以输入层的神经元数量为 3。
2. 隐藏层
隐藏层可以有一个或多个，其神经元数量可以根据问题的复杂性和数据的大小来确定。一般来说，隐藏层的神经元数量越多，模型的表达能力越强，但也容易导致过拟合。在这个例子中，我们使用一个隐藏层，神经元数量为 10。
3. 输出层
输出层的神经元数量取决于任务的类型。对于二分类任务，输出层通常只有一个神经元，使用 sigmoid 激活函数，输出值在 0 到 1 之间，表示预测为正类的概率。如果输出值大于 0.5，则预测为正类，否则预测为负类。
以下是定义模型结构的代码示例：
int numInputs = 3; // 输入特征数量
int numHiddenNodes = 10; // 隐藏层神经元数量
int numOutputs = 1; // 输出层神经元数量
MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
.seed(12345) // 设置随机种子，确保结果可复现
.weightInit(WeightInit.XAVIER) // 使用 Xavier 初始化权重
.updater(new org.deeplearning4j.nn.weights.WeightInit.Xavier())
.list()
.layer(0, new DenseLayer.Builder()
.nIn(numInputs)
.nOut(numHiddenNodes)
.activation(Activation.RELU) // 使用 ReLU 激活函数
.build())
.layer(1, new OutputLayer.Builder(LossFunctions.LossFunction.MSE)
.nIn(numHiddenNodes)
.nOut(numOutputs)
.activation(Activation.SIGMOID) // 使用 sigmoid 激活函数
.build())
.build();
在上述代码中，我们首先定义了输入特征数量、隐藏层神经元数量和输出层神经元数量。然后，使用NeuralNetConfiguration.Builder类来构建模型配置。在配置中，我们设置了随机种子、权重初始化方法、激活函数和损失函数。
七、配置 MLP 层结构
在定义了模型结构之后，我们可以使用MultiLayerNetwork类来构建和初始化 MLP 模型。以下是配置 MLP 层结构的代码示例：
MultiLayerNetwork model = new MultiLayerNetwork(conf);
model.init();
在上述代码中，我们首先创建了一个MultiLayerNetwork对象，并传入模型配置。然后，调用init()方法来初始化模型。
八、模型训练和参数配置介绍
（一）将样例数据转换为DataSetIterator
在 DeepLearning4J 中，我们可以使用DataSetIterator来迭代数据集。首先，我们需要将样例数据转换为DataSet对象，然后使用ListDataSetIterator将其转换为迭代器。以下是代码示例：
// 创建输入数据和标签数组
double[][] inputData = new double[][]{
{25, 50000, 100},
{30, 60000, 150},
{22, 45000, 80},
{35, 70000, 200},
{28, 55000, 120}
};
double[][] labels = new double[][]{
{0},
{1},
{0},
{1},
{0}
};
// 将输入数据和标签转换为 INDArray
INDArray input = Nd4j.create(inputData);
INDArray labelsArray = Nd4j.create(labels);
// 创建数据集
DataSet dataSet = new DataSet(input, labelsArray);
// 将数据集转换为迭代器
int batchSize = 2; // 批次大小
DataSetIterator iterator = new ListDataSetIterator(dataSet, batchSize);
在上述代码中，我们首先创建了输入数据和标签数组。然后，使用Nd4j.create()方法将其转换为INDArray对象。接着，创建了一个DataSet对象，并传入输入数据和标签。最后，使用ListDataSetIterator将数据集转换为迭代器，并设置批次大小为 2。
（二）配置训练参数
在训练模型之前，我们需要配置一些训练参数，例如学习率、批次大小、迭代次数等。以下是代码示例：
int numEpochs = 100; // 迭代次数
double learningRate = 0.01; // 学习率
model.setLearningRate(learningRate);
for (int epoch = 0; epoch < numEpochs; epoch++) {
model.fit(iterator);
}
在上述代码中，我们首先设置了迭代次数和学习率。然后，在每个迭代中，调用model.fit()方法来训练模型。
（三）理解参数对模型训练的影响
- 学习率：学习率决定了模型在每次迭代中更新权重的步长。学习率过大可能导致模型无法收敛，而学习率过小可能导致训练速度过慢。
- 批次大小：批次大小决定了每次迭代中使用的样本数量。批次大小较大可以提高训练速度，但可能会导致模型的泛化能力下降。批次大小较小可以提高模型的泛化能力，但可能会导致训练速度过慢。
- 迭代次数：迭代次数决定了模型训练的轮数。迭代次数过多可能导致过拟合，而迭代次数过少可能导致模型无法充分学习数据的特征。
九、模型评估
在训练完成后，我们可以使用测试数据来评估模型的性能及准确率。
- 准确率（
Accuracy）：准确率是指模型正确预测的样本数量占总样本数量的比例。它是评估分类模型性能的一个重要指标。例如，如果模型在100个测试样本中正确预测了80个，那么准确率就是0.8。 - 损失值（
Loss）：损失值反映了模型预测结果与真实结果之间的差异程度。在训练过程中，模型的目标是最小化损失值。不同的损失函数适用于不同的任务类型，如均方误差（MSE）常用于回归任务，交叉熵（Cross - Entropy）常用于分类任务。
以下是代码示例：
// 创建测试数据
double[][] testInputData = new double[][]{
{26, 52000, 110},
{32, 65000, 160}
};
double[][] testLabels = new double[][]{
{0},
{1}
};
// 将测试数据转换为 INDArray
INDArray testInput = Nd4j.create(testInputData);
INDArray testLabelsArray = Nd4j.create(testLabels);
// 创建测试数据集
DataSet testDataSet = new DataSet(testInput, testLabelsArray);
// 使用模型进行预测
INDArray predictions = model.output(testDataSet.getFeatureMatrix());
// 计算准确率
Evaluation evaluation = new Evaluation(1);
evaluation.eval(testDataSet.getLabels(), predictions);
double accuracy = evaluation.accuracy();
System.out.println("准确率：" + accuracy);
在上述代码中，我们首先创建了测试数据，并将其转换为INDArray对象。然后，创建了一个测试数据集。接着，使用模型对测试数据进行预测，并将预测结果存储在predictions变量中。最后，使用Evaluation类来计算模型的准确率。
十、参考资料文献
- DL4J 官方文档
- DataVec 官方文档
- 深度学习实战
- 《深度学习》（Goodfellow、Bengio 和 Courville 著）。
扫一扫
1776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
