Dl4j-fit(DataSetIterator iterator)源码阅读(二)

这篇博客深入探讨了DL4J库中solver.optimize()方法的实现细节。在优化过程中,如果solver字段为空,会初始化相关实例。优化算法采用特定类型,其内部使用ZeroDirection和EpsTermination类来判断训练终止条件。这两个类辅助确定模型训练何时停止。之后,通过调用其他构造函数进一步配置优化器,并根据设置的迭代次数执行网络模型的梯度计算和参数更新。对于预训练网络层,由于params不是视图,因此在某些情况下需要调用setParams()进行参数更新。
摘要由CSDN通过智能技术生成
2.3.3 solver.optimize()

optimezie()方法首先需要判断solver类中的optimizer字段是否为空。

public void optimize() {
    if (optimizer == null)
        optimizer = getOptimizer();
    optimizer.optimize();
}

如果为空则需要调用getOptimizer()方法获取实例。

public ConvexOptimizer getOptimizer() {
    if (optimizer != null)
        return optimizer;
    switch (conf.getOptimizationAlgo()) {
        case LBFGS:
            optimizer = new LBFGS(conf, stepFunction, listeners, model);
            break;
        case LINE_GRADIENT_DESCENT:
            optimizer = new LineGradientDescent(conf, stepFunction, listeners, model);
            break;
        case CONJUGATE_GRADIENT:
            optimizer = new ConjugateGradient(conf, stepFunction, listeners, model);
            break;
        case STOCHASTIC_GRADIENT_DESCENT:
            optimizer = new StochasticGradientDescent(conf, stepFunction, listeners, model);
            break;
        default:
            throw new IllegalStateException("No optimizer found");
    }
    return optimizer;
}

我们这里使用的优化算法是STOCHASTIC_GRADIENT_DESCENTStochasticGradientDescent这个类继承自BaseOptimizer
构造方法的实例

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值