比神经网络更高级的算法,人工神经网络优化算法

关于神经网络，蚁群算法和遗传算法

神经网络并行性和自适应性很强，应用领域很广，在任何非线性问题中都可以应用，如控制、信息、预测等各领域都能应用。蚁群算法最开始应用于TSP问题，获得了成功，后来又广泛应用于各类组合优化问题。

但是该算法理论基础较薄弱，算法收敛性都没有得到证明，很多参数的设定也仅靠经验，实际效果也一般，使用中也常常早熟。遗传算法是比较成熟的算法，它的全局寻优能力很强，能够很快地趋近较优解。

主要应用于解决组合优化的NP问题。这三种算法可以相互融合，例如GA可以优化神经网络初始权值，防止神经网络训练陷入局部极小且加快收敛速度。

蚁群算法也可用于训练神经网络，但一定要使用优化后的蚁群算法，如最大-最小蚁群算法和带精英策略。

谷歌人工智能写作项目：神经网络伪原创

优化算法有哪些

你好，优化算法有很多，关键是针对不同的优化问题，例如可行解变量的取值（连续还是离散）、目标函数和约束条件的复杂程度（线性还是非线性）等，应用不同的算法写作猫。

对于连续和线性等较简单的问题，可以选择一些经典算法，例如梯度、Hessian矩阵、拉格朗日乘数、单纯形法、梯度下降法等；而对于更复杂的问题，则可考虑用一些智能优化算法，例如你所提到的遗传算法和蚁群算法，此外还包括模拟退火、禁忌搜索、粒子群算法等。

这是我对优化算法的初步认识，供你参考。有兴趣的话，可以看一下维基百科。

bp神经网络用啥算法？

自己找个例子算一下，推导一下，这个回答起来比较复杂神经网络对模型的表达能力依赖于优化算法，优化是一个不断计算梯度并调整可学习参数的过程，Fluid中的优化算法可参考 优化器 。

在网络的训练过程中，梯度计算分为两个步骤：前向计算与 反向传播 。前向计算会根据您搭建的网络结构，将输入单元的状态传递到输出单元。

反向传播借助 链式法则 ，计算两个或两个以上复合函数的导数，将输出单元的梯度反向传播回输入单元，根据计算出的梯度，调整网络的可学习参数。BP算法隐层的引入使网络具有很大的潜力。

但正像Minskey和Papert当时