人工智能，激励函数

1

已经看到的有20多种激励函数，继续研究下去有必要吗？
我来提出另一个激励函数：
f(x)=ax³+bx²+cx+d

这个函数的特点是，存在待定参数，把这些参数同那些w,b一起训练，结果会如何？

已知的网络模型，都是所有神经元使用相同的激励函数，本文尝试让它们使用不同的。

选择三次方程是因为，它会拐三个弯，在某个区间，看上去像ReLU。当然，这需要正确地配置参数，只能寄希望于梯度下降法了。

哪位高手能试一试，试过之后给我留言吧。

2

教材上写到，激励函数的作用是“压缩”，典型的sigmoid正是如此。对sigmoid进行变形，沿x轴拉伸，直到拉成直线。此时的函数图形应该是y=kx+0.5，对于y∈(0,1)，求出x∈(-n,+n)。

例如，y=0.0035x+0.5，解出n=142，对于有142个输入的神经元，这个激励函数正好。

例如，n=729，解出y=0.000686x+0.5

对于不同的神经元，采用不同的激励函数。