神经网络
小猫小鱼干
这个作者很懒,什么都没留下…
展开
-
单隐层BP神经元个数对迭代步数和预测误差的影响
模型说明:输入变量:3输出变量:1隐含层:1拟合函数:y=2*x1^2+2*x2+x2*x3表格说明:测试代码由C语言编写。以隐含层2个神经元为例,程序每运行一次,进行20次模型建立和测试的结果,并写入txt文件中。将txt文件数据导入到excel表格中,对迭代次数和模型误差求均值。手动将程序运行5次,将每次得到的均值再求均值,并画图,以尽可能减少偶然性原创 2016-09-02 16:08:58 · 11733 阅读 · 0 评论 -
BP tricks
对输入输出数据标准化选用的激活函数为:f(x)=1.7159tanh(2x/3)参数初始化:参数就应该从一个均值为0,标准差为σw=m-1/2的分布(例如正态分布)中采样得到。学习率: A、 给每个参数自己的学习率; B、 学习率应该和该节点的输入个数的平方根成比例; C、 低层参数的学习率应该比高层的大。 自适应学习率参考文献: [1] LeCun等.“Neural Networ原创 2016-08-31 14:16:05 · 295 阅读 · 0 评论 -
BP算法改进
BP算法的问题权值初始化 用于权值 初始化 的一个普遍方法是设置为:区间[−0.5N,0.5N]\left [ \frac{-0.5}{N} , \frac{0.5}{N}\right ]内,均匀分布的随机数,其中N表示权值为馈入层中神经元的总数量。 对于单隐层的情况,Nguyen和Widrow认为下列算法能显著提高网络的训练速度。 算法1 计算缩放因子:γ=0.7n1−−√n原创 2016-08-30 22:27:52 · 16569 阅读 · 1 评论