2018年05月_黑榆

12月 11月 10月 06月 05月 04月 03月 02月 01月

原创并行多机调度遗传算法调参记录---变异和淘汰哪个更重要？

遗传算法主要有3个参数，变异率，淘汰率和染色体数量。本文通过一个并行多机调度问题，通过交叉验证的实验的方法找到这几个参数可能的最优值。有3台机器要完成30个工件，计算完成所有工件的最短时间。首先优化变异率将淘汰率固定在25%，染色体数量固定在50条，每组参数运行100次，取平均。在淘汰率和染色体数量不变的情况下变异率很显然在2-4之间有一个最优值，这里取3.很有趣的是在变异率为0的时候只靠25%的...

2018-05-31 10:56:06 1747 4

原创蚁群算法调参记录

蚁群算法主要有5个参数a信息素重要程度，b启发式因子重要程度，c信息素蒸发系数，ant蚂蚁数量，iter迭代次数制作了一个50个节点的地图，用交叉对比的方法寻找最佳参数首先调b蚂蚁数100，迭代数100.很明显b越小距离和平均值越大，标准差也越大，b=14的时候距离的平均值，最小值，和标准差都几乎是最小的，当b=20的时候距离变大。这件事的可能原因是b大一些会使城市的权重和sum变的很小Math....

2018-05-27 09:26:07 9896 3

原创权重可以当做概率幅吗？---用神经网络的收敛模拟机械波的波动

在《用实验验证神经网络的节点是否可以看作弹性小球》中用一个1*1*…1（64个）的64层每层1个节点的神经网络模拟FPU实验，本文重做了这个模拟实验，这次一共用5条线，并且用java做了一个动画，从动画效果上看这个网络的收敛效果和水波很相似。这个网络与传统的神经网络的相比唯一的区别是节点同时向前向后收敛。d=x[a][0]*( x[a+1][0]-x[a+2][0] )+x[a][0]*( x[a...

2018-05-22 08:10:33 193

原创用实验验证神经网络的节点是否可以看作弹性小球

1955年在美国的阿拉莫斯实验室的三名著名的物理学家费米（E.Fermi），帕斯塔（J.Pasta）和乌莱姆（S.Ulam）为了验证能量均分定理，将64个质点用弹簧联结，对少数质点进行激发，看看是否能量是否会均衡的分布到每个质点上。但意外的是长时间以后能量几乎全部回到了初始的少数质点上。这个结果表明这个非线性系统可以出现孤立波。这就是著名的FPU问题。模仿这个实验做了一个64层每层1个节点的神经网...

2018-05-19 14:06:47 183

原创加速神经网络收敛的萃取精馏权重法

如果把神经网络的收敛过程理解成是提取纯度99%的权重，可以用化学上的分级萃取精馏的办法重新改造神经网络的收敛过程。比如首先从原料提取纯度30%的馏分，也就是准确率达到30%的权重组合，这时把这组馏分保存下来，结束程序，然后用这组纯度30%的馏分初始化权重，重新萃取纯度40%馏分。比如迭代100次，如果达到就把纯度40%的馏分保存下来再次初始化权重，重新从40%的馏分开始。如果迭代100次达不到40...

2018-05-17 14:50:45 341

原创用神经网络实验验证麦克斯韦-玻尔兹曼分布

有两个瓶子，左右气压不同，中间用阀门隔开。现在将阀门打开两个瓶子中的气体分子会互相碰撞，并最终趋于平衡，这时的气体分子的分布符合麦克斯韦-玻尔兹曼分布麦克斯韦-玻尔兹曼分布可以简写成N=A*e^(-E/(k*T))A是一个常数，E是能量，K是玻尔兹曼常数，T是温度表示处于能量为E的分子的数量有N个。将两个相互像对方收敛的神经网络想象成是处于两个瓶子里的气体分子，左边有13个，右边有13个，把迭代理...

2018-05-17 10:53:15 1324

原创计算神经网络隐藏层节点数极小值

神经网络的隐藏层的节点数越少网络的速度越快，那么神经网络的隐藏层的节点数是否有一个可以保证性能的极小值，本文用mnist数据集做了实验。首先制作一个784*n*2的神经网络，用于测试0-9中的任意两个数的隐藏层的极小值。后经实验证明0-9中任意两个数的784*n*2的神经网络的隐藏层的极小值都是2，也就是说784*2*2的神经网络可以区分从0-9的任意两个数的组合。比如这组数据，表明可以用784*...

2018-05-14 21:56:42 2428 1

原创用神经网络学习Fe原子光谱并反向求导计算权重

首先构造一个1*26*26的神经网络根据铁的发射光谱强度*波长10^-10m*归一化1000P2483.2708y00.566498600P2488.1426y10.56761500P2490.6443y20.56818400P2522.8494y30.575527400P2719.0273y40.62028300P2788.1047y50.636039400P3440.606y60.784891...

2018-05-12 08:32:40 621

原创神经网络隐藏层节点数最少可以是多少个？

很显然神经网络的节点数越少网络的迭代速度越快，那在保证准确率的前提下隐藏层节点数最少可以是多少个？本文搭建了一个81*n*2的神经网络通过改变n的值测量这个网络的隐藏层节点数量的极小值。使用的训练集和测试集是mnist的0和1，经过1/3的池化变成9*9的图片，每个n值进行200批，每10批测量一次准确率。每批的batchsize是20个用放回取样，每批迭代1000次。学习率是0.1，没有偏置，激...

2018-05-09 09:35:30 26624 6

原创 GPU神经网络和JAVA神经网络速度对比

分别用CUDA和JAVA制作两个三层的n*m*k的神经网络，使输入一致，目标函数一致，迭代次数一致，通过调节节点数量测量时间比较这两个网络到底哪个快。网络的输入节点的初始化方式为for(inta=0 ;an ;a++) { x[a]=(double)a/(n); }目标函数y[0]=1;y[1]=0;

2018-05-01 11:47:05 1884 2