关于神经网络数据集和结构的问题

首先说明，只提出了问题，没有解决办法，但我觉得如果能搞定，可以发高质量的文章。也许现在已经有人解决了，只是我没有查到，还请大牛多多指点（如果大牛会看到的话）。

先记录下最近的情况吧，也算个小总结。有半个多月没有碰神经网络了，因为之前做的一个去噪声的效果很不好，有点打击信心。于是把注意力集中在计算成像方面，但最近也是遇到了瓶颈，发现编码孔径成像理论似乎已经挖的差不多了，毕竟上世纪六七十年代就已经在X射线波段应用了，现在重出江湖只是换了个波段，换了个噱头（搞科研也得会忽悠）。从目前阅读的文章来看，无透镜成像大致分为2种：首先是编码的，利用MURA等类型的模板，调制点扩散函数，降低反卷积过程的病态性，可以是振幅也可以是相位，甚至是保护玻璃；然后是日立公司独树一帜的菲涅尔波带片，虽然编码投影的方式也有用菲涅尔波带片，但是日立的重构原理不太一样（目前仍然没有搞懂，资料很少）。基本上一致认为可以把相机做的更薄，只需要一个芯片就可以。但分辨率低，重构效果差，无法代替镜头成像技术也是不可否认的。但是有一篇发在SA上的文章，瞄准显微领域，微米级的分辨率做到芯片大小，可以说是比较牛了。我目前总结的问题是分辨率评价问题、信噪比评价的问题以及如何提高分辨率。但是感觉无法支撑论文啊。。。目前再考虑如果使用变化的编码模板，能否实现光谱成像。继续努力吧！

就在这段时间，师弟在组会做了个神经网络的介绍，又开始重新思考神经网络的问题。

听师弟讲完，以及看的其它一些资料，似乎大家对于神经网络结构的理解很模糊，解决什么样的问题用什么样的网络结构完全靠感觉，没有一个指导性的理论（也许是我才疏学浅看的资料不够==！），那么能不能根据需要解决的问题的特性来构造神经网络呢？我理解神经网络就是通过多个、多层神经节点来模拟人们对问题的处理，比如图像去模糊问题，拆分为两部就是卷积核估计和退卷积操作，那么我可以瞎扯一下，是否可以把卷积核估计这一个操作单独拿出来进行分析，需要多少个神经元进行模拟？然后退卷积操作单独拿出来分析，用多少个神经元进行模拟？两步都分析好了，那就可以指导人们去解决别的问题了，比如一个带噪声、有畸变、有色差的模糊图像，如果每一种操作都有相应的分析，就可以把这个网络拆解成几部分去构造了，以上这是第一个问题。

第二个问题是关于数据集的问题，我们知道网上有很多数据集可以用来测试你的网络，由于大家都用这一个数据集，还可以和别人的进行对比，以此说明自己的优点。那么数据集的制作有什么要求吗？貌似只需要多样化就可以了，尽可能的包括更多的特征。我们知道一般的神经网络都需要很大的数据集进行训练，为什么要这样呢？为了弄清这个问题，我把神经网络和求解线性方程组进行了比较，实际上神经网络属于拟合问题，拟合问题与求解线性方程组有些类似，不同的是拟合问题求解的是系数，解线性方程组是求解未知数，即Ax=b中是求A还是求x的区别。

学过线性代数的都知道如果A满秩，x是比较容易而且精确的被解出来的。而如果A是未知的，x和b通过测试可以得到，那么多测几组数据，是可以把A估计出来的，在光学中我们把这个过程叫做定标，即把系统的特性测试出来。以上这两个过程具有相似性的，由于x和b可以有很多组，那么我们把这些向量组成一个矩阵，变成AX=B，此时如果求A，X必须是满秩的才行，是不是和解线性方程组是类似的？于是我试图用python的tensorflow模块求解这个问题，一般来说生成一个随机矩阵就是满秩的，但是求解的结果很不理想，甚至很差。百思不得其解（此处是由于对数学学的不够扎实），最后才发现问题出在条件数上，我的数学不算好，只是在学习过程中记住一些参数的特性，就比如这个条件数，它越大，对噪声的放大效应就越大，所以在计算成像中，一般会构造条件数比较小的矩阵。但是为什么会这样？在这里我找到了答案，原因就是矩阵的行向量之间的相关性比较大，如果把行向量看做坐标系的轴（非正交坐标系），那这些轴之间的夹角很小，求解过程就很不稳定，微小的扰动就会造成很大的偏差。从另一个角度理解，这些向量在高维空间中太过于集中，无法代表整个解空间，因此必须要将这些高维空间的点离散化，尽量平均的分布在解空间中，也就是相互正交，而实际中是无法做到的，只能尽可能多的收集数据，尽量的包含解空间中的点。虽然无法获得正交的数据集，但是能不能寻找一种办法对数据集进行评价，表征其在解空间中的分布情况能，也就是用来评价其用于训练网络得到结果的有效性呢？很期待

PS：懒得放图和公式，以后有时间再弄吧，也许过一段时间这些理解就都变了