浅谈“大数据中的优化和传统的优化的区别和联系”

一、两者本质相同

都是目标+约束的优化问题。

二、两者的侧重点不同

传统优化，是通过优化一个精心构造的目标函数来帮我们在约束空间中找到一个好的解，最终更关心的是那个解的质量，而不是目标函数等于多少。我们只需要搞清楚这个解是不是这个目标函数的最优解， 这里如果能给出证明，证明这个解就是该目标下的最优解，那便最好，否则我们无法判断解的理论质量，只能通过实践验证这个解是否还不错，如果还行，那就是一个满意解，但是有一连串问题会始终困扰着你：这个解是否是最优解？如果不是最优解在哪里？当前这个解跟最优解的“距离”是多少？有没有找到最优解？等等。

我们再来看看大数据中的优化，这里大数据中的大，按我的理解主要是样本的规模非常大，因为互联网、物联网、云存储、电商平台等使得数据的海量数据获取和存储成为可能。他最终也归结为，带目标和约束的优化问题，而且约束有时候都是不必要的，如神经网络模型。我们优化模型的目的是为了使得预测效果更加好，侧重点在目标函数，而不是最终获得的解，当然那些解就是模型参数，得到解也就被说成模型训练完了。

也许正是侧重点的不同，才使得业界暂时忽略了神经网络模型对最优解的探讨。虽然不能保证神经网络模型是否能够找到最优解，但是只要模型训练后，对于验证集有非常不错的预测能力，我们就会暂时把这个模型参数是否是最优解放一边了，因为我们的主要目的已经达到了。模型的结构，也就是模型的超参数都是变动的，可以选的。对于一个结构不好的模型，就算你计算得最优解并证明出确实是最优解，但是预测效果不好，那还不如找到一个不错的结构，训练后得到了很好的预测效果，但是没法证明是最优解来得有价值。

再来看看传统优化，学者和业界都会去探讨最终收敛的解的最优性，为什么？因为传统优化通常解决的是工业界的实际问题，模型的目标和约束都是依赖于问题本身设计好的（虽然不同的学者在写约束的时候，采用的方法不同，带来一些好坏之分；但是总的来说，业界问题都是混合整数规划问题，我们要进最大努力把约束和目标都写成线性的，约束条件要想办法写到最“紧”），在求解之后，我们最后想要的是那个决策界，目标值只是一个大致参考，因为你事先并不知道最好解的目标值应该为多少？所以自然会去问：我怎么才能说明我的解好呢？又不像大数据预测有一些其他的样本作为测试集在对模型验证一下。于是一连串问题产生了，什么样的解才是最好的。对于目标和约束给定的优化问题，当然使得目标函数最优的解是最好的咯。那么我的算法最终收敛的解是最优解吗？最优解有哪些特点（必要性，充分性）？如果不是最优解，当前的这个解的质量怎么刻画？（通常是用距离理论最优解的“距离”，或者当前目标距离理论最优目标的值的各种不等式估计来刻画。）

综上所诉，传统优化刻画最优解，证明最优性是必要步骤，不管是业界还是学术界都是值得关注的问题。对于大数据预测问题而言，研究出一个好的模型结构，比证明出一个固定结构下训练出的模型参数是否是最优解要有趣的多。我们不应该过分地掉进优化学者的思维定势中，而应该看清楚当前大数据的潮流，继续推进人工智能的发展。

三、两者基础数据形式不同

传统优化的数据结构五花八门，为了计算机好识别，你都必须给每个对象分配一个ID，同时为了便于人们可读，你也必须绑定一个可读性高的字符串。一个东西关联和绑定的东西很多。

而大数据中的优化问题，处理和对象就是向量和矩阵。

四、两者编程工具不同

传统优化一般用C++编写，而大数据中的优化问题一般用Python，R，Matlab等编写。这绝大部分原因也是因为两者处理的对象不同，一个是五花八门的数据结构，一个是矩阵或者向量。前着，建模前的准备工作很复杂，后者则显得前续工作几乎为零，数据之间拿来用，不用精心设计。