优化以及实例

AI问题 = 模型+优化
优化是使用一些工具进行解决（SGD、Adm等各种算法进行优化），那么怎么选择优化算法？将得到的模型和问题，能够明确知道属于哪些问题，从而选择正确的方法。
并不是使用算法就好了，也要加一些东西：比如正则化。
objective function 目标函数，由目标函数分类，选择相应的优化算法

全局最优解和局部最优解，如果是凸函数，那么找到的姐是全局最优解，如果不是凸函数找到的是局部最优解，此时想方设法得到最好的局部最优解。
non-convex问题很难解决，解决办法：改变数学公式得到convex。
怎么判断一个函数是否是凸函数：也就是判断定义域是否是凸集。
任意x,y属于集合，并且任意参数a属于[0,1]，ax+(i-a)y属于集合，则该集合为凸集，判断方法：选取集合中的任意两点连线，所有线上的点都在集合中。

非凸函数怎么解决：
Set Cover Problem：将全集划分为m个子集合，寻找最小的子集合个数，使得集合的并为全集。算法：穷举法、贪心法、数学上的表达方法。

穷举算法：
1、选择一个集合，即每个集合单独进行判断是否为全集。
2、选择两个集合
3、选择三个集合
直到找到为止。方法：简单，考虑到了所有的可能性，得到的答案已定位全局最优解，担忧由于一般情况下问题规模比较大所以一般不适用。

贪心算法：
考虑全部的集合，然后去掉一些集合，看哪些集合满足条件。但在此问题上贪心并不能保证得到最优解。 也就是贪心算法并不能保证全局最优解。

数学角度看问题：对每个子集合有两种情况：选择或者不被选择，那么就用变量xi表示选或者不选。目标函数：xi最少；条件：全集每一个元素都在子集合里面；