斯坦福课程CS229的补充材料Convex Optimization Overview。我感觉从今天起,学习笔记会变成我的单词本(⊙﹏⊙)b,不知如此,很多相关概念、符号,大学期间也是没有学过的,这篇笔记都会记录。
首先当然是找到中文材料,补充理解 CS229项目翻译,知乎上的读书笔记
(未完待填坑)
欧几里德空间,向量空间,范数,赋范向量空间,凸集,仿射变换,海森矩阵
2、凸集
2.1、直接给出凸集的定义
其实应该先了解仿射
,如果通过集合
C
∈
R
n
C \in \mathbb {R^n}
C∈Rn中任意两个不同点的直线仍然在集合
C
C
C 中,那么集合是仿射的。常见的仿射集合,比如说一条直线。在直线上任意取两点,通过这两点的直线还是在这条直线上。又比如说一个平面,在平面上任意找两个点,通过这两个点所确定的直线,仍然在这个平面上。
那么上面的式子,写成
y
=
θ
x
1
+
(
1
−
θ
)
x
2
y = \theta x_1+ ( 1 - \theta)x_2
y=θx1+(1−θ)x2 ,或者
y
=
θ
(
x
1
−
x
2
)
+
x
2
y = \theta ( x_1-x_2)+x_2
y=θ(x1−x2)+x2
x
1
,
x
2
x_1,x_2
x1,x2是点,在几何上也可以看做向量,那么
y
y
y就是经过他们的直线,
1
≤
θ
≤
1
1 \leq \theta \leq 1
1≤θ≤1时,即是过两点的线段(向量)。直观的图像。
凸集的例子
:1、实数向量 ;2、非负象限;3、范数球;4、仿射子空间;5、多面体;6、凸集的交集;7、半正定矩阵
3、凸函数
直观的描述,函数上的两点连线,那么这两点之间的部分都在这条直线下面。
3.1、凸性的一阶条件
简单的说,函数上的点的所有切线,都在图像之下。
3.2、凸性的二阶条件
简单的说,二阶导数非负。
R \mathbb {R} R S ∘ S^{\circ} S∘ A ⊆ B A \subseteq B A⊆B A ⊂ B A \subset B A⊂B A ∈ B A \in B A∈B