最优化
文章平均质量分 85
jiongjiongai
这个作者很懒,什么都没留下…
展开
-
凸集
凸集(Convex Set)对于线性空间 VVV 中的任意一个集合 S,S,S,若 SSS 满足: ∀α,β∈S,∀λ∈[0,1],λα+(1−λ)β∈S∀α,β∈S,∀λ∈[0,1],λα+(1−λ)β∈S\forall \alpha, \beta \in S, \forall \lambda \in [0, 1], \lambda \alpha + (1 - \lambda )\beta...原创 2018-02-09 10:18:39 · 1569 阅读 · 0 评论 -
多面集的表示定理的必要性的证明
多面集的表示定理的必要性的证明前面的内容见 多面集的表示定理4.2 必要性4.2.1 有界情况下若 SSS 有界,由于有界集没有方向,因此只要证明: ∀X∈S,∀X∈S,\forall X \in S, XXX 可以被表示成 X1,⋯,XkX1,⋯,Xk X_1, \cdots, X_k 的凸组合。 即存在集合 {λi∈R:∑i=1kλi=1,λi≥0,i∈N,1≤i...原创 2018-02-23 21:06:04 · 2205 阅读 · 3 评论 -
多面集的点的性质
定义设多面集 S={X∈Rn:AX≤b},S={X∈Rn:AX≤b},S = \{ X \in \mathbb R ^n: AX \le b \}, 其中 A=⎛⎝⎜⎜a1⋮am⎞⎠⎟⎟∈Rm×n,A=(a1⋮am)∈Rm×n,A = \begin{pmatrix} a_1\\ \vdots \\ a_m\end{pmatrix} \in \mathbb R ^{m \times n}, ...原创 2018-02-24 04:39:11 · 1022 阅读 · 0 评论 -
多面集的表示定理 (Representation / Resolution / Caratheodory theorem of polyhedral Sets)
多面集的表示定理 (Representation / Resolution / Caratheodory theorem of polyhedral Sets)设 S={X∈Rn:AX≤b,X≥0⃗ }S={X∈Rn:AX≤b,X≥0→}S = \{ X \in \mathbb R ^{n} : AX \le b, X \ge \vec 0 \} 为非空多面集,其中 A=⎛⎝⎜...原创 2018-02-20 22:35:29 · 4965 阅读 · 1 评论 -
射线包含于凸集的充要条件
定理对于任意一个凸集 SSS ,对于任意一条射线 L={X0+td⃗ :t≥0},L={X0+td→:t≥0},L = \{ X_0 + t \vec d : t \ge 0\}, 则 L⊆SL⊆SL \subseteq S 当且仅当 X0∈SX0∈S X_0 \in S 且 S∩LS∩LS \cap L 无界。证明必要性易得。充分性∀X∈Rn,∀X∈...原创 2018-02-24 03:58:47 · 595 阅读 · 0 评论 -
多面集的极点的性质
多面集的极点的性质设多面集 S={X∈Rn:AX≤b},S={X∈Rn:AX≤b},S = \{ X \in \mathbb R ^n: AX \le b \}, 其中 A=⎛⎝⎜⎜a1⋮am⎞⎠⎟⎟∈Rm×n,A=(a1⋮am)∈Rm×n,A = \begin{pmatrix} a_1\\ \vdots \\ a_m\end{pmatrix} \in \mathbb R ^{m \tim...原创 2018-02-21 17:35:53 · 1250 阅读 · 0 评论 -
凸集的方向
射线∀α0,d⃗ ∈V,d⃗ ≠0⃗ ,∀α0,d→∈V,d→≠0→,\forall \alpha_0, \vec d \in V, \vec d \neq \vec 0, 称集合 S={α0+kd⃗ |k∈R,k≥0}S={α0+kd→|k∈R,k≥0}S = \{\alpha_0 + k \vec d \vert k \in \mathbb R, k...原创 2018-02-09 12:12:53 · 2383 阅读 · 0 评论 -
多面集的方向的性质
多面集的方向的性质引理设向量 X,β,d⃗ ∈V,X,β,d→∈V, X, \beta, \vec d \in V, 1. X≥β,X≥β,X \ge \beta, 则 ∀k∈R,k≥0,X+kd⃗ ≥β⇔d⃗ ≥0⃗ ∀k∈R,k≥0,X+kd→≥β⇔d→≥0→ \forall k \in \mathbb R, k \ge 0, X + k \...原创 2018-02-21 20:09:47 · 696 阅读 · 0 评论 -
线性规划的标准型与规范型 (Standard and Canonical Forms)
线性规划的标准型与规范型 (Standard and Canonical Forms) Form Minimization Problem Maximization Problem Standard mins.t.∑j=1ncjxj∑j=1naijxj=bi,i=1,⋯,mxj≥0,j=1,⋯,nmin∑j=1ncjxjs.t.∑j=1naijxj=bi,i=1,...原创 2018-02-21 15:17:28 · 8206 阅读 · 0 评论 -
机器学习的偏差-方差分解
假设样本变量为 XXX ,它的标签 YYY 为 XXX 的函数 Y=f(X)+ϵY=f(X)+ϵY = f\left (X\right ) + \epsilon 。其中为 ϵϵ\epsilon 机器学习模型学习不到的噪音。 对于机器学习模型 M,M,M, 假设训练后,对 XXX 的预测值为 XXX 的函数 f^(X)f^(X)\hat f \left (X \right ) 。 对于一个测试...原创 2018-02-26 12:08:00 · 1195 阅读 · 0 评论 -
凸锥与多面体
凸锥对于任意一个数域为 RR\mathbb R 的线性空间 VVV 中的集合 S,S,S, 若 ∀d⃗ ∈S,∀k≥0,kd⃗ ∈S∀d→∈S,∀k≥0,kd→∈S\forall \vec d \in S, \forall k \ge 0, k \vec d \in S 则称 SSS 为锥。 若锥 SSS 为凸集,则称为凸锥。多面集称有限个半空间的交集 S...原创 2018-02-09 12:43:42 · 2273 阅读 · 0 评论 -
使用梯度下降与牛顿法求解最小平方和问题
问题已知: hW(X)=∑nj=1wjxj+wn+1=∑n+1j=1wjxj=X⊺W,hW(X)=∑j=1nwjxj+wn+1=∑j=1n+1wjxj=X⊺W,h_{W}(X) = \sum _{j = 1} ^{n} w_j x_j + w_{n + 1} = \sum _{j = 1} ^{n + 1} w_j x_j = X ^{\intercal} W, 其中 W=⎛⎝⎜⎜⎜⎜w...原创 2018-02-25 21:00:06 · 272 阅读 · 0 评论