![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学
文章平均质量分 73
执笔论英雄
这个作者很懒,什么都没留下…
展开
-
1.Balls & Bins
1.Balls & Bins定义:将m个balls 装入n 个不同的bins球条件独立:m个球之间相互独立进入n个bins 互不影响,第i个球进入第j个盒子的概率为pij=1/n;p_{ij}=1/n;pij=1/n;盒子条件不独立但同分布:用Z={Z1,Z2,…,Zn}Z=\{Z_1,Z_2,\dots ,Z_n\}Z={Z1,Z2,…,Zn}表示每个盒子中装有的球数,...原创 2020-03-10 15:57:00 · 1324 阅读 · 0 评论 -
Coupon Collector's Problem高级算法设计
1 Geometric Distribution用X表示n 次投掷coin(独立伯努力分布)中,首次出现正面时,投掷的次数,X可能的取值为1,2,3,。。。N,假设每次正面的概率为1/2(一般化可设为p)具体参考2 Coupon Collector’s Problem(CCP)2.1关注点CCP关注的是分散,与Balls of Bin 问题不同(其关注的是会不会集中,集中的程度有多少)...原创 2020-03-09 21:57:28 · 2446 阅读 · 0 评论 -
高级算法设计 Chernoff Bounds
例子:独立地掷硬n次,每一次正面的概率为1/2,每次掷硬币 事件为xix_ixi那么用XXX表示n次中正面向上的总次数,求当总次数超过平均次数n/2次约1/3的概率上限是多少?Chernoff’s Bound{X1,X2,…,Xi}\{X_1,X_2,\dots,X_i\}{X1,X2,…,Xi}为nnn次独立0/1 事件,Pr{Xi=1}=piPr\{X_i=1\}=p_iPr{Xi...原创 2020-03-09 18:08:22 · 849 阅读 · 1 评论 -
VB
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录摘要一、pandas是什么?二、使用步骤1.引入库2.读入数据总结摘要摘要——正交时频空间(OTFS)调制技术在利用全时频分集和应对信道动态方面有优势。MAP 消除延迟多普勒域中符号间干扰时性能最优,但复杂度高。提出了近似算法–-变分贝叶斯方法****(VB)。与消息传递算原创 2021-01-28 16:47:56 · 255 阅读 · 0 评论 -
378. 有序矩阵中第K小的元素(二分,归并排序,优先队列)
class Solution {public: int kthSmallest(vector<vector<int>>& matrix, int k) { int n=matrix.size(); vector<int> temp(n*n,0); int i,j,ki; ki=0; for(i=0;i<n;i++) for(j=0;j<n;j++.原创 2020-07-04 19:41:16 · 147 阅读 · 0 评论 -
k-vertex cover
来源Richter, S., Helmert, M., & Gretton, C. (2007). A stochastic local search approach to vertex cover. In Proc. of KI-07, pp. 412–426.原创 2020-06-29 11:01:34 · 314 阅读 · 2 评论 -
最大独立集局部搜索算法
原创 2020-06-29 10:57:18 · 263 阅读 · 0 评论 -
局部搜索算法--模拟退火求解MAX-SAT
来源:这里是引用原创 2020-06-29 09:58:46 · 463 阅读 · 0 评论 -
高级算法设计 --Proof that vertex cover is NP complete(将k-vertex团规约到k-vertex cover)
原创 2020-06-29 06:41:53 · 226 阅读 · 0 评论 -
高级算法设计-- maxcut 随机算法和确定性算法
https://personal.vu.nl/r.a.sitters/AdvancedAlgorithms/AdvAlgChapter5.pdf原创 2020-06-28 16:43:35 · 1442 阅读 · 0 评论 -
高级算法设计 --MAX-SAT随机化及去随机化详细过程
https://www-cc.cs.uni-saarland.de/media/lectures/S17/L-ApproximationAlgorithms/apx-script05.pdf高级原创 2020-06-26 16:35:11 · 1338 阅读 · 0 评论 -
随机近似算法资料
近似算法书籍:https://www.designofapproxalgs.com/book.pdf课程:http://www-cc.cs.uni-saarland.de/course/61/原创 2020-06-26 16:30:59 · 382 阅读 · 0 评论 -
AR模型
AR 模型的谱,求Z 变换即可原创 2020-06-01 11:03:11 · 166 阅读 · 0 评论 -
Numerical optimization拟牛顿法DFP python实现
引入包from scipy.optimize import minimizefrom numpy import *import numpyimport numpy as npimport scipy求解Bp=−gBp=-gBp=−gdef newton_point(g,B): cho_info = scipy.linalg.cho_factor(B) newto...原创 2020-04-18 21:32:10 · 794 阅读 · 0 评论 -
Numerical Optimization 拟牛顿BFGS+精确线搜索 源码实现 python
BFGS求解凸二次规划f(x)=12xTAx+bTxg=Ax+bf(x)=\frac{1}{2}x^TAx+b^Tx\\g=Ax+bf(x)=21xTAx+bTxg=Ax+bdef f(x): return 0.5*np.dot(np.dot(x,A),x)+np.dot(b,x)+cdef g(x): return np.dot(A,x)+b采用精确线搜索求步长...原创 2020-04-18 20:33:14 · 1514 阅读 · 6 评论 -
牛顿方法与Hessian范数下的最速下降方向
对d求导等于0化简可得:Gd=-g原创 2020-04-18 11:28:55 · 855 阅读 · 0 评论 -
最优化算法---可行方向之Frank-wolfe 方法(求解非线性规划问题)
问题定义主要思想具体方法去掉常数项极点:函数值取极值对应的变量取值具体步骤:举例:每上步转化为:原创 2020-04-17 20:39:14 · 5121 阅读 · 1 评论 -
SQP(序列二次规划中的Marotos效应)
在信赖域SQP 问题中在求解子问题关于拉格朗日二次近似的二次规划子问题时,由于线性化近似不能保证子问题是相容的,通常需要merit function 或filter在引入价值函数后当拉格朗日的Hessian 矩阵是对称正定的,同时惩罚因子足够大时,会有较大的下降。...原创 2020-04-12 12:17:54 · 898 阅读 · 0 评论 -
Numerical analysis 共轭梯度法 python 实现
from numpy import *import numpyimport numpy as npdef f(A,x,b): return 0.5*np.dot(np.dot(x,A),x)+np.dot(b,x)def g(A,x,b): return np.dot(A,x)+b#def minimize_cg(A,b, x0, jac=None,gtol=1e...原创 2020-04-09 12:00:24 · 1477 阅读 · 0 评论 -
凸优化 之 范数逼近问题
上述证明过程中g(v)=−vTb+infy(∣∣y∣∣−vTy)(vTA=0)−vTb−sup(vTy−∣∣y∣∣)g(v)=-v^Tb+\inf_y (||y||-v^Ty)\quad(v^TA=0) \\-v^Tb-\sup(v^Ty-||y||)g(v)=−vTb+infy(∣∣y∣∣−vTy)(vTA=0)−vTb−sup(vTy−∣∣y∣∣)f∗(v)=sup(vTy...原创 2020-04-06 09:38:05 · 1307 阅读 · 0 评论 -
对偶范数、霍尔德(Hölder)不等式、范数的共轭范数
霍尔德(Hölder)不等式参考来源:对偶范数:霍尔德(Hölder)不等式范数的共轭函数对偶范数原创 2020-04-06 09:19:13 · 6216 阅读 · 0 评论 -
凸优化之内点法
Convex Optimization Stephen Boyd Department of Electrical Engineering Stanford University 第11章本文为笔者结合原书及博客https://blog.csdn.net/dymodi/article/details/46441783 记录自己相关解释原始问题原始问题对应的拉格朗日公式为:利用障碍函...原创 2020-04-05 11:37:35 · 1631 阅读 · 0 评论 -
凸优化之 KKT条件
对于凸问题大多数强对偶成立(slater 条件成立)凸问题KKT条件成立的点,对应原始、对偶问题的解,反之对于强对偶条件成立的凸问题,KKT成立。即凸问题强对偶与KKT 互为充要强对偶成立推导KKT条件成立证KKT推导强对偶成立https://blog.csdn.net/qq_40917612/article/details/105120658...原创 2020-04-05 09:25:35 · 813 阅读 · 0 评论 -
凸优化 -- 强对偶与弱对偶及几何解释和鞍点解释
回顾一阶必要性条件(KKT)成立的条件时ICLQ条件成立,即线性可行方性与序列可行方向相同,这样才可以用一阶泰勒条件才能成立。即线性可行方向能够反应其的几何结构D的相对内部:简单来说就是将边缘去掉鞍点解释鞍点定义...原创 2020-04-04 20:44:22 · 1177 阅读 · 0 评论 -
Numerical Optimization之一阶线性约束条件
等式约束问题定义1.1 有效集的定义1.2 等式约束与拉格朗日等价推导过程1.3不等式与互补拉格朗日求解推导即 在内部目标函数梯度为0,在边界目标函数与约束梯度同向。因为有上述两种情况,因些需要第二个条件(互补条件)来对拉格朗日等式进行限定1.3.2两个不等式约束上述方法共性是 约束函数用泰勒一阶近似展开,因此当可行域中可行点附近不能有线性结构似无法成立对于...原创 2020-04-02 16:34:07 · 1289 阅读 · 0 评论 -
Numerical Optimization之Nonlinear Equations
对于局部方法,当接近最优点时,才保证收敛。单位步长。全局方法采用线搜索或信赖域方法1 局部方法1.1 牛顿方法如上图,求解非线性方程组的根类似于求解无约束问题中的最优值,最优值在稳定点取到。非精确牛顿法任然是local 的算法,没有使用精确的线搜索不精确牛顿法余量不超过一个上界1.1.2 Broyden’s Method利用BkB_kBk近似雅可比,不要求其对称...原创 2020-04-01 22:35:49 · 251 阅读 · 0 评论 -
Numerical Optimization之Least-Squares Problems
最小二乘问题的定义求解思路:当残差形式为ax=b一次线性形式时,第二项对结果的影响不大这个方法放大了坏条件,条件数最大奇异值与最小奇异值的比值QR分解求方程SVD分解求线性方程组三种直接解方程组的对比非线性最小二乘问题求解将非线性最小二乘问题求解转化为求解高斯牛顿方程线性最小二乘这一页slide 说明了高斯牛顿法求解的实质是一阶线性近似原目标函数Le...原创 2020-04-01 19:41:49 · 224 阅读 · 0 评论 -
Limited-Memory Quasi-Newton Methods
L-BFGS主要思想是以向量的形式存储Hessian与HS-GC的关系原创 2020-04-01 15:36:18 · 228 阅读 · 0 评论 -
面试题62. 圆圈中最后剩下的数字
class Solution { int f(int n, int m) { if (n == 1) return 0; int x = f(n - 1, m); return ((m-1)%n+1 + x) % n; }public: int lastRemaining(int n, int m)...原创 2020-03-30 19:34:26 · 67 阅读 · 0 评论 -
高级算法设计分析-- Max-SAT(随机算法>近似算法)
笔记来源:高级算法设计(孙晓明老师部分)https://en.wikipedia.org/wiki/Maximum_satisfiability_problem#Weighted_MAX-SAT随机算法在近似算法中的应用本节问题可能利用条件期望去随机化,将随机化算法转化为近似算法,也可以利用LP+rounding+ 条件期望去随机化1. MAX-SAT定义SAT,NP问题是否存在...原创 2020-03-27 19:50:40 · 6027 阅读 · 3 评论 -
高级算法设计--条件期望去随机化
笔记来源:高级算法设计(孙晓明老师部分)CPSC 536N: Randomized Algorithms本节主要学习了如何通过去随机化将i随机算法转化为确定性算法1 Method of Conditional Expectations其应用于求解最大割算法https://blog.csdn.net/qq_38662930/article/details/105138528期望...原创 2020-03-27 15:35:01 · 919 阅读 · 0 评论 -
高级算法设计之 -- Derandomized MAXCUT Approximation
笔记来源:高级算法设计(孙晓明老师部分)本文参考:http://people.seas.harvard.edu/~salil/pseudorandomness/basic.pdf期望最大化最大割定义将图的顶点分为两个集合,使得集合间的边数最大形式化定义:设最优的割划分为OPTOPTOPT,随机算法求出的一个割为δ(U)\delta(U)δ(U)定义其比值 为δ(U)OPT\fr...原创 2020-03-27 13:39:53 · 609 阅读 · 0 评论 -
高级算法设计-代数化方法解决Bipartite Pefect Matching
笔记来源:高级算法设计(孙晓明老师部分)利用PIT 解决二分图完美匹配(代数化方法)定理:AAA的行列式identicalzero,identical zero,identicalzero,即(恒等于0,PIT ),当且仅当GGG没有完美匹配。逆否命题也成立:当:AAA的行列式不恒为0时,则GGG存在完美匹配注意下面的结论是错误的:当GGG存在完美匹配,AAA的行列式不恒为0。...原创 2020-03-27 08:18:07 · 308 阅读 · 0 评论 -
高级算法设计 --The Schwartz-Zippel Lemma
1. zero polynomial 的定义PIT :判断两个多项式是否相等,或判断 多项式是否是identically zero证明主要思想是通过从p中分离变量x1x_1x1来获得变量较少的多项式。 令k为出现在多项式ppp的x1x_1x1项的最大幂。...原创 2020-03-26 21:37:58 · 391 阅读 · 0 评论 -
Numerical Optimization---拟牛顿法
求最优化问题,在局部内用一个二次函数来近似要求对称正定时,才是下降方向拟牛顿法对于拟牛顿法,采用mk(p)来近似f(xk+p)m_k(p)来近似f(x_k+p)mk(p)来近似f(xk+p)Bk+1=yk/sk=Δfk+1−Δfkxk+1−xkB_{k+1}=y_k/s_k=\frac{\Delta f_{k+1}-\Delta f_k}{x_{k+1}-x_k}Bk+1=y...原创 2020-03-25 11:50:02 · 138 阅读 · 0 评论 -
Numerical Optimization---Nonlinear conjugate Gradient Methods
在线性共轭梯度法中αk\alpha_kαk 精确线搜索可以精确得到,当在非线性共轭梯度法中的αk\alpha_kαk 就不能采用精确线搜索,因为对于非线性复杂函数采用的精确线搜索关于αk\alpha_kαk的函数和原函数一样的复杂。因此 可以使用非精确线搜索来得到对应的αk\alpha_kαk定理7 保证了PkP_kPk是下降方向的,if 参生一个坏的下下降方向(与负梯度方...原创 2020-03-25 08:29:47 · 310 阅读 · 0 评论 -
Numerical Optimization共轭梯度法
n个pin个p_in个pi线性无关且共轭,表示为x的基这样极小化括号的数,转化为n个一维的优化问题共轭法搜索步长αk\alpha_kαk是通过极小化Φ(xk+αpk)\Phi(x_k+\alpha p_k)Φ(xk+αpk)得到的即对于凸的二次函数,共轭算法的步长是可能精确计算得到的证明举例二维的问题,ϕ(x)\phi(x)ϕ(x)的等高线是椭圆,由于A是对角...原创 2020-03-23 20:58:57 · 356 阅读 · 0 评论 -
Numerical Optimization之信任域方法——Dogleg
上文中提到的近似柯西方向是延梯度方向下降一定步长,但是没有充分利用B矩阵,为此DOgleg 方法,当PB在信赖域中时利用PB,负责的话利用梯度方向下降一定步长,并且下降步长的计算方法也有所不同:在柯西方法中是τΔ/∣∣g∣∣\tau\Delta/||g||τΔ/∣∣g∣∣,而Dogleg 中下降步长a=−gTggTBga=-\frac{g^Tg}{g^TBg}a=−gTBggTgPkBP...原创 2020-03-23 12:28:15 · 444 阅读 · 0 评论 -
Numerical Optimization之信任域方法——柯西点
来源原创 2020-03-23 09:46:35 · 984 阅读 · 0 评论 -
代数基础(1.3 子群)
求证原创 2020-03-08 16:41:36 · 150 阅读 · 0 评论