+1+1+1+1+1-CSDN博客

原创 Optimization for Data Science学习笔记-8

课程8是和梯度下降法不同的另一种解决无约束问题的算法——牛顿法和梯度下降法一样，牛顿法也是寻找导数为0的点，同样是一种迭代法。核心思想是在某点处用二次函数来近似目标函数，得到导数为0的方程，求解该方程，得到下一个迭代点。因为是用二次函数近似，因此可能会有误差，需要反复这样迭代，直到到达导数为0的点处。参考：https://zhuanlan.zhihu.com/p/37588590做泰勒展开，得到近似的二次函数机器学习classificationbinary classification 里pe

2021-11-12 18:28:48 1032

原创 Optimization for Data Science学习笔记-7

课程7讲述了三种不同的 BCGD 块坐标梯度下降法 block coordinate gradient descent首先是BCGD with Gauss-Southwell Rule参考：https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFD8589&filename=GXKZ198502004&uniplatform=NZKPT&v=kAy_09s4xduVf2tCPLg1XCMMO

2021-11-12 17:48:42 236

原创 Optimization for Data Science学习笔记-6

课程6还是针对无约束凸优化问题的主要有两种算法，一种是坐标下降法，另一种是块坐标下降法参考：https://zhuanlan.zhihu.com/p/59734411

2021-11-12 06:16:13 111

原创 Optimization for Data Science学习笔记-5

课程5介绍了一些无约束优化的算法确定下降方向d（or d_k）是算法的核心，不同算法的收敛效果不同。首先是基于梯度的算法回顾上一课程内容，当满足时d就是下降方向。（要清楚如果光有d是下降方向是不能得出上面图片这个公式的，需要满足f是凸函数）根据Cauchy-scwarz inequality可得d_k≥负梯度，所以下降方向取负梯度方向（证明看5P5）。怎么理解负梯度就是下降方向？-如果单调上升，梯度为正，负梯度为负->x应减少；如果单调下降，梯度为负，负梯度为正->x应增

2021-11-11 21:24:36 883

原创 Optimization for Data Science学习笔记-4

课程4接下来就开始学习具体的问题和解决问题的算法了~首先是无约束问题 unconstrained problems之前学习的回顾，什么是凸集、凸函数、局部最优解参考：https://blog.csdn.net/qq_16608563/article/details/827570861. 无约束问题的最优性条件 optimality condition for unconstrained problems所谓非线性规划的最优化条件，是指非线性规划模型的最优解所满足的必要条件或者充分条件。无约束

2021-11-11 19:25:05 1937

原创 Optimization for Data Science学习笔记-3

课程3主要学习convexity相关知识点。首先是凸优化理论。有几个概念：凸组合 convex combination和凸集没关系，就记“线性组合，系数和为一”。凸包 convex hull一些元素的“所有”凸组合的集合就是凸包proper凸组合之前的凸组合只是系数和为1，系数≥0。现在要求系数不为0不为1极点extreme point极点是凸集的元素，但是其他的点可以由凸集中的任意两个点的严格（proper?）凸组合表示出来，而极点不行，只有要求一个系数为1和

2021-11-11 08:22:12 555

原创 Optimization for Data Science学习笔记-1,2

首先是一些基础概念和凸性的理解；然后是无限制优化模型及解决无限制优化模型的方法；再然后是有限制的优化模型以及有限制优化模型的解决方法；最后是分布式优化distributed optimization，对于分布式学习distributed learning和联邦学习federated learning的理解。课程1：数据科学家的目的：建立好的模型，用近似算法工具来解决模型。模型本身是对事物的抽象，而事物之间的relationship的抽象可以由数学表示出来：比如代数运算、函数、导数运算等等。所以有

2021-11-09 05:55:27 344

原创 network science学习笔记——Barabási model和Bianconi-Barabási model

课程4基于Barabási的《network science》第5、6章。之前的随机网络不能产生hubs的原因是N已固定（static models），而现实生活中节点总数一定是不断变化的，例如citation network。同时哪些点之间有link也完全是随机的，但是我们可以想见，当一个点的度越多时，其约有可能和其他点再连接（比如有影响力的论文会被越来越多地引用）。基于这两点，Barabási model考虑growth（即节点总数的变化为增长）和preferential attachment来建立

2021-11-08 03:49:11 366

原创 network science学习笔记——随机网络（random network）和无标度网络（scale-free network）

课程3，4基于Barabási的《network science》第3到6章。第3章的标题为随机网络（random networks）。我们首先有一个随机变量服从某一分布的概念，比如r.v.服从bionomial distribution（N个事件中成功的次数为k的概率）。在network里，r.v.是一个node的degree为k的概率，（p是指两个node之间有link的概率），那么需要假设node总数为N。显然network的结点总数在一开始固定（fixed）了，这一类模型就是静态模型（static

2021-11-08 03:10:31 5779

weixin_43957565的博客