- 博客(65)
- 收藏
- 关注
RSS订阅原创 爬虫（二）——爬虫的伪装
本文在上一篇文章的基础上，进一步介绍了爬虫的功能。这次通过爬虫的伪装，成功下载到了B站的视频。还顺便介绍了一点使用python做视频剪辑的功能。
2024-07-17 17:08:46
1131
原创 爬虫（一）——爬取快手无水印视频
最近对爬虫比较感兴趣，于是浅浅学习了一些关于爬虫的知识。爬虫可以实现很多功能，非常有意思，在这里也分享给大家。由于爬虫能实现的功能太多，而且具体的实现方式也有所不同，所以这里开辟了一个新的系列——爬虫系列，来介绍爬虫的各种用法。
2024-07-17 14:52:49
705
原创 高级优化理论与方法（精华版）
我把这个学期讲的重点全部整理在这里了。其实这门课程的内容非常多，其中包括了很多难度比较大的内容，以及为了知识体系的完整性补充的内容，那些内容这里全都没有放上来。这里只挑选了一些难度不大，讲解较为详细，应用较广的内容。也祝所有选这门课的同学考高分！
2024-06-26 12:12:35
957
2
原创 高级优化理论与方法（十五）
这节课主要介绍了约束优化问题的算法，分为投影法和惩罚函数法。在投影法中，为了解决迭代方法中难以求得满足限制条件的最小值问题，引入了正交投影算子。在惩罚函数法中，引入了惩罚函数，对落在约束区域外的点进行惩罚。最后简单介绍了多目标优化问题。多目标优化问题较难，现有的理论较少，只简单介绍了帕累托最优，以及将多目标优化问题转换成单目标优化问题的几种方法。
2024-06-17 11:11:25
740
原创 高级优化理论与方法（十四）
本文先讨论了非线性优化问题，再讨论了凸优化问题。在非线性优化问题中，介绍了FONC，SONC和SOSC。并给出了两个例子，介绍了求解非线性优化问题的思路，先通过KKT条件（FONC），求出可能的极值点，再用SONC和SOSC来验证，以此严格说明求出的点是或不是极值点。在凸优化问题部分，先介绍了凸的概念。从图的角度引入了凸函数的概念，并给出了其等价定义。最后给出了一系列定理，证明了KKT条件不仅是凸优化问题的必要条件，也是充分条件。于是，求解凸优化问题，只需要用KKT条件求解即可。
2024-06-03 11:28:10
472
原创 高级优化理论与方法（十三）
这节课主要介绍了非线性约束优化问题。按照不同的约束条件，把问题分为了两种情形。第一种情形是只有等式约束，第二种情形既有等式约束又有不等式约束。在第一种情形下，重点介绍了拉格朗日条件，并在二维情况下推导出了拉格朗日条件。由于拉格朗日条件是一阶必要条件（FONC），又进一步介绍了用拉格朗日条件来求最值的拉格朗日乘数法。然后简要地介绍了二阶必要条件（SONC）和二阶充分条件（SOSC）。最后考虑了第二种情形，并给出了KKT条件。
2024-05-27 11:39:45
470
原创 高级优化理论与方法（十二）
在线性规划的部分，先讲了上节课没讲完的单纯形法的对偶理论，以及互补松弛条件。然后简要介绍了两个非单纯形法的线性规划解法，Khachiyan的椭球法和Karmarkar的内点法，由于与课程关联不大，这里并没有展开讲解。最后重点讲了整数线性规划，介绍了一些定义和理论基础，然后介绍了两个算法，分支定界法和切平面法。
2024-05-13 11:59:20
870
原创 高级优化理论与方法（十一）
前几节课讲的单纯形法侧重于对方法的推导，这节课比较侧重于实践。一上来先规范了单纯形法的解法，并给出例子予以说明。然后讨论了退化基本解的问题，给出例子说明按照之前推导的方法不一定收敛，可能产生死循环。于是给出了Bland's Method，可有效避免死循环的问题，但是该方法的正确性在理论上还没有得到证明。接着，对于$n$远大于$m$的情况，为了减少计算量，又介绍了修正单纯形法。至此，单纯形法基本介绍完毕。
2024-05-06 11:46:44
1020
2
原创 高级优化理论与方法（十）
本节课着重解决上次课提出的关于线性规划的三个问题，即如何找到初始可行解、如何确定$x$达到最优、如何从$x$构造新的可行解。这节课通过一系列的推导，推导出了单纯形法，并给出了单纯形法的算法和样例。对于如何寻找初始可行解的问题，又提出了两阶段的单纯形法。下节课将讨论单纯形法的时间复杂度以及一些优化。
2024-04-29 11:09:38
281
原创 高级优化理论与方法（九）
本节课在研究线性规划问题。先给出了线性规划中的一些基础定义，其中最重要的是关于基本解的定义。接下来我们的目标就是如何找到最优的基本解。我们先给出了一种暴力求解算法作为抛砖引玉。同时给出了算法的一个大致框架，但是这个框架存在三个问题，我们将在下次课中一一解决。
2024-04-22 11:10:24
585
原创 高级优化理论与方法（八）
这节课先介绍了一些全局搜索法。介绍了奈勒-米德单纯形算法，模拟退火算法，粒子群优化算法，遗传算法（这里讲的比较粗略，可以参考我的另一篇博客）。这些算法都属于启发式算法，算法的理论基础较为薄弱，所以在介绍算法之后没有做过多展开。到这周是第八周了，学期过半。前半学期都在介绍无限制条件的优化算法，后半学期要开始介绍带限制条件的优化算法了。这节课先从比较简单的线性优化开始，介绍单纯形法。这节课证明了任何线性优化问题都可以转化为规范形式，这方便了我们后面的求解。
2024-04-15 11:00:18
1045
原创 高级优化理论与方法（七）
上节课介绍了解线性方程组的第一种情况，这节课介绍了第二种和第三种情况。为了使结论更具一般性，还引入了矩阵的伪逆概念。接下来开始介绍神经网络。对神经网络做了一些数学上的简化，为了便于理论研究。主要介绍了最简单的单层神经网络。还提及了多层神经网络的反向传播算法，但由于过于复杂，于是没有具体展开计算。
2024-04-08 11:13:53
1015
原创 高级优化理论与方法（六）
本节课先就上节课没讲完的拟牛顿法接着讲，回顾了秩为1的修正方法。由于该方法存在一些问题，为了解决这些问题，又介绍了DFP算法。接着又简要介绍了收敛速度较快的BFGS算法。接着开始了一个新的主题——解线性方程组。由于问题的复杂性，我们讲问题分成两种情况来分类讨论。目前只讲了第一种情况。第一种情况本质上是一个数据拟合问题，根据数据，求得$min ||Ax-b||^2$。然后，介绍了直接的求解公式。最后，对于如何在充分利用已知数据的基础上，对新数据进行拟合，又提出了递归最小二乘法。
2024-04-01 11:12:56
813
原创 高级优化理论与方法（五）
这节课从上节课提到的共轭方向法讲起，又介绍了共轭梯度法。牛顿法存在一些缺陷，为了改进，提出了拟牛顿法。关于拟牛顿法中的$H$如何计算，又有一些不同的方法。这节课介绍了秩为1的修正方法，以及DFP算法。
2024-03-25 11:20:32
886
原创 高级优化理论与方法（四）
高级优化理论与方法（四）上节回顾Fixed StepsizeSteepest DecentGradient MethodAnalysisTheorem 3Order of convergenceExample 1Example 2Example 3Example 4TheoremTheoremNewton Method优缺点优点缺点Convergence OrderExampleTheoremTheoremModificationConjugate MethodLemmaConjugate Directio
2024-03-19 17:37:34
299
原创 高级优化理论与方法（三）
本节课介绍了梯度方法。先是推导出了固定步长的梯度法，然后在此基础上，考虑可变步长，于是推导出了最速下降法。并且给出了对于二次函数的最速下降法的具体做法和例子。最后做了一些理论性的分析，证明了梯度方法的收敛性。
2024-03-11 11:25:11
405
原创 RNN实现退位减法
最近深入学习了一下RNN，即循环神经网络。RNN是一类比较基础的神经网络，本文使用的是最基础、最简单的循环神经网络的形式。LSTM也是一种常见的循环神经网络，但本文为了降低理解难度，将不会涉及。本文先介绍了RNN，并指出了其相比普通神经网络的优势。然后给出了RNN的前向传播公式，并推导了反向传播算法。最后给出了用RNN实现退位减法的代码。RNN也是从普通神经网络迈向人工智能的一大步。通过RNN，我们可以让代码“理解”减法，或者至少看上去对减法有了深刻的理解。
2024-03-07 17:49:49
1035
原创 拜占庭将军问题与区块链
拜占庭帝国是历史上赫赫有名的一个帝国，也就是东罗马帝国。它的首都是君士坦丁堡。但是1453年君士坦丁堡沦陷了之后，这个帝国也就灭亡了。拜占庭将军问题并不是历史上真实存在的，而是一个虚拟的问题。它是在1982年的时候，由著名的计算机大神兰波特（图灵奖获得者）提出的。
2024-03-05 15:45:24
1484
原创 高级优化理论与方法（二）
本节课先回顾了FONC和SONC这两个找最值点的必要条件，然后给出了SOSC这个找最值点的充分条件。虽然看上去比较简单，但是关于无约束优化的定理目前也只发展到这种程度。目前数学界还没有找出一个充分必要条件。然后介绍了一维搜索方法中的迭代方法。重点介绍了黄金分割法，简略介绍了斐波那契法、二分法、牛顿法、割线法等方法。
2024-03-04 16:19:38
911
原创 高级优化理论与方法（一）
这是一个新的系列。我这个学期选了一门《高级优化理论与方法》的课，想着反正要做笔记，不如直接做电子笔记，于是就有了这个系列。由于这门课是一周上一次，所以我基本上会保持一周一更的速度。内容会从易到难。我们老师的讲稿都是英文的，板书也是英文的。简洁起见，我这里就保留英文板书的原汁原味。但是由于本人的英文水平有限，所以还是偶尔会在里面穿插一些中文。看到中文，大概率是我自己加的注释。由于是课堂笔记，所以里面的内容可能会有一些小错误，或者不那么严谨的地方，还请大家多多包容，批评指正。
2024-03-04 15:57:36
977
原创 神经网络中的损失函数（下）——分类任务
上文主要介绍了回归任务中常用的几个损失函数，本文则主要介绍分类任务中的损失函数。在实际应用中，交叉熵是使用最为广泛的损失函数。本文从最大似然和信息论两个角度推导出了交叉熵损失函数。同时又介绍了KL散度和余弦相似度损失函数。
2024-01-16 20:40:12
1304
1
原创 2024的新年祝福！
新的一年来啦！祝大家新年快乐！非常感谢一直以来支持我的朋友们，尤其感谢那些收藏我博客、给我点赞、给我评论的朋友们。我也一直坚持产出高质量的内容，尝试用一些便于理解的方式讲述那些艰深晦涩的知识。希望大家在新的一年里继续多多支持！2024是一个非常有趣的数字，在这里用数学的方式庆祝2024的到来！
2024-01-10 20:54:07
505
原创 神经网络中的损失函数（上）——回归任务
神经网络是深度学习的基础。在神经网络中，损失函数和优化函数是两个非常重要的概念，它们共同决定了模型的性能和训练效果。本文将介绍神经网络中比较常用的损失函数。
2024-01-10 20:09:05
1336
原创 算法设计与分析之计算复杂性理论
我们在研究一个问题之前，首先得搞明白这个问题能不能解，如果能解，这个问题究竟有多难。而我们衡量一个问题有多难，则主要看该问题是否能够在多项式时间内可解。P问题、NP问题等名词的提出就是为了区分一个问题到底有多难。本文简单介绍了P问题、NP问题、NPC问题。这些都是计算复杂性理论中的专有名词。希望能够对大家有帮助。
2024-01-07 23:49:31
1005
原创 各种不定积分的技巧
前言积分对于理工科的人来说，可谓一种基本技能。在物理学上，积分是求解函数面积、体积、质心、转动惯量等物理量的基本工具。在数学上，积分概念的引入，催生了诸如微分方程、无穷级数、微分几何、复变函数等数学分支，丰富了数学的内涵，推动了数学的发展。在实际应用中，定积分可以计算具体的值，具有实际价值。而不定积分则可以用来寻找原函数，为求解定积分提供了便利。两者在物理学、工程学、经济学等领域中都有着广泛的应用。本文就来探讨一些计算不定积分的技巧。基础积分公式这里先给出一些比较基础的积分公式。有了这些积分公
2023-12-15 21:31:32
391
原创 大语言模型——BERT和GPT的那些事儿
自然语言处理是人工智能的一个分支。在自然语言处理领域，有两个相当著名的大语言模型——BERT和GPT。两个模型是同一年提出的，那一年BERT以不可抵挡之势，让整个人工智能届为之震动。据说当年BERT的影响力是GPT的十倍以上。而现在，由GPT-3.5模型产生的chatGPT，则以一己之力，让整个世界重新认识了人工智能。现在，用妇孺皆知来形容chatGPT一点也不为过。是什么让GPT在后来完成复仇，碾压BERT模型？这篇文章带你了解这两个模型的“恩恩怨怨”。
2023-11-23 23:20:03
2894
2
原创 大语言模型领域的重要术语解释
本人对人工智能非常感兴趣，目前是一名初学者，在研究大语言模型的一些内容。很多模型都是用英文提出的，其中也包括很多概念，有些概念的中文翻译和其想表达的意思不完全一样，所以在这里，想更加精准地帮助大家理解这些词汇。
2023-11-20 19:25:27
697
原创 三国杀中的概率学问题4——曹冲
前言这篇文章是围绕曹冲的称象技能展开的一些数学上的讨论，将涉及到积分、概率论等知识，并会做很多拓展。值得说明的是，本文受到了这篇文章的一些启发。连续情形1先来看一个连续情形的问题。问题一：假设每张牌的点数是0~1的随机数。我们重复翻开牌堆顶的牌，直到所有牌的点数和大于1为止。求翻开牌数的数学期望。我们用概率论的方式来理解这个问题。每张牌的点数可以看成一个随机变量，第iii张牌的点数表示的随机变量为ξi\xi_iξi。由题意得，ξi\xi_iξi服从标准均匀分布，即ξi\xi_iξi~U
2023-11-13 21:38:35
448
3
原创 三国杀中的概率学问题3——王荣
前言本文是三国杀中的概率学问题系列文章中的一篇，将详细讨论王荣吉占的期望摸牌数问题。并加上连续情形作为拓展。值得说明的是，本文的思路受到了一篇文章的启发，在此特别鸣谢，这是文章的链接。王荣吉占的期望摸牌数王荣的二技能吉占很有意思，展示牌堆顶的一张牌，然后猜测下一张牌比这张牌大还是比这张牌小，猜对了就继续猜，直到猜错为止，然后最终可以获得展示的所有牌。所以即便第一次就猜错，也能拿到2张牌（第一张展示的牌，和猜错的这张牌）。为了能够摸更多的牌，我们需要采取贪心的猜牌策略，保证自己这次猜对的概率最大。也
2023-11-13 21:36:31
1003
原创 三国杀中的概率学问题2——神郭嘉
本文将慧识和不屈这两个相似的技能合在一起，构造了一个通用的函数，并给出了函数的表达式。由于表达式过于复杂，于是又给出了较为简单的函数的拟合形式，并且拟合的精度相当高。本文既计算出了原问题的精确解，又给出了一个解此类问题的新思路。
2023-11-01 16:43:21
741
原创 8类放球问题
虽然我们按一定的标准，划分出了8个问题，但其实这8个问题又有很多变种。比如，我们只关注了n≥mn\geq mn≥m的情况，我们得出的结论一部分对n≤mn\leq mn≤m适用，一部分却不适用了。掌握解决这一类问题的方法比记住结论更加重要。
2023-10-27 22:55:11
720
原创 数学建模之遗传算法
遗传算法是美国教授Holland于1975年提出的一种基于模仿生物遗传学的优化算法。这种算法很难得到问题的精确答案，但是能够在允许的时间复杂度内得到一个较优的答案。常用来解决一些目前不存在多项式算法的问题，如旅行商问题（TSP问题），背包问题。假设背包的容量为m，有n个物品，第i物品的重量为wiw[i]wi，价值为viv[i]vi，我们要从中选取一些物品放入背包，在不超过背包容量的前提下，使装入背包的物品总价值最高。
2023-09-25 21:43:57
1127
原创 用python实现扫雷游戏
扫雷》是一款大众类的益智小游戏，于1992年发行。游戏目标是在最短的时间内根据点击格子出现的数字找出所有非雷格子，同时避免踩雷，踩到一个雷即全盘皆输。其规则简单易上手。这个扫雷是一个比较粗糙的实现。在一般的扫雷中，还有一些其它功能，如右键标记雷；单击已点开的数字格子，周边的格子会闪一下，若其周边的雷都被正确标记，则会自动显示出其周边不是雷的区域。由于tkinter中的按钮无法区分左键点击和右键点击，故该功能暂时无法实现。该程序仅仅提供了一个制作游戏的思路，毕竟谁会真的拿我的代码来玩扫雷呢。
2023-07-04 09:42:06
960
2
原创 囚徒困境——从博弈论的角度解释“美女配丑男”
本文讨论的是一种比较理想的情况，现实中的情况更加复杂。只是为了分析美女配丑男背后的原理，所以采用了一些特别理想的假设。其实，在爱情中，不只有心理学，还有数学哦。
2023-05-16 20:50:37
1302
原创 圈小猫游戏
如图所示，在一个11*11的接近正方形的棋盘上，每个格子按照六边形规则排列（即每个内部的格子都与六个格子相邻）。最中间是小猫的初始位置，它想逃出棋盘。而我们不想让它逃出棋盘，所以要利用手中的棋子和初始障碍物（深色格子）围住它。执棋者先手，小猫后手。这个游戏可以一人扮演小猫，一人下棋，两个人玩。也可以电脑扮演小猫，跟电脑玩。y0 = 6;x = x0;y = y0;
2023-05-10 22:17:01
1748
原创 数据结构——堆和优先队列
堆是一个比较基础，且实现起来难度也不算太大的一个数据结构。而且堆在很多地方都有较好的应用。堆作为一种数据结构，底下有很多具体的分支，比如二项堆和斐波那契堆。现在我们介绍一种最最基础的堆——二叉堆。在许多地方，二叉堆又简称为堆。在本文中，如无特殊声明，堆默认指二叉堆。二叉堆是具有下列性质的完全二叉树：每个结点的值都小于或等于其左右孩子结点的值（称为小根堆）；或者每个结点的值都大于或等于其左右孩子的值（称为大根堆）。
2023-04-15 09:53:01
1155
原创 数学建模之评价类问题
我最近在做2021年国赛的C题，这道题是一道典型的评价类问题。本文将主要针对此题展开研究，介绍一下评价类问题常用的几种方法。
2022-10-27 16:53:24
1933
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人