自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(41)
  • 收藏
  • 关注

原创 Communication Systems

通信系统按照传输载体可分为两大类:一类是模拟通信系统,即利用模拟信号传输信息;另一类是数字通信系统,即利用数字信号传输信息。其中包含两种重要变换:第一种变换是在发送端把模拟信号变换成原始电信号(也称为基带信号);第二种变换是在调制器,基带信号通过调制器变换为已调信号(也称为带通信号)。信息量 I(x)I(x)I(x) 的表达式如下:I(x)=−log2P(x)=−3.322⋅lgP(x)I(x) = -log_2P(x) = -3.322 \cdot lgP(x)I(x)=−log2​P(x)=−3.32

2024-01-15 13:48:31 1017

原创 Z transformation

一个信号 f(t)f(t)f(t) 的 zzz 变换 F(z)F(z)F(z) 定义为:F(z)=∑−∞+∞f(k)z−k=Z[f(k)]F(z)=\sum_{-\infty}^{+\infty}f(k)z^{-k}=Z[f(k)]F(z)=∑−∞+∞​f(k)z−k=Z[f(k)]式中,信号 f(k)f(k)f(k) 则是 F(z)F(z)F(z) 的反 zzz 变换工程中使用的信号往往都是因果信号。对于因果信号f(k)ε(k)f(k)\varepsilon(k)f(k)ε(k),有F(z)=∑0+∞

2023-06-25 17:22:50 477

原创 机器学习第四周(分类问题)

上图所示是一些分类问题的例子,我们在前面说过,分类是指我们的目的是预测一个离散值输出,比如上图例子中的判断肿瘤的良性与恶性,很显然,在进行预测之前,我们就知道输出结果的全部取值可能,即良性或者恶性两种情况,也就是说,这种问题下输出的取值是有限的,即输出是离散的,如下图所示。我们知道了监督学习的工作,就是通过有标签的数据训练,获得一个模型,然后通过构建的模型,给新数据添加上特定的标签,即在监督学习中,对于数据集中的每个样本,我们希望通过算法预测并得到“正确答案”。, 当输出小于这个值时,预测结果为。

2023-06-17 18:56:43 144

原创 Laplace transformation

一个信号 f(t)f(t)f(t) 的拉普拉斯变换 Fd(s)F_d(s)Fd​(s) 定义为:Fd(s)=∫−∞+∞f(t)e−stdt=L[f(t)]F_d(s)=\int_{-\infty}^{+\infty}f(t)e^{-st}dt=L[f(t)]Fd​(s)=∫−∞+∞​f(t)e−stdt=L[f(t)]                                             (3−1)\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\

2023-06-17 17:40:41 229

原创 机器学习第三周(正规方程——一步求参)

很显然,这是一个多元线性回归的问题,因为此时我们有四个特征量,根据我们之前介绍的多元线性回归,我们将参数和特征都表示成了向量的形式,同时,为了更好地表达我们的假设函数,我们在数据集中还添加了一列。,其中的元素会对应着每一个参数的最优值,即此时的参数会最小化代价函数,这一点在数学上已经被严格证明,当然,大家也可以自己在纸上证明一下。,直到梯度下降收敛到最小值。是以向量的形式存在的,即我们不只有一个参数,那么,我们如何将微积分的方法推广到多个参数的情况呢?之前我们介绍了多元线性回归,其中,我们的参数。

2023-06-10 18:45:57 158 1

原创 机器学习第二周(特征和多项式回归)

以房价问题为例,假设数据集中有两个特征,分别是房子的宽度和长度,我们就可以建立一个这样的线性回归模型,其对应的假设函数hθ(x)=θ0+θ1×frontage+θ2×depthh_θ(x)=\theta_0+θ_1×frontage+θ_2×depthhθ​(x)=θ0​+θ1​×frontage+θ2​×depth,frontagefrontagefrontage 对应 x1x_1x1​,depthdepthdepth 对应 x2x_2x2​,但我们不一定非要使用这两个特征来进行预测,我们可以自己创造新的

2023-06-04 21:08:41 107

原创 机器学习第二周(梯度下降的一些tips)

如果你画出此时代价函数的图像,那么就会像上图中所示的那样(我们之前介绍过两个特征对应的代价函数图像是三维空间的曲面,所以上图展示的是代价函数的等高线),你会发现代价函数等高线的形状是一种歪斜的椭圆形,如果你在这种代价函数上运行梯度下降的话,梯度下降会耗费一定的时间,因为梯度会在等高线之间来回波动,最终才收敛到全局最小值。观察上图,可以发现,在进行特征缩放之后,我们得到的代价函数的图像更加平滑了,这就会使得在进行梯度下降时,梯度下降的路线更趋向于一条直线,也就是说,梯度下降就会更快地收敛。

2023-06-02 22:19:04 58

原创 机器学习第二周(多元线性回归)

现在,我们介绍完了多元线性回归模型,很显然,相比于单特征的情况,特征数量的增多会使得模型变得复杂,同样也会降低我们训练模型的效率,比如在进行梯度下降时,所以之后我们会来谈谈如何提高多元梯度下降收敛的速度。但是在实际问题中,能够决定房价的因素(特征 / 变量)肯定不只有一个,所以我们要将之前介绍的线性回归模型推广到更一般的情况,即多元线性回归模型,它更符合实际情况。如上图所示,我们在原来的基础上,添加了三个特征 / 变量来描述房子,即房间卧室的数量、房屋的楼层以及房子的年龄。,即对于每一组训练样本,都有。

2023-05-31 20:39:53 98

原创 机器学习第二周(线性代数基础)

矩阵,数学术语。在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合,最早来自于方程组的系数及常数所构成的方阵。由m×nm × nm×n个数aija_{ij}aij​排成的mmm行nnn列的数表称为mmm行nnn列的矩阵,简称m×nm × nm×n矩阵。记作:其中,m×nm×nm×n被称为矩阵的维数,即矩阵的行数乘以矩阵的列数,有时候,也会使用符号Rm×nR^{m×n}Rm×n来表示m×nm×nm×。

2023-05-29 16:31:37 68

原创 机器学习第一周(线性回归的梯度下降)

之前我们讨论到代价函数随着参数数量的增加,其对应的维度也会增加,在三维的图像中,我们可能存在着多个局部最小值,梯度下降最终会收敛到哪个最小值,取决于我们参数初始化的取值。之前我们介绍了线性回归模型与梯度下降法,很显然,梯度下降法可以帮助我们实现在线性回归模型中自动寻找代价函数最小值对应的参数,现在,我们要将代价函数和梯度下降结合得到线性回归的算法,它可以用直线模型拟合数据。这就是我们线性回归中的梯度下降算法,需要注意的是在更新参数时,我们需要遵循同步更新的原则。,可以看出,每一步梯度下降,在计算总和。

2023-05-28 19:36:33 56

原创 机器学习第一周(梯度下降法的定义及作用)

我们之前已经定义了代价函数JθJ(\theta)Jθ,在实现我们的优化目标θminimize\large_{\;θminimize​JθJ(\theta)Jθ时,我们希望通过一种高效的、软件可实现的算法,来自动找寻代价函数JθJ(\theta)Jθ的最小值对应的参数θ\thetaθ。所以我们引入可以将代价函数JθJ(\theta)Jθ最小化的梯度下降法,它不仅被用在线性回归问题上,还被广泛运用于机器学习的诸多领域。

2023-05-27 18:57:08 98

原创 机器学习第一周(代价函数的工作原理)

不同的取值,我们都可以在左边绘制出假设函数对应的直线,再根据代价函数的计算公式,我们就可以在右边的图像中绘制出代价函数对应的点,最终在。不同的取值,我们都可以在左边绘制出假设函数对应的直线,再根据代价函数的计算公式,我们就可以计算出代价函数对应的值,最终在。,相当于我们只选择了经过原点的假设函数,使用简化的代价函数可以帮助我们更好地理解代价函数的概念。在线性回归模型中,我们希望得到一条拟合数据集的直线,所以我们构造了上图所示的假设函数。,随着所选择参数的不同,我们会得到不同的直线。

2023-05-26 21:05:08 62

原创 机器学习第一周(线性回归模型与代价函数的数学定义)

对于房价问题,我们先给出其目标函数θ0θ1minmize\large_{\;θ0​θ1minmize​12m2m1​∑i1m∑i1m​hθxi−yi2hθ​xi−yi2其中,hθxiθ1∗xiθ0hθ​xiθ1​∗xiθ0​θ0θ1minmize\large_{\;θ0​θ1minmize​表示关于θ0和。

2023-05-25 21:31:04 169

原创 机器学习第一周(机器学习的定义)

对于某类任务(Task,简称T)和某项性能评价准则(Performance,简称P),如果一个计算机程序在T上,以P作为性能的度量,随着很多经验(Experience,简称E)不断自我完善,那么我们称这个计算机程序在从经验E中学习了。比如说,对于学习围棋的程序AlphaGo,它可以通过和自己下棋获取经验,那么它的任务T就是“参与围棋对弈”;它的性能P就是用“赢得比赛的百分比”来度量。“类似地,学生的任务T就是“上课看书写作业”;它的性能P就是用“期末成绩”来度量”

2023-05-25 19:14:59 84

原创 分割回文串--切割问题

比如对于样例1,开始让第一个隔板的位置为0,第二个隔板的位置为1,那么分割的子串就是[0, 1),也就是 ' a ',然后判断其是不是回文串,如果是,则说明这组隔板的位置可以,然后让第一个隔板的位置等于第二个隔板,然后让第二个隔板的位置等于第一个隔板的位置 + 1,也就是[1 , 2),那么分割的子串就是 ' b ',然后判断,所以这组隔板的位置也可以,然后继续移动第一个隔板,也就是 2 ,即到了字符串的末尾,说明这一组分割方案是可以的,即 'a', 'b'。从上面的分析过程,可以很显然的看出,

2023-03-21 23:47:59 345

原创 电话号码的字母组合(不同集合)--回溯问题

但是这样的方法在组合数的数量变多时,需要的for循环也就越多,时间复杂度不说,写起来就受不了。在这个过程中,我们需要知道电话号码的位数,其次我们还需要知道现在是第几位电话号码对吧,这样才能够取得每一位对应的字母,也就是每一层递归对应的横向迭代集合。输出:["ad","ae","af","bd","be","bf","cd","ce","cf"]首先确定边界条件,也就是当递归的结果字符串的size == 电话号码的位数时即可。大家可以再翻到上面的for循环版本对照的看一下,可以发现二者的思路是完全一样的,

2023-03-19 17:25:42 85

原创 组合(同一集合)--经典回溯问题

回溯的关键不在于递归,而是在于“回”上,也就是回去之后要撤销掉之前的操作,具体来说,就是在return回上一层递归之后,要将之前递归的操作消除,也就是要让变量的状态回到第一次递归到该层时的初始状态,因为回溯本质上仍然是枚举。回溯可以说是递归的横向拓展,它主要是递归(纵向)+局部暴力枚举(横向),所以我们可以从递归和枚举两个方面来拆解回溯问题。在回溯算法中,我们可能经常看到“剪枝”这个词,我们知道递归算法的时间复杂度也是比较高的,尤其是在递归较深的时候,所以。实际上,对于上面的for循环嵌套,

2023-03-15 22:09:59 89

原创 成绩统计--四舍五入取整

题目描述小蓝给学生们组织了一场考试,卷面总分为 100 分,每个学生的得分都是一个 0 到 100 的整数。如果得分至少是 60 分,则称为及格。如果得分至少为 85 分,则称为优秀。请计算及格率和优秀率,用百分数表示,百分号前的部分四舍五入保留整 数。输入描述输入的第一行包含一个整数 n ,表示考试人数。接下来 n 行,每行包含一个 0 至 100 的整数,表示一个学生的得分。输出描述输出两行,每行一个百分数,分别表示及格率和优秀率。百分号前的部分四舍五入保留整数。

2023-03-14 20:08:48 578

原创 Algorithm头文件--二分查找函数

两个函数的原型为:iterator lower_bound/upper_bound(start, end, num, find)其中四个参数分别表示:1)start表示查找开始的地址。2)end表示查找结束的地址。3)num表示查找的数值。4)find为可选参数,表示查找方式,默认是对非降序数组进行查找。函数返回值是一个迭代器,即一个指针。函数原型为:bool binary_search( start, end, num )其中三个参数分别表示:1)start表示查找开始的地址。

2022-11-23 23:02:25 650

原创 Algorithm头文件--sort()函数

在STL标准函数库中提供了一种sort()排序函数,其底层的实现方式是快速排序。该函数的原型:其中的三个参数分别表示:1)start是迭代器的起始地址。2)end是结束的地址(最后一位要排序的地址)。3)cmp是可选参数,用来指定排序的方法,当没有指定时,默认升序。即排序的区间是 [ start,end ) ,排序的方式是默认升序。这里我首先给出两种定义cmp的方法以及传入它们之后得到的结果。//首先第一种{}//然后第二种{}//首先,不带cmp参数,默认升序。

2022-11-23 21:01:01 1717

原创 排序算法--简单选择排序

本篇代码的思路与选择排序的原理一致,不同的是,该方法是首先以第一个元素为基准,将其与它后面的元素一一比较,只要比它小(大),就直接交换两个元素的位置,再以新的元素为基准,新元素的位置仍然是在未排序列的开头,将其继续向后一一比较,直到找到未排序列中最小(大)的元素,就将其存放在序列的开头。反复迭代上述过程,直到所有元素排序完毕。可以发现在反复迭代的过程中,每次未排序列中最小(大)的元素都会被存放到已排序列的末尾,同时,大的元素也在向未排序列末尾移动,这样也就进一步降低了时间复杂度。

2022-11-22 22:58:58 467

原创 高精度乘法--模拟

上图就是利用竖式进行乘法计算的过程:首先把数位较多的数写在上面,数位较少的数写在下面,然后上下数字的数位要对齐,然后将下面因数的个位数与上面因数的个位相乘,然后把它们积的末位写在个位上,再与十位上的数相乘写在十位上,以此类推。再对下面因数的十位数进行乘积运算,需要注意的是,此时与上面因数个位乘积的末位是对齐在乘数的十位下面,即此时 2 × 8 的末位 6 是对齐乘数 2 的。由于相乘之后的位数较大,已经超过了可存放整数的范围,需要开辟数组来存放乘积结果的每一位数。现在输入两个整数,请输出它们的乘积。

2022-11-22 22:50:49 302

原创 整数小拼接--二分法

一前一后拼成一个新的整数。例如 12 和 345 可以拼成 12345 或 34512。二分查找可以自己写一个,也可以选择直接用C++函数库里的。使用两层循环迭代所有可能的组合,并判断连在一起是否小于。,也就是只能通过30%的用例,得分 30 pts。即首先将原数组先排序,然后用一层循环枚举每一个。请你计算有多少种拼法满足拼出的整数小于等于。,然后利用二分查找,找出能够满足条件的。的顺序被视为 2 种拼法,即便是。可以估计出算法的时间复杂度为。,因为拼接后的数可以很大。拼接两个整数时,可以使用。

2022-11-21 17:51:20 738

原创 广度优先搜索(BFS)

BFS(Breadth First Search,广度优先搜索,又名宽度优先搜索),与深度优先算法DFS往一个方向“死磕到底,不撞南墙不回头”的思维方式不同,广度优先搜索算法关注的重点在于对每一层结点进行下一层的访问。BFS算法和核心思路就是:从某个点一直把其邻接点走完,然后任选一个邻接点把与之邻接的未被遍历的点走完,如此反复走完所有结点。类似于树的层序遍历。所以,BFS的核心就是要把当前在哪作为一个状态存储,并将这个状态交给队列进行入队操作算法步骤(用队列实现)a) 访问指定起始点。

2022-11-13 17:34:48 5317

原创 哈希表--实现快速查询

哈希表(英文名字为Hash table,我们也可能会在一些算法书籍上看到散列表,其实就是哈希表,但是会有翻译的不同,所以我们知道hash table是什么就可以了)。哈希表是根据关键码的值而直接进行访问的数据结构。书本上的解释看起来可能没有什么头绪,其实直白来讲其实数组就是一张哈希表。

2022-11-11 17:56:54 1208

原创 算法效率分析之时间复杂度O

请回忆一下自己刚开始刷题的时候,我自己刚开始刷题的时候,经常会使用暴力法来求解一些问题(所谓暴力法,就是直接将问题的所有可能情况列举出来,然后留下符合题目要求的情况)虽然直接暴力出来的感觉很棒:)但是当题目的数据范围较大的时候,就会引出两个问题:1)所有的情况无法全部列举出来,或者说是比较难列举出来所有情况;2)即使考虑到了所有情况,但是遍历所有情况的时间已经超出题目限制了。所以,虽然能否解出问题是最重要的,但我们也需要考虑算法的时间、空间等其他效益是否合理。那么,我们该如何估计程序运行时间呢,

2022-11-10 21:37:16 548

原创 贪心——一种算法思想

再比如,对于背包问题,如果有一堆物品,你有一个背包体积为N,现在问我们要如何把背包尽可能装满,并且使得最终背包内所有物品的总价值最大。所以这也是为什么我们AC了贪心的题目,但可能也不知道自己用了贪心算法,因为贪心有时候就是一些常识的知识,所以会认为本来就是这么做的。其实这样算分的较细了,而我们真正刷题的时候,很难分出这么详细的解题步骤,因为有时候可能贪心的题目往往还和其他方面的知识混在一起。这题的思路很清楚,我们如果每次都拿最大金额的钞票,那么,最终肯定是拿走了最大数额的钱。2. 找出适合的贪心策略。

2022-11-08 10:51:42 118

原创 动态规划之背包问题篇

动态规划(Dynamic--Planning),简称DP。一、求解背包问题的算法归纳——以背包问题为例1)如果装不下当前物品,那么前n个物品的最佳组合和前n-1个物品的最佳组合是一样的。2)如果装得下当前物品。假设1 :装当前物品,在给当前物品预留了相应空间的情况下,前n-1 个物品的最佳组合加上当前物品的价值就是总价值。假设2:不装当前物品,那么前n个物品的最佳组合和前n-1个物品的最佳组合是-样的。选取假设1和假设2中较大的价值,为当前最佳组合的价值。

2022-11-05 16:43:09 477

原创 深度优先搜索(DFS)

剪枝,顾名思义,就是通过现有的数据判断接下来的数据无法再满足解,直接将当前结点以后的所有数据舍弃,遍历不再访问,按照程序设计要求,通过精心设计的剪枝可以使得DFS搜索的效果得到很大提升。对于一颗深度为 n 的二叉树,在没有任何优化的情况下适用DFS去搜索访问数据,其算法的时间复杂度也高达O(2^n),在数据较大的情况下DFS是无法满足程序的时间要求的。当节点v的所在边都己被探寻过或者在搜寻时结点不满足条件,搜索将回溯到发现节点v的那条边的起始节点,整个进程反复进行直到所有节点都被访问为止。

2022-11-03 13:21:15 240

原创 Python学习笔记--列表及元组

列表作为Python的一种数据结构,它容许存放不同的数据类型,在创建列表时,使用中括号将要存放的数据包裹起来即可,不同元素之间使用逗号分隔同样,列表也是一个序列,即可迭代对象,所以可以使用 for 循环来访问列表中的每一个元素当想要访问列表中的某一个元素时,可以使用下标索引的方式正序的索引,其下标值从 0 开始;倒序的索引,其下标值从 -1 开始那么,如果想要一次访问多个元素呢?这时就可以使用列表切片,其实就是将之前的单个下标值变成一个下标范围即可。.........

2022-08-09 15:33:49 216

原创 如何设计损失函数

对于不同的信息,其包含的信息量是不同的,而在日常的经验中,当我们认为某个事件发生的可能性大越大的时候,反而它的信息量越小(因为没有什么好探讨的),但是当某个不太可能的事情发生了,我们会很惊讶,自然萌生出一探究竟的想法,会觉得此事定有蹊跷(也就是有很多信息),理论上,这样已经可以达到我们判断模型差距的目标了,但是观察式子中的绝对值,可以发现,绝对值在其定义域上并不是处处可导的,零点处就是它的一个跳跃间断点,所以为了不影响神经网络的误差传播,我们将其原式的每一项进行平方,也就是改为。...

2022-07-21 14:53:55 1523

原创 非局部神经网络(Non-Local)

其中,x是输入信号(图片,队列,视频,通常是特征),i是输出位置(在空间、时间或时空中)的索引,它的响应值是通过j枚举所有可能位置来计算的。理论上,该算法需要在整个图像范围内判断像素间的相似度,也就是说,每处理一个像素点时,都要计算它与图像中所有像素点间的相似度。这个技巧不会改变非局部的行为,只会使计算变得更稀疏,实现起来也很简单,只需要在上图的θ,g中加一个最大池化层即可。其中以y为中心的邻域窗口在搜索窗口中滑动,通过计算两个邻域窗口间的相似程度,为y赋以权值w(x,y)...

2022-07-17 17:16:57 2050

原创 DenseNet(稠密卷积神经网络)

在每一个稠密卷积块中,它的输入是前面所有层的输出进行合并之后的结果,它的输出同样会作用到后面的所有层。这样一来,信息或者梯度的流通就非常通畅了,一方面使得网络更容易训练,另一方面也使得网络达到非常好的特征提取的作用。而DenseNet则不是,它在ResNet的short-path的基础上提出了一种稠密卷积的思想,进一步缓解了梯度消失的问题,加强了特征提取、特征重用的效果,并且显著减少了参数量,同时最终模型的尺寸也比较小。在ResNet之后,骨干网络的结构有两种趋势,一种是更深,另一种是更宽,而作者则是。..

2022-07-15 16:17:34 533

原创 卷积神经网络(CNN)

一、卷积神经网络的层级结构如下图所示: 上图中CNN要做的事情是:给定一张图片,不知道是什么东西,也不知道是什么种类的东西,现在需要模型判断这张图片里具体是一个什么东西,即输出一个结果比如上图就应输出,是车,品牌是特斯拉,或者一些其他你想要获取的特征信息最左边是数据输入层:对数据做一些处理,比如,去均值(把输入数据各个维度都中心化为0,避免数据过多偏差,影响训练效果)、归一化(把所有的数据都归一到同样的范围)、PCA/白化等等( CNN只对训练集做“去均值” )中间是Conv:卷积计算层,线性乘积求和Re

2022-07-11 10:01:39 540

原创 损失函数及一般型(及梯度)

首先,回顾高数中对于梯度的定义设二元函数 在平面区域 上具有一阶连续偏导数,则对于每一个点 都可定出一个向量 该函数就称为函数 在点 的梯度,记作 或 即有: 其中 称为(二维的)向量微分算子或Nabla算子所以 设 是方向 上的单位向量则可得其方向导数为: ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​

2022-07-10 11:06:23 852

原创 注意力机制(Attention mechanism)

自注意力机制(self-attention)首先,其核心思想为:其中,Q为query, ,即查询、要查询的信息K为key, ,即索引、被查询的向量V为value, ,即值、查询到的内容dk代表k的维度,除以k的维度的平方根,使训练时的梯度保持稳定 Q,K,V都是输入x经过经过线性变换得到的,和它们分别相乘的三个矩阵W是通过学习得到的矩阵,使用这样的线性变换可以提高的模型的拟合能力举一个例子有一个渣男,他有 n 个备胎,他想要从自己的备胎里寻找最符合自己期望的,好分配注意力和管理时间用 Q 表示择偶标准,K

2022-07-08 17:11:40 1656

原创 残差网络(ResNet)

假设第 层,我们想要的映射为 ,但此时我们不选择直接优化 ,而是构造,选择间接去优化,其中表达式为:最后在网络第 输入前,将 加上 即可得到 ,也就是原来想要的输出,也是第 层的输入,其表达式为:式子中的,被称为两层网络之间的残差 那么为什么残差网络可以解决网络退化的问题?现在,假设任意更深层的输入为 ,任意浅层的输入为 ,那么根据上述的规律,可以写出二者之间的递推关系式:也就是说任意深层的输入,可以写成任意浅层的输入加上两层网络之间的残差和那么,与普通的神经网络相比,在前向传播的过程中,残差网

2022-07-08 16:05:56 332

原创 什么是过拟合(Overfitting)

将神经网络表达为数学模型,即y=Wx,训练网络的过程,即使网络学习得到各种参数W,并且保证误差较小一般机器想要尽量减小误差值,使对于训练数据的误差值为1,但当使用新的一组数据训练网络时,误差就会急剧上升,即无法表达除训练数据以外的其他数据一般导致过拟合问题,是由于数据量过少解决过拟合问题1.增加数据集2.使用正则化:过拟合时,网络训练的参数W变化率会很大,每训练一次网络会进行反向误差传播,来改变参数W,误差cost=(Wx-real y)的平方,即生成数减去真实数的平方。正则化的方法就是当W变化较大时,我们

2022-07-07 17:13:51 305

原创 什么是激励函数(Activation Functions)

简而言之,激励函数是为了解决我们日常生活中无法用线性方程所概括的问题将人工神经网络转化为数学模型,可以看作是y=Wx,y是输出值,x是输入值,W就是y到x的一种映射关系(为一个参数)那么,对于线性问题,W是很容易计算出来的,而且它一般是一个常数值,对于非线性问题,在二维坐标系上,函数图像并不是一条直线,而是一条曲线,此时求出W是一个非常难的问题,所以引入激励函数,令y=AF(Wx),其中,AF()为激励函数,即一些非线性方程(relu、sigmoid、tanh等)激励函数也是可自己创建的,根据实际问题,但是

2022-07-07 16:03:35 1238

原创 生成对抗网络(GAN)

生成对抗网络可分为三个部分--生成、判别以及对抗举一个例子,我们把生成器比作新手画家,判别器比作新手鉴赏家,当新手画家有灵感时,他会根据自己的灵感画出来一副画,我们给出新手画家的作品和大师的名作,让新手鉴赏家来鉴赏哪一幅是大师的名作,但我们通过贴标签等方式,告诉新手鉴赏家,哪一幅是大师的作品,新手鉴赏家鉴赏完后告诉新手画家,应该怎么改进可以画的更像大师的作品,就这样反复进行,直到新手变成老手,老画家就可以出师啦具体来是,当给生成器一些随机数据时,它会根据随机数据按照我们的需求随机生成一些图片或文字等,然后我

2022-07-07 11:17:30 112

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除