机器学习
文章平均质量分 81
一套煎饼
这个作者很懒,什么都没留下…
展开
-
(15)—自注意力机制 (上)
network架构——self attention解决的问题是:network的输入是一个向量,但是如果输入是一排向量的时候,而且输入向量的数目是会发生改变的呢?应该怎么处理呢?举例:输入是个序列长度很长第一个例子是文字处理,假设现在的输入是句子,并且每个句子的长度是不一样的,把每个句子当中的词当作一个向量来描述的话,那我们模型的输入就会是一个vector set,并且这个vector set的大小取决于句子的长度。那怎么把词汇表示成向量呢?最简单的做法是:one-hot Encodin原创 2022-05-12 14:35:06 · 412 阅读 · 0 评论 -
(14)-CNN(卷积神经网络)
现在开始探讨神经网络的架构-CNN专门用在影像上的图片的分类:现在给定一张图片,来判断这张图片里面有什么东西,怎么操作呢?假设模型输入的图片大小是固定的,(尽管输入的图片可能大小不一样,但是现在影像处理系统中的图片都设成是一样的),模型的目标是分类,所以会把每一个模型表示成One-hot的factor ,目标叫做,在这个One-hot的factor 里面,假设我们现在类别是一只猫的话,猫所对应的大小的数值是1 ,其他东西所对应的大小数值是0 ,dimension对应的长度就决定了现在的模型可以辨原创 2022-05-10 16:22:28 · 965 阅读 · 0 评论 -
(13)Gradient Descent
举例说明:地图上的海拔就是loss function的值,现在来找海拔的最低点,现在调整参数的值,找到loss最低的地方,用gradient descent的方法怎么做呢?首先是找一个随机初始的地方,让这个随机的点往比较低的地方走,一直走到最低的点,所以这个最低的点就是local minima,那这个local minima是不是goabl minima呢?但是我们是不知道的。哪有人就会问为什么用gradient descent的方法更新参数得到的loss不降反增呢?举例说明:从开始的起点用gr原创 2022-04-20 20:37:17 · 134 阅读 · 0 评论 -
(11)-4类神经网络训练不起来怎么办?
Classification(快的方法将分类是怎么做的)问题:分类就是回归吗?我们已经知道regression的模型是:输出的y是数字,我们现在要讲正确的y也就是也要变成数字,使得两个y接近。接下来做的事情就是让y和y的编号越接近越好。假设现在class1的编号是1,class2的编号是2,class3的编号是3,那现在就是说class1和class2相似,class1和class3不同。那像这样表示class的方式有时候可行,有时候不行。所以在做分类的时候,经常把cla..原创 2022-04-20 20:20:49 · 1148 阅读 · 0 评论 -
(10)-3类神经网络训练不起来怎么办?
critical point 不一定是训练当中最大的障碍,今天讲的是Adaptive Learning Rate(自适应学习率)的技术。当loss函数随着参数的更新的时候,遇到critical point时loss不再更新,此时的gradient非常小,但是有确认过当loss不在下降的时候,gradient真的很小吗?从上面的这个图可以看出虽然loss不在下降,但是gradient的大小没有真的变得很小,出现这样的情况的原因是什么呢?根据error surface可以知道,gradient在原创 2022-04-17 15:22:14 · 3096 阅读 · 0 评论 -
(9)-2类神经网络训练不起来怎么办?
BatchReview:Optimization with Batchbatch是怎么做的呢?实际上我们我们再算微分的时候,不是真的对所有的数据算出来的L作微分,而是将L 分成N 个batch,当我们更新参数的时候是将其中的一个Batch拿出来算gradient,然后在更新参数。再拿另一个batch算gradient ,更新参数,以此类推,并不是拿所有的的数据一起去算Loss.将所有的batch算一遍的方法叫做1 epoch。实际上在做batch的时候会做一件事情叫做shuffle,shuffl原创 2022-04-16 16:59:10 · 3131 阅读 · 0 评论 -
(8)-1类神经网络训练不起来怎么办?
Optimization Fails because.....(优化为什么会失败?)随着参数的不断更新,但是training loss下降到某个地方不会再下降,但是对现在的loss不满意,所以优化是有问题的。或者是一开始不管怎么样更新参数,training loss不会发生什么样的改变,过去的一个猜想是gradient 接近于0.当微分是0的时候gradient descent就没办法更新参数了,但并不是卡在了local minima处,并不是只有再local minima处的gradien它等于0 ,原创 2022-04-15 20:37:43 · 671 阅读 · 0 评论 -
(7)逻辑回归(Logistic Regression)
第一步:函数的创建我们想找的是(C1|x):如果(C1|x)≥0.5,输出的就是C1,反之,输出的就是C2,如果用高斯函数的话,得到的结果就是(上一节讲到的)所以最终得到的function set:(包含所有的w,b)用图像来表示的话:(输出的值介于0到1之间)上面的这一系列的操作叫做Logistic Regression的函数现在将Logistic Regression和linearRegression做一下比较:两者的第一步:函数的创建第二步:...原创 2022-04-14 18:12:57 · 558 阅读 · 0 评论 -
(6)分类
分类的作用:金融,医疗诊断,手写字体,人脸辨识应用的例子讲解分类问题:宝可梦有十八种不同的属性,现在做的就是输入一只宝可梦,输出的是这只宝可梦的属性是什么因为函数的输入是一只宝可梦,但是我们要用数字来表示宝可梦(因为宝可梦是由很多的特性的,并且这些特性是可以用数值来表示的的)。(这张图的意思就是 我们现在假设的是一只皮卡丘,他的各种属性都是可以用不同的数值来表示的,并且这些数值都是可以用一个向量来表示,所以一只宝可梦就是一组由七个数字组成的向量)我们现在的问题就是将这组...原创 2022-04-14 14:26:53 · 428 阅读 · 0 评论 -
(5) Regression
股票预测系统:这一个函数输入是过去十年的股票资料,输出是明天道琼工业指数的点数无人车:输入是无人车的红外线感测的传感器,影响的镜头所看到的是马路上的东西等,输出是方向盘的角度。推荐系统:输入就是使用者A或者是商品B,输出的就是购买的可能性。例子的应用:预测宝可梦的CP值(宝可梦的战斗力)今天所讲的例子就是找一个函数,输入是宝可梦相关的function,输出的是进化后的CP值:还进化之前的CP值:是属于什么物种:生命值是多少和 :重量和身高输出y:进化后的...原创 2022-04-13 16:26:13 · 454 阅读 · 0 评论 -
(4)反向传播(BP)
BP 这个algorithm(算法)是怎么运作的呢?怎么样让neural network的training变得比较有效率?当用GD 方法的时候跟LR的做法是一样的都是选定参数,计算微分,更新参数按这样的步骤遗址进行下去,但是在neural network里面我们有非常多的参数,我们要做语音辨识系统的时候在neural network通常有7,8层,每层里有很多的神经元,所以上图中的向量当中有很多很多的元素,所以现在的事情就是如何有效的把这一个百万维的向量计算出来?(下面图中的这个向量)这个就是BP原创 2022-04-10 15:47:25 · 577 阅读 · 0 评论 -
(3)深度学习简介
回顾深度学习的历史:深度学习的步骤:三步(大象放进冰箱)在上面的步骤当中:第一步是定义一个函数,其实就是一个Neural network。那这个Neural network是什么呢?我们把这个Logistic Regression前后连接起来,然后把一个Logistic Regression(逻辑回归)称之为Neuron(神经元),那我们就得到了一个Neural network。我们可以用不同的方法来连接这些Neural network,就会得到不同的structure。在这个N原创 2022-04-10 11:22:59 · 812 阅读 · 0 评论 -
李宏毅2021/2022春机器学习-深度学习的基本概念(2)
Linear model 是太过简单的,x1和y的关系:可以用一条带有斜率的直线表示,随着x1的增大,y 也会逐渐增大。可以设定不同的w 来改变斜线的斜率,可以设定不同的b来改变斜线的与y轴的交叉点。,但是无论怎么改变w和b 他都是一条直线。并且是y随着x1的改变而发生变化。如图所示:(前一天观看的人数越多,隔天的人数也就越多)但是,现实的阅读量可能并不是如上图当中所显示的。(阅读量会出现红色线所表示的这样),无论怎么改变w和b都无法出现红色线,没办法用Linear model 制造出红原创 2022-04-08 17:10:35 · 775 阅读 · 0 评论 -
2021/2022李宏毅春机器学习第一节(1)
机器学习的基本概念简介:什么是机器学习:就是让机器具备找一个函式的能力那具有什么样的能力呢?语音辨识:函式输入的是一段语音信号,输出的是一段文字影像辨识:函式的输入是一张图片,输出的是这张图片的内容阿尔法狗:函式的输入是棋盘上黑子和白子的位置,输出的是机器接下来落子的位置机器学习的类别:第一个任务是:Resgression :输出是一个数值(scalar)举例:结社让机器做的事预测未来某一天的PM2.5的值,机器的输入是今天PM2.5的值,温度和臭氧的浓度,中间的是我们要找的原创 2022-04-07 18:05:34 · 759 阅读 · 1 评论