Datawhale X 李宏毅苹果书 AI夏令营 深度学习方向 task 2 笔记

最新推荐文章于 2024-10-16 23:49:24 发布
最新推荐文章于 2024-10-16 23:49:24 发布
阅读量283 收藏 2
点赞数 10
文章标签： 人工智能 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2202_75857177/article/details/141757711
版权

由task1可知，可以由b,w绘制出一个二维图找出L（损失）最小的情况，但是这个函数无论怎么改变b,w都很接近真实值，所以这时需要一个更复杂的函数。

一、分段线性曲线

    我们假设真实值为这段红线，我们想要让我们的估测值达到这段红线的效果。可以理解为：

这条红线=一个常数+若干条折线

0：对应红线的起点

1：让蓝线1的斜率与红线的a段相同，且拐点一致

2：让蓝线2的斜率与b段相同，且拐点一致

3：让蓝线3的斜率与c段相同，且拐点一致

所以，红线=0+1+2+3

1、写出蓝线的方程

通过调整c、b、w的值可以逼近各种形状的蓝色线

w：调整线的斜率

b：将线左右移动

c：改变线的高度

所以，红线等于：

考虑多天的预测值时，task1中的函数时

现在用上面更复杂的函数方式对他进行改写：

二、重新开始机器学习的三步

     1、定义函数
     2、定义损失

          之前的损失是L（w,b），由于现在参数变多，用θ来统称所有的变量，所以这里定义的损失为L（θ）

     3、找最优解（同task1一样）

           找出一组θ让L最小

           随机选一组θ，把每一个参数都去计算与L的微分，计算的结果集合起来组成向量，然后更新参数

  一直重复操作，就可以引申到深度学习了

九七
关注
Datawhale X 李宏毅苹果书 AI夏令营task1笔记
scipig_的博客
08-22 1880
本章主要介绍深度学习常见的一些概念，方便我们从不同的角度来更好地优化神经网络。
Datawhale X 李宏毅苹果书 AI夏令营 深度学习方向 task 1 笔记
2202_75857177的博客
08-27 1006
需要找一个w值让L最小，需要先随机选一个值w0，计算当w=w0时的微分是多少（该点上的切线的斜率k），若k0，反之。（L的值是我们设定好的），计算y的值（预估值），用这个估值和当天真正的观看人数z（真实值Label）做对比，看它们的差距e=|y-z|（差值），就可以知道这个L值的好坏。现在计算两个未知数的情况，分别计算w和b对L的微分（斜率），重复上面的操作，更新w和b的位置。
Datawhale X 李宏毅苹果书AI夏令营深度学习进阶 task2笔记
2301_80097115的博客
08-30 1758
Task2中含有三个任务点，2.1与2.2是介绍自适应学习率与分类，2.3是对应的实践跑通baseline。问题提出：当我们在训练的时候，往往容易出现一开始随着参数的不断更新，损失从明显的下降直到卡住无法再改变，这不一定是到达了极值点，反之，只是单纯地无法做到再下降，如图1.1，梯度仍然很大，但是来回震荡导致并没有变得更小。那么是否可以继续通过改变参数使得梯度进一步下降？图1.1 梯度来回震荡图（摘自参考书）
Datawhale X 李宏毅苹果书 AI夏令营 深度学习方向 task 3 笔记
2202_75857177的博客
09-03 185
或者在一般情况下：假设输入下x和输出y是一个一维的曲线（真实函数），但是我们无法观察到，我们只知道它上面的训练数据（从曲线上随机选取的几个点），当函数的弹性太大时，我们只知道这随机选取的几个点的数据，那么这个函数可能只会穿过这几个点(假设函数)，但在其他位置随机发展。当你假设的方程太简单并且包含的数据过少，没有任何一组数据可以让Loss（损失）变低，真正正确的一组数据并不在前面假设的方程中，解决办法可能有，给他更大的弹性----增加数据，但是弊端是不一定数据越多越好，可能是方程本身的问题。
Datawhale X 李宏毅苹果书AI夏令营 深度学习入门方向 Task03笔记
qq_61710014的博客
09-03 676
例如，一个模型在训练数据上将每个输入x映射到正确的y值，但对未知的x则随机输出，这种模型的损失在训练数据上为0，但在测试数据上表现差，因为它没有学到有用的预测规律，仅仅记住了训练数据。首先我们要理解什么是模型偏差，举个例子，如果我们使用一个很简单的模型，我们可以通过这个模型得到一个函数的集合，但是由于模型比较简单，导致让损失变低的函数并不在我们模型可以概括的范围之内，这样就导致我们无法将损失降低到最低。所以我们需要设置一个高灵活度的模型，通过深度学习或者是增加更多特征来使模型的偏差更低。
Datawhale X 李宏毅苹果书 AI夏令营 深度学习task2笔记
weixin_63973904的博客
08-29 248
分类实际过程是：输入 x，乘上 W，加上 b，通过激活函数 σ，乘上W′，再加上 b′ 得到向量 yˆ。但实际做分类的时候，往往会把 yˆ 通过 softmax 函数得到 y′，才去计算 y′ 跟 yˆ 之间的距离。如果在某一个方向上，梯度的值很小，非常平坦，我们会希望学习率调大一点；如果在某一个方向上非常陡峭，坡度很大，我们会希望学习率可以设得小一点。预热：让学习率先变大后变小，至于变到多大、变大的速度、变小的速度是超参数。横轴是迭代次数，竖轴是梯度的范数，即梯度这个向量的长度。
Datawhale X 李宏毅苹果书AI夏令营 深度学习入门方向 Task01笔记
qq_61710014的博客
08-27 268
机器学习，顾名思义，机器具备有学习的能力，简单来说，机器学习就是让机器具备找一个函数的能力。通过机器帮助找一个很复杂的函数，我们就可以实现输入和输出。比如说AlphaGo 也可以看作是一个函数，机器下围棋需要的就是一个函数，该函数的输入是棋盘上黑子跟白子的位置，输出是机器下一步应该落子的位置。随着要找的函数不同，机器学习有不同的类别。假设要找的函数的输出是一个数值，一个标量（scalar），这种机器学习的任务称为回归。除了回归以外，另一个常见的任务是分类（classification，）。
“Datawhale X 李宏毅苹果书 AI夏令营”深度学习入门笔记Task1
m0_74851616的博客
08-25 754
例如，可将函数写为y = b + wx，y是经过预测得到的数值，x为该视频，b,w即为要求的参数，是未知的，可以通过过去的视频播放量来确定。我们将带有未知参数的函数称为模型2.定义损失函数对于给定的数据集，损失函数计算模型在整个数据集上的平均损失（或成本）。这个平均损失代表了模型性能的“好坏”，损失越小，通常意味着模型的性能越好。苹果书中写到采用均方误差（Mean SquaredError，MSE）e = (ˆy y − y)2；
Datawhale X 李宏毅苹果书 AI夏令营 深度学习入门Task_3笔记
m0_62746405的博客
09-03 927
在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。如果在Kaggle上的结果不太好，虽然Kaggle上呈现的是测试数据的结果，但要。看看模型在训练数据上面，有没有学起来，再去看测试的结果，如果训练数据的损失很大，显然它在训练集上面也没有训练好。接下来。1.模型偏差模型偏差可能会影响模型训练。举个例子，假设模型过于简单，一个有未知参数的函数代θ1得到一个函数fθ1(x，同理可得到另一个函数fθ2(x，把所有的函数集合起来得到一个函数的集合。
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
08-24
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
Datawhale X 李宏毅苹果书 AI夏令营 进阶班 选修笔记
09-03
运行结果
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
08-26
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
Datawhale X 李宏毅苹果书 AI夏令营 入门班选修3
09-03
结果prediction
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1173
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 698
DINO系列学习总结
深度学习速通系列:中文命名实体识别（NER）数据集大全（含链接）
Ven%的博客
10-16 164
训练集8001条、验证集1000条、测试集1001条。：在清华大学开源的文本分类数据集THUCTC基础上进行细粒度命名实体标注，包含地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点等类别。：基于淘宝电商数据制作的NER数据集，包括商品名称、商品型号、人名、地名等类别。：基于新浪财经收集的上市公司高管简历，标注了国籍、教育背景、地名、人名、组织名、专业、民族、职称等8种实体。：由Boson提供，包含时间、地点、人名、组织名、公司名、产品名等类别，共2000个段落。
线性判别器LDA
qq_52421831的博客
10-10 1262
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
AI大模型带来哪些创业机遇？
最新发布
金木编程
10-16 150
低代码开发平台：创业者可以构建基于大模型的低代码或无代码平台，帮助用户快速生成应用程序、自动化工作流程，尤其是为中小企业提供高效的数字化转型方案。数据治理工具：帮助企业管理和优化大数据集，确保数据的质量、安全性和隐私保护，特别是在医疗、金融等对数据合规性要求较高的领域。自动化写作：为市场营销、新闻、广告、社交媒体等行业开发自动内容生成工具，帮助企业快速生成高质量的文案、广告词和新闻稿。AI 艺术生成：通过大模型生成数字艺术作品、视频剪辑、音乐，帮助创作者快速创作，并提供创意工具给个人和企业用户。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 393
论文创新点，将注意力机制 和卷积 相结合。
李宏毅深度学习教程：深度学习基础与趋势
深度学习是机器学习的一个分支，它在近年来吸引了大量的关注，特别是在人工智能领域。李宏毅老师的深度学习教程PPT旨在讲解这一领域的核心概念和技术。教程分为多个部分，从基础到进阶，逐步引导学习者理解深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值