李宏毅机器学习-4

最新推荐文章于 2023-05-13 21:27:35 发布
VIP文章 最新推荐文章于 2023-05-13 21:27:35 发布
阅读量301 收藏 2
点赞数
分类专栏： 笔记 文章标签： 李宏毅机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/titing3539/article/details/90709398
版权

李宏毅机器学习-4

1、LR损失函数和梯度下降

在这里插入图片描述
一般线性函数的损失函数是平方损失函数，LR求最大似然估计是因为sigmoid函数求导后无法保证是凸函数，在优化的过程中可能得到的是局部最小值，而非全局最优。取对数是方便求导。
在这里插入图片描述
损失函数除以m这一因子并不改变最终求导极值结果，通过除以m可以得到

最低0.47元/天 解锁文章
浪中求稳
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅机器学习--Datawhale202210.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径。 随着统计学的发展，统计学习在机器学习中占据了重要地位，支持向量机（SVM）、决策树和随机森林等算法的提出和发展，使得机器学习能够更好地处理分类、回归和聚类等任务。进入21世纪，深度学习成为机器学习领域的重要突破，采用多层神经网络模型，通过大量数据和强大的计算能力来训练模型，在计算机视觉、自然语言处理和语音识别等领域取得了显著的成果。 机器学习算法在各个领域都有广泛的应用，包括医疗保健、金融、零售和电子商务、智能交通、生产制造等。例如，在医疗领域，机器学习技术可以帮助医生识别医疗影像，辅助诊断疾病，预测病情发展趋势，并为患者提供个性化的治疗方案。在金融领域，机器学习模型可以分析金融数据，识别潜在风险，预测股票市场的走势等。 未来，随着传感器技术和计算能力的提升，机器学习将在自动驾驶、智能家居等领域发挥更大的作用。同时，随着物联网技术的普及，机器学习将助力智能家居设备实现更加智能化和个性化的功能。在工业制造领域，机器学习也将实现广泛应用，如智能制造、工艺优化和质量控制等。 总之，机器学习是一门具有广阔应用前景和深远影响的学科，它将持续推动人工智能技术的发展，为人类社会的进步做出重要贡献。
李宏毅机器学习笔记-生成模型和逻辑回归
iwill323的博客
10-18 1814
李宏毅机器学习笔记-生成模型和逻辑回归
【李宏毅机器学习笔记（一）】关于机器学习的定义和过程初步推导
weixin_51263595的博客
02-23 197
深度学习入门笔记，站在前人的肩膀上。
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
李宏毅2021春季机器学习课程视频笔记2：（选修）深度学习简介，反向传播
诸神缄默不语的博客
07-19 852
李宏毅2021春季机器学习课程视频笔记2：（选修）深度学习简介，反向传播 1. 深度学习简介 1.1 Step1：建立模型 1.2 Step2：定义函数优劣（损失函数） 1.3 Step3：选择最好的函数（优化参数） 2. 反向传播
【机器学习】李宏毅——类神经网络训练不起来怎么办
FavoriteStar的博客
09-05 403
【机器学习】李宏毅——类神经网络训练不起来怎么办，讲解了很多种可以进行改进的方法，非常值得学习！
【机器学习】李宏毅 - 03 神经网络优化
wyw970624的博客
10-14 788
神经网络训练优化 - critical point 局部最小值；local minima；鞍点；saddle point；海塞矩阵；Hessian matrix；批次；Small Batch vs Large Batch；动量；梯度下降
李宏毅机器学习HW5.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅机器学习hw4.zip
最新发布
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅机器学习第三周_逻辑回归
m0_68477761的博客
05-13 281
在本周主要对逻辑回归进行了学习，从中了解了交叉熵（cross entropy）的表达式以及它的优势，还对softmax函数与sigmoid函数进行了比较，懂得了在多分类问题中，多用softmax函数，而不是sigmoid函数。逻辑回归(Logistic Regression)是一种统计学学习方法,用于分类问题的预测。它利用线性回归方程,通过一个sigmoid函数将其值转换到0到1之间,可以输出分类的概率。
机器学习笔记（李宏毅 2021/2022）——第二节：机器学习攻略任务
toro180的博客
06-27 1743
机器学习笔记（李宏毅 2021/2022）——第二节：机器学习攻略任务
【李宏毅机器学习2021】Task04 深度学习介绍和反向传播机制
QAQterrible的博客
10-17 1379
【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-2022 10月》的学习笔记。本次是对深度学习介绍和反向传播机制的学习总结。本节针对上节课内容，对batch、梯度下降方法进行讲解。通过本次学习加深了对optimization方法的理解，同时明白对深度学习的优化方向和解决办法。 = =原本17年的视频将bp来着，到21年视频里么有找到bp的。把之前将loss的过完了，和题目出入较大。后面把bp的视频和笔记补上，其实第二次笔记已经写了BP相关的逻辑。
李宏毅2021机器学习笔记（六）
qq_44698709的博客
04-05 537
分类Classification 不同于回归，分类产生的y我们需要先归一化到0-1区间，且概率和为1.再与y-hat进行比较 这里用的是soft max函数 这个exp是指数函数的意思。 但是如果2个分类可以直接取sigmoid，就是等价的 完全等价欸！！！ 接下来我们讨论Classification的Loss函数 当然我们可以用MSE 但是一般用Cross-entropy交叉熵 其实 我们一般就是先用soft max+cross -entrop.
softmax回归(Softmax Regression)
天泽28的专栏
05-15 1万+
Softmax Regression 注：这篇博客是看NG的UFLDL_Tutorial写的博客笔记，其中大量文字和公式来自该网页，自己只添加了公式推导和实验编程部分。网址为：Link。 本文主要从下几个方面介绍softmax回归（softmax regression）： softmax regression的代价函数softmax regression模型参数的特点权重衰减（收缩法
李宏毅机器学习课程笔记2：Classification、Logistic Regression、Brief Introduction of Deep Learning
徐子尧的博客
03-29 1万+
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第4-6课所做的笔记和自己的理解。Lecture 4: Classification: Probabilistic Generative Model以根据宝可梦各属性值预测其类型为例说明分类问题。 训练数据是若干宝可梦的各属性值及
深度学习知识十一：sigmoid、relu和softmax总结
yangdeshun888的博客
02-24 4743
sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义： 　　A logistic function or logistic curve is a common “S” shape (sigmoid curve). 　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。 sigmoid激活函数(也叫logistic
李宏毅2021机器学习笔记（十一）
qq_44698709的博客
04-08 817
自注意力机制（Self-attention） 之前我们CNN的时候还是给定大小的矩阵，但是如果说我们的矩阵输入是可变的呢？？那要怎么做？？ 举个简单的例子：文字处理。 我们把每一个单词都视作一个Vector，那么一个句子就是一个大小不固定的Matrix 最蠢的做法是 One-hot Encoding 也就是说：如果有n个单词，我就搞一个n维向量 而且你看不到词汇之间的关系：如动物，单复数等 还有一种是Word Embedding 这个 最直观的表现就是动物在一团..
机器学习之softmax和cross-entropy
努力的小硬币
03-22 743
参考来源https://blog.csdn.net/haolexiao/article/details/72757796 定义 所以softmax函数所表示的可以看成为对分类结果的概率分布。 softmax可以看成对概率分布的一个刻画，所以既然有概率分布，就可以用cross-entropy来定义损失函数 ...
深度学习常用激活函数之— Sigmoid & ReLU & Softmax
热门推荐
Leo_Xu06的博客
12-19 10万+
深度学习常用激活函数-ReLU
李宏毅机器学习2023
03-30
很抱歉，我无法提供关于李宏毅机器学习2023的介绍，因为我是CSDN自主开发的AI助手，无法获取最新的＊＊＊系教授，他在机器学习和深度学习领域有着广泛的研究和教学经验。他的机器学习课程在全球范围内非常受欢迎，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值