吴恩达机器学习全课程笔记第七篇

最新推荐文章于 2024-08-16 23:31:18 发布
最新推荐文章于 2024-08-16 23:31:18 发布
阅读量1.2k 收藏 28
点赞数 23
分类专栏： Machine Learning 文章标签： 机器学习 笔记 人工智能 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63222058/article/details/136440309
版权

目录

前言

P114-P120

推荐系统

协同过滤

均值归一化

协同过滤的tensorflow实现

查找相关项目

P121-P130

基于内容的过滤

强化学习

P131-P142

状态动作值函数定义

Bellman方程

随机环境

连续状态空间应用实例

前言

这是吴恩达机器学习笔记的第七篇，第六篇笔记请见：

吴恩达机器学习全课程笔记第六篇

完整的课程链接如下：

吴恩达机器学习教程（bilibili）

推荐网站

scikit-learn中文社区

吴恩达机器学习资料（github）

P114-P120

推荐系统

如果在上述的基础上，我们还拥有每部电影的一些特征

对于第一个用户而言，可以根据下面的方式去计算一个得分去预估他会对某些电影的评分

对于这个算法，我们接下来研究它的成本函数

通过最小化成本函数来学习、训练我们想要得到的参数

协同过滤

上述的预测是基于我们已知这些电影的某些特征的前提下，如果事先没有这些特征怎么办呢？

上面展示了如何根据参数去猜测某一部电影的特征

接下来我们根据成本函数去学习x1、x2的值，但需要注意的是：这里之所以有效是因为我们有四个用户的参数

把两种成本函数放在一起，变成协同过滤的成本函数表达式

协同过滤的梯度下降：

下面将要把上述的算法从预测数字推广到预测二进制标签上去

下面是预测二进制标签在推荐系统中的一些应用实例

从回归到分类的转换和前面的类似，可以套入一个sigmoid函数

最后，预测标签的协同过滤的成本函数如下

均值归一化

增加归一化，将帮助算法对用户做出更好的预测

在正常情况下，对于一个还没有进行任何评价的用户，刚开始假定w、b全0，因为它并不会对最后的x做出影响，但是这样的话在训练之后w、b还会一直保持0，将无法得到有帮助的结果

进行均值归一化的过程如下所示

这种方法使得用户五与其它用户对五部电影的评分平均值相同，虽然直接给用户五赋值0有利于增加推荐算法的效率，但却不能使算法表现出很好的效果

同理，如果对列进行均值归一化，适用于一部电影还没被任何人评分的预测场景中

协同过滤的tensorflow实现

tensorflow的一个好处是可以为您计算出成本函数的导数是什么，所以你只需要实现成本函数，而不需要任何微积分的知识

下面是使用tensorflow进行梯度下降的一个例子

协同过滤的实现如下

查找相关项目

如果你去一个网上购物网站，正在看一个项目，网站可能会向你展示一些类似的东西

协同过滤的缺陷

P121-P130

基于内容的过滤

第二种推荐算法是基于内容的过滤，我们让它和协同过滤做出一个比较：

在协同过滤中，我们有许多用户给不同用户的打分，相比之下在基于内容的过滤中，我们有用户的特征和用户的特征，我们想要找到一种方法，在用户和项目之间找到良好的匹配，我们要做的就是计算一些向量，用户用vu，电影用vm，然后取他们点积，试图找到好的匹配，

如何得到这两个向量，可以使用深度学习的方法

上述单独建立了两个神经网络，实际上可以把它画在一起

在得到上述的向量之后就可以找到相似的电影了

在大规模应用中，主要包含两个步骤：

强化学习

强化学习（Reinforcement learning，RL）讨论的问题是一个智能体(agent) 怎么在一个复杂不确定的 环境(environment) 里面去极大化它能获得的奖励。通过感知所处环境的 状态(state) 对 动作(action) 的 反应(reward)， 来指导更好的动作，从而获得最大的 收益(return)，这被称为在交互中学习，这样的学习方法就被称作强化学习

以训练直升机自动驾驶为例，很难想监督学习那样得到x和理想作用y的数据集，这就是为什么很多控制机器人的任务重监督学习方法效果不好，强化学习的关键输入是一种叫做奖励的东西，它告诉直升机什么时候做得很好

下面是强化学习的一些应用

下面是火星探测器的一个简化例子，并标出了强化学习主要研究的四个指标

在这个例子中，让我们算一下向两边走的收益（return），其中γ是折现系数，是一个小于1的值

强化学习中决策和策略决定了接下来的要执行的动作

所以强化学习的目标就是找到这个策略（π）

下面对三个例子进行总结，回顾强化学习的概念

马尔科夫决策过程

P131-P142

状态动作值函数定义

下面是强化学习中状态动作函数的定义和几个例子的计算，主要方框圈起来的是状态函数值返回值的条件，三个条件缺一不可

在进行行动决策的时候，只需要选出Q函数不同行动下的最大值对应的行动即可

Bellman方程

bellman方程可以帮助我们计算上述的状态动作值函数

随机环境

有时候命令火星探测器向左，但由于环境问题，无法向左

在随机化强化学习中，我们关注的不是最大回报，因为那是个随机数，我们感兴趣的是最大化所有可能的总奖励的平均值，这是后就引入了期望收益

由此可以更改上面学习的bellman方程为

连续状态空间应用实例

自动直升机的状态可以写成：

对于月球着陆器可以提供一些奖励供它进行强化学习

建立一个神经网络去学习状态动作函数

学习算法

强化学习的限制

亿维数组
关注
  • 23
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
吴恩达机器学习课程笔记6
xieyuxin0816的博客
03-29 82
吴恩达机器学习课程笔记6 神经网络： 代价函数： 前向传播： 反向传播
吴恩达机器学习课程笔记
qq_45743549的博客
06-16 661
初学者跟随吴恩达课程的机器学习笔记
吴恩达神经网络和深度学习笔记
01-09
该文档包含了吴恩达神经网络和深度学习的课程笔记（包含第一门课到第五门课），还有相关的论文和数据。有兴趣可以下载学习！
【机器学习】什么是连续状态空间？如何构建一个强化学习的算法以及构建强化学习算法中的一些问题
m0_51816252的博客
08-21 3275
以上就是今天要讲的内容，本文主要讲解了如何去构建一个强化学习算法以及构建算法中存在的问题及如何去解决。首先介绍了什么是连续状态空间，这是构建强化学习算法必须理解的，然后介绍了构建一个强化学习算法的框架，重点就是找到策略Pi。随后提到了学习状态值函数的完整算法。
火星探测器背后的人工智能：从原理到实战的强化学习
TechLead的专栏
11-17 3028
本文详细探讨了强化学习在火星探测器任务中的应用。从基础概念到模型设计，再到实战代码演示，我们深入分析了任务需求、环境模型构建及算法实现，提供了一个全面的强化学习案例解析，旨在推动人工智能技术在太空探索中的应用。
吴恩达机器学习笔记pdf格式
05-19
《吴恩达机器学习笔记》是一份详尽的教育资源，旨在帮助学习者深入理解机器学习这一领域的核心概念和算法。吴恩达，作为人工智能和在线教育领域的先驱，以其深入浅出的教学风格闻名，他的机器学习课程在全球范围内广...
机器学习 吴恩达 课堂笔记1
08-08
在机器学习领域，吴恩达的课程被广泛视为入门的经典。本篇笔记主要涵盖了线性回归、逻辑回归以及神经网络的基础知识，同时也讨论了模型优化和评估的方法。 1. 线性回归： 线性回归是一种基本的预测模型，其假设函数...
【机器学习】深度学习实践
最新发布
zhugedali_的博客
08-16 346
深度学习实践是一个系统性的工程，需要综合运用数学、统计学、计算机科学等多领域的知识和技术，同时结合丰富的实践经验和不断的尝试与改进，才能构建出性能优异、满足实际需求的深度学习模型。- 通过网格搜索、随机搜索或基于模型的超参数优化方法（如 Hyperopt、Ray Tune 等），寻找最优的超参数组合，如层数、神经元数量、学习率、正则化参数等。- 对于序列数据处理，如自然语言处理中的文本，可选择循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）或 Transformer 架构。
《机器学习》——运用OpenCV库中的KNN算法进行图像识别
weixin_73504499的博客
08-16 1103
KNN算法的简单介绍、下载OpenCV库、实验内容、实验结果、完整代码、自己手写数字传入模型中测试
机器学习之 K 近邻算法图像识别实战
m0_73697499的博客
08-16 320
K 近邻算法的工作原理非常直观：给定一个训练数据集，对于每一个待分类的对象，找出特征空间中最接近它的 K 个训练样本，这 K 个样本的多数类别决定了待分类对象的类别。距离度量：通常使用欧氏距离作为相似性度量。K 的选择：K 的值决定了分类的灵活性，较小的 K 值使得分类更加敏感，较大的 K 值则更加稳健。
数据平衡的艺术：解锁机器学习中的类别不平衡难题
2401_85760095的博客
08-16 305
类别不平衡（Class Imbalance）是指在数据集中，某些类别的样本数量远多于其他类别。这种情况在现实世界的分类问题中非常普遍，如信用卡欺诈检测、疾病诊断等。类别不平衡会对模型的性能产生负面影响，导致模型偏向于多数类，而忽视少数类的特征和模式。
解码思维的多维镜：机器学习中的多头注意力
2401_85812053的博客
08-16 269
而多头注意力（Multi-Head Attention），更是这一机制中的集大成者，它允许模型同时从多个角度审视数据，捕捉更为丰富的信息。本文将深入探讨多头注意力的原理、优势，并展示如何在代码中实现这一强大的技术。多头注意力是一种强大的注意力机制，它通过并行运行多个注意力头来获取输入序列的不同子空间表示，从而更全面地捕获序列中的语义关联。本文详细介绍了多头注意力的工作原理、优势，并提供了实际的代码实现，希望能帮助读者更好地理解和应用这一技术，以解决实际问题，并推动机器学习领域的发展。
【人工智能】全景解析：【机器学习】【深度学习】从基础理论到应用前景的【深度探索】
小李很执着的博客
08-13 1386
总结：人工智能作为当今科技领域的前沿，正在迅速改变各行各业。尽管AI带来了前所未有的机遇，但也伴随着重大挑战。人类社会需要在推动AI技术发展的同时，谨慎应对其可能带来的风险和问题。 展望：未来，随着技术的进一步成熟和完善，AI将以更智能、更安全的方式融入人类生活，推动社会进步和人类福祉。
8/16 机器学习之逻辑回归
friendnj的博客
08-16 88
逻辑回归看起来是分类问题，但实际上还是建立数学函数模型计算最小化损失函数。这里的模型就是根据数学知识建立其对应的概率函数。
机器学习（2）-- KNN算法之手写数字识别
m0_74896766的博客
08-16 939
本篇介绍了如何使用KNN算法进行手写数字识别：训练模型：收集数据 – 读取图片数据 – 转化灰度图 – 处理图像 – 装进array数组 – 调整数据结构 – 分配标签 – 训练模型测试模型：评估性能 – 识别问题 – 优化和改进测试数据：查看实用性。
【人工智能】TensorFlow和机器学习概述
weixin_51306394的博客
08-13 996
TensorFlow是由Google Brain团队开发的开源机器学习库，用于各种复杂的数学计算，特别是在深度学习领域。以下是对TensorFlow的详细概述：
智能跃迁：机器学习中的迁移策略全解析
2401_85761762的博客
08-16 272
迁移学习是一种机器学习技术，它允许我们将在一个任务上预训练的模型进行微调，以适应新的相关任务。这种技术极大地提高了模型训练的效率，降低了对大量数据的依赖，增强了模型在多样化环境中的鲁棒性。
机器学习——第十四章 概率图模型
weixin_46002351的博客
08-16 271
表示在任意时刻t，若状态为\(s_i\)， 则在下一时刻状态为\(s_j\)的概率.表示在任意时刻t， 若状态为\(s_i\), 则观测值\(o_j\)被获取的概率.(3) 根据状态\(y_t\)和状态转移矩阵A 转移模型状态，即确定\(y_t+1\);(1) 设置t = 1 ，并根据初始状态概率\(\pi\)选择初始状态\(y_1\);(4) 若t < n ， 设置t = t + 1 ，并转到第(2) 步，否则停止.(2) 根据状态\(y_t\)和输出现测概率B 选择观测变量取值\(x_t\);
吴恩达机器学习笔记：斯坦福大学2014年机器学习课程学习笔记
吴恩达机器学习个人笔记完整版是根据斯坦福大学2014年机器学习课程视频所做的笔记，主要记录吴恩达老师上课时的重点。该笔记对机器学习的基本概念、模型、算法和应用进行了详细的介绍和解释。 从目录中可以看到，该...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值