强化学习入门到不想放弃-1

最新推荐文章于 2024-11-11 18:18:30 发布
最新推荐文章于 2024-11-11 18:18:30 发布
阅读量1k 收藏 8
点赞数 23
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingsoftcloud/article/details/136140350
版权

本来想写到深度学习里的，但是线下和别人聊RLHF，和PPO,DPO的时候，我发现大家一脑袋问号，其实也正常，深度学习里面数学的东西没那么多，入门容易一点，强化学习（现在也都谈强化深度学习，或者深度强化学习了）反而没那么要算力，要一堆算法和数学，所以就单开一个系列，专门写强化学习吧

      其实强化学习，某种程度上比深度学习更早的走进大家的视野，没错，就是那个把李昌镐，柯洁给打败的Alpha

图片

      第一课我们先讲点基础，从强化学习里最简单的无状态问题开始吧

      CMU提出的" 多臂老虎机”问题是概率论中的一个经典问题,亦是强化学习中的重要模块。人们针对解决此类不确定性序列决策问题,提出了多个“躲避老虎机”算法框架

     我们假设有10个老虎机，每个老虎机有一个摇把子，当然也有按钮押注，无所谓

     

图片

照片摄于2019年夏天Las Vegas

        每个老虎机中奖有不同的概率，这10个老虎机，我们想玩，我们把玩的步骤分为探索和利用

      探索&#x

最低0.47元/天 解锁文章
周博洋K
关注
强化学习入门到不想放弃-3
周博洋的博客
02-24 738
定义action的行为是啥样的，也就是我们的动作函数，这块就跟上节课不一样了，因为我不是有模型的，属于无模型的，就是我没办法有全局上帝视角，比较像第一章我讲的多臂老虎机问题 ，就是一个普通的贪婪算法，所以它也有了探索和利用两部分的action。在没有碰到哥布林和到达终点之前，我用while，让这它不断地学习，不断地try，反复更新本时刻的状态，action和下一个时刻的状态action以及reward，然后代入get_update函数，更新函数update。
强化学习入门到不想放弃-2
周博洋的博客
02-19 926
做一个2层的循环，一个循环行，一个循环列，就可以循环出所有的格子，每个格子，又分别有上下左右四个动作，来对应不同的分数，那每个动作的分数也分别要和自己对应的概率（目前的概率4个方向是相等的都是0.25）相乘，最后把和这个格子相关的所有的分数加起来，就是这个各自的分数。碰到哥布林人直接就没了，所以就把100分都扣光了，如果走正常的格子的话，就扣1分，为什么要扣，因为数学上要收敛，求出最佳路径，否则上面那3行，人物就随便走了，如图中所示，action给了个0，所以人物要往下一格，从[3,0],走到[2,0]
强化学习入门到不想放弃-5
周博洋的博客
10-26 835
也就是折扣系数，这个理解起来也不难，比如你做了一个动作不光对当前的state s有影响，也会对之后的state都会有影响，引申的含义就是当前的状态也会影响到之后状态所获得的奖励，但是当下的奖励的重要性一定会大于未来的奖励，γ的取值范围也是0到1（不能是1）， 比如0.4,0.6，理论上越近折扣系数应该越高，这个也好理解，列成式子就是。圆形的有的有一个后续，有的有多个候选选择（概率），不同的action，有不同的奖励得分，比如刷facebook就扣1分-1，比如学习就加10分之类的。
强化学习入门到不想放弃-4
周博洋的博客
10-07 667
3- Reward：Agent默认如果对环境的规则没有任何概念的话，它是不知道如何做的，但是比如弄洒了水咋桌子以上，这种的行为，其实就是一个减分项，如果我们认为洒水要-100分，而把水擦干会得200分，那在之后Agent于环境的操作就不会洒水了，而发现别的水洒了，它会擦干，其实就有点像小孩对这个世界刚开始的认识差不多，是靠一些奖惩机制来了解世界的。2- Action：就是对环境执行的动作，Action对环境执行了动作以后，环境就改了，比如把水给洒桌子上了，那state 也就是环境的状态，也就变了。
强化学习入门这一篇就够了！！！万字长文
热门推荐
CltCj的博客
08-06 11万+
强化学习 强化学习入门这一篇就够了万字长文带你明明白白学习强化学习... 强化学习入门这一篇就够了强化学习前言一、概率统计知识回顾1.1 随机变量和观测值1.2 概率密度函数1.3 期望1.4 随机抽样二、强化学习的专业术语2.1 State and action2.2 policy-策略2.3 reward2.4 状态转移2.5 agent与环境交互三、强化学习的随机性3.1 动作随机3.2 状态转移的随机性四、如何让AI自动打游戏？五、强化学习基本概念5.1 Return5.2 价值函数5.3 Q~
强化学习开发环境搭建与入门实验——CliffWalking与CartPole
亦梦亦醒乐逍遥的博客
10-06 5533
本文讲解了强化学习的环境配置+服务器特殊配置+CliffWalking和CartPole的代码解析
强化学习之入门笔记（一）
julac的博客
03-24 1144
上面的定义理解起来好难，我们用“影分身”大法，理解起来就容易多了我们从S点出发，并影分身出若干个自己;每个分身按照当前的策略选择行为;每个分身一直走到最终状态，并计算一路上获得的所有奖励总和;我们计算每个影分身获得的平均值,这个平均值就是我们要求的V值。用大白话总结就是：从某个状态，按照策略 ，走到最终状态很多很多次；最终获得奖励总和的平均值，就是V值【敲黑板】1. 从V值的计算，我们可以知道，V值代表了这个状态的今后能获得奖励的期望。2. V值跟我们选择的策略有很大的关系。
强化学习——从Q-Learning到DQN
理想三旬
11-27 1038
1 学习目标 复习Q-Learning； 理解什么是值函数近似（Function Approximation）； 理解什么是DQN，弄清它和Q-Learning的区别是什么。 2 用Q-Learning解决经典迷宫问题 现有一个5房间的房子，如图1所示，房间与房间之间通过门连接，编号0到4,5号是房子外边，即我们的终点。我们将agent随机放在任一房间内，每打开一个房门返回一个reward。图2为房间之间的抽象关系图，箭头表示agent可以从该房间转移到与之相连的房间，箭头上的数字代表rew
Course3-Week3-强化学习
虎慕的博客
12-17 2308
强化学习、贝尔曼方程、DQN算法、火星车探测/登月器
强化学习AI构建实战 - 基于“黄金点”游戏（一）
2301_81887304的博客
01-15 1356
笔者最早接触“黄金点”游戏是通过邹欣老师的软件工程教材《构建之法》及他的博客“创新的时机 – 黄金点游戏”，里面对游戏是这样介绍的：N个同学（N通常大于10），每人写一个0~100之间的有理数 (不包括0或100)，交给裁判，裁判算出所有数字的平均值，然后乘以0.618（所谓黄金分割常数），得到G值。提交的数字最靠近G（取绝对值）的同学得到N分，离G最远的同学得到－2分，其他同学得0分。
深度强化学习血泪调参史：从人工智障到人工智能
xz15873139854的博客
10-21 907
深度强化学习血泪调参史：从人工智障到人工智能背景算法区别功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 背景 解决DQN中的过估计（over estimate）问题，DQN中Q值会不断增高，一直到很大很大。 你好！ 这是你第一次使
数据分析——学习框架
不迁怒，不贰过。小知识，大智慧。
11-11 952
本教程旨在为读者提供一个系统化的数据分析学习框架，涵盖从数据收集、清洗、分析到可视化和报告的各个环节。通过深入探讨每个环节的理论与实践，读者将能够掌握数据分析的基本技能，提升数据处理和分析的能力。无论您是数据分析的初学者，还是希望进一步提升技能的专业人士，本教程都将为您提供有价值的指导和实用的工具，助您在数据分析的旅程中取得成功。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 1952
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 537
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 869
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
Ubuntu 20.04配置ollama并下载安装调用本地大语言模型
最新发布
电子爱好者磊雷
11-11 393
Ollama 是一种新的本地语言模型管理与运行平台，旨在帮助用户在本地环境中运行和管理大型语言模型（LLMs），例如 LLaMA、GPT 等。与传统基于云的解决方案不同，Ollama 专注于在用户本地系统上运行这些模型，以提高数据隐私性和响应速度。
Yolo11实战改进：一文读懂Yolo11到实战。
m0_47867638的博客
11-09 728
YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。
多媒体信息检索
Edward2022的博客
11-10 476
多媒体信息检索：信息检索(Information Retrieval)、文本检索、图像检索、视频检索、多模态学习、跨文本检索
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值