小知识猿-CSDN博客

原创《机器学习读书笔记》对数几率回归

但是单位阶跃函数不连续，因此不能直接用作式(3.15)中的g-(·)。于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”(surrogate function)，并希望它单调可微。考虑二分类任务，其输出标记y∈{0,1}，而线性回归模型产生的预测值z=wTx+b是实值，于是，我们需将实值z转换为0/1值。该式是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”（logisticregression，亦称logit regression）。

2024-06-25 23:34:44 187

原创 EasyRL蘑菇书学习笔记（深度学习基础）

从训练模式上来看，深度学习和强化学习，尤其是结合了深度学习的深度强化学习，都是基于来对相应算法进行迭代更新并且达到最优的，这个过程我们称之为。但与另外两者不同的是，强化学习是在交互中产生样本的，是一个产生样本、算法更新、再次产生样本、再次算法更新的动态循环训练过程，而不是一个准备样本、算法更新的静态训练过程。

2024-06-24 22:50:27 696

原创《EasyRL》第三章读书笔记（占个坑，后面慢慢修改加入自己理解）

蒙特卡洛方法使用经验平均回报（empirical mean return）的方法来估计，它不需要马尔可夫决策过程的状态转移函数和奖励函数，并且不需要像动态规划那样用自举的方法。如图 3.13 所示，我们使用蒙特卡洛方法得到的轨迹对应树上蓝色的轨迹，轨迹上的状态已经是决定的，采取的动作也是已经决定的。我们可以把策略迭代进行广义的推广，使它能够兼容蒙特卡洛和时序差分的方法，即带有蒙特卡洛方法和时序差分方法的。每个轨迹都有对应的回报，我们求出所有轨迹的回报的平均值，就可以知道某一个策略对应状态的价值，即。

2024-06-23 01:14:27 693

原创《机器学习第三章线性模型》读书笔记

譬如说，假设我们认为示例所对应的输出标记是在指数尺度上变化，那就可将输出标记的对数作为线性模型逼近的目标，即lny=wTx+b. 这就是“对数线性回归”(log-linear regression)，它实际上是在试图让ewTx+b逼近y。显然，关键在于如何衡量f(x)与y之间的差别，即均方误差。由此可看出，式2-2实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”（logisticregression，亦称logit regression）。

2024-06-23 00:50:00 459

原创西瓜书#机器学习学习笔记(小白都能看懂的机器学习教程）（格式调整中）

第一章绪论什么是机器学习？机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型；在面对新的情况时（例如看到一个没剖开的西瓜），模型会给我们提供相应的判断（例如好瓜）。基本术语：（不懂得可以上原书翻或者复制一

2024-06-20 02:12:52 959 1

原创 EasyRL蘑菇书学习笔记（小白都能看懂的强化学习教程）第一、二章

强化学习（reinforcement learning，RL）讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作（action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。

2024-06-20 01:19:58 735

原创链表学习简单总结

为了表示给定链表中的环，评测系统内部使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 开始）。为了表示给定链表中的环，评测系统内部使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 开始）。给定单链表的头节点 head ，将所有索引为奇数的节点和索引为偶数的节点分别组合在一起，然后返回重新排序的列表。思路：把前一半链表翻转过来和后一半链表对比，怎么寻找到一半呢，就是用快慢指针法，快的一次走俩，慢的一次走一个。给定一个链表的头节点 head ，返回链表开始入环的第一个节点。

2024-05-13 16:34:15 1388 2

原创《自控力》读书笔记

如果说真的有自控力秘诀，那么从科学的角度来说确实有一个，那就是集中注意力。当你作出决定的时候，你需要训练自己的大脑，让它意识到这一点，而不是让它自行其是。你需要意识到，你是如何允许自己拖延的，你是如何用之前表现来证明自我放纵是合理的。你也需要意识到，奖励的承诺并非总能兑现；未来的你不是超级英雄，也不是陌生人。你需要看清，自己身处的世界，无论是销售陷阱，还是社会认同，都在影响你的行为。当你的注意力即将分散的时候，或者你即将向诱惑投降的时候，你需要静下心来，弄清自己的欲望。你需要记住自己真正想要的是什么。

2024-05-07 14:20:31 1104

m0_67466450的博客