几度热忱-CSDN博客

原创【win11】Mouse without Borders安装问题&以管理员权限安装msi文件

【win11】Mouse without Borders安装问题&以管理员权限安装msi文件Mouse without Borders安装问题以管理员权限安装msi文件the installers has encountered an unexpected error installing this package. this may indicate a problem with this package. the error code is 2503

2024-06-27 20:18:14 425

原创【Ubuntu双系统】两块硬盘分别安装系统，一块硬盘安装Ubuntu 一块安装Windows

【Ubuntu双系统】两块硬盘分别安装双系统，一块硬盘安装Ubuntu 一块安装Windows前言安装Ubuntu前置操作安装过程参考文献前言机器情况：两块1T的硬盘，其中一块已安装Windows 11现需在另一块硬盘上安装Ubuntu，该硬盘还未初始化Ubuntu安装参考教程来自：【ubuntu20.04】10分钟win10安装ubuntu20.04双系统（无需Bios设置）由于需要为两块硬盘分别安装系统，而该教程是在同一块硬盘上安装双系统，在中间步骤与该教程略有区别

2024-06-12 23:24:36 853

原创【强化学习】gymnasium自定义环境并封装学习笔记

【强化学习】gymnasium自定义环境并封装学习笔记gym与gymnasium简介gymgymnasiumgymnasium的基本使用方法使用gymnasium封装自定义环境官方示例及代码编写环境文件__init__()方法reset()方法step()方法render()方法close()方法注册环境创建包 Package（最后一步）创建自定义环境示例

2024-06-12 16:39:33 1670

原创【强化学习】DPO（Direct Preference Optimization）算法学习笔记

【强化学习】DPO（Direct Preference Optimization）算法学习笔记RLHF与DPO的关系KL散度Bradley-Terry模型DPO算法流程

2024-05-30 20:14:27 2090

原创【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程

【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程RLHF训练的三个步骤步骤1：收集数据与有监督训练策略步骤2：收集数据训练奖励模型步骤3：结合奖励模型利用强化学习算法如PPO算法来优化策略参考内容

2024-05-29 11:03:14 1030

原创【强化学习】Q-learning，DQN，SARSA算法介绍

【强化学习】Q-learning，DQN，SARSA算法介绍强化学习算法分类基于价值的方法基于策略的方法Actor-Critic方法Q-learning算法DQN算法强化学习训练数据存在的问题经验回放机制备份网络机制Sarsa算法总结

2024-05-27 18:13:59 872

原创【Ubuntu常用命令】终端个人常用命令总结

【Ubuntu常用命令】终端常用命令总结查看硬盘挂载情况查看内存占用情况移动或重命名文件和目录复制文件或目录

2024-05-27 10:21:47 549

原创【强化学习】强化学习基础教程：基本概念、强化学习的定义，要素，方法分类以及 Rollout、episode回合、transition转移、trajectory轨迹的概念

【强化学习】强化学习基础教程：基本概念、强化学习的定义，要素，方法分类以及 Rollout、episode回合、transition转移、trajectory轨迹的概念1.基础概念1.1 强化学习的定义1.2 强化学习的基本要素2.强化学习分类2.1 根据agent学习方式分为基于策略的强化学习Policy based RL ，基于价值的强化学习Value based RL以及Actor-Critic方法2.2 根据理不理解所处的环境（agent有无学习环境的模型）分为model-based与

2024-05-27 10:11:45 2215

原创【动手学强化学习】第 7 章 DQN算法知识点总结

【动手学强化学习】第 7 章 DQN算法知识点总结本章知识点离散和连续的概念CartPole 环境DQN算法简介�Q网络的损失函数经验回放目标网络DQN 代码实践关于代码的思考及各变量的维度问题适用于以图像为输入的 Q网络

2024-05-24 19:02:36 624

原创【动手学强化学习】第 6 章 Dyna-Q 算法知识点总结

【动手学强化学习】第 6 章 Dyna-Q 算法知识点总结本章知识点基于模型的强化学习与无模型的强化学习方法简介无模型的强化学习方法基于模型的强化学习方法强化学习算法的评价指标Dyna-Q算法Dyna-Q 算法的具体流程Dyna-Q 代码实践

2024-05-23 12:50:47 746

原创【动手学强化学习】第 5 章时序差分算法知识点总结

【动手学强化学习】第 5 章时序差分算法知识点总结本章知识点：动态规划与时序差分（temporal difference，TD）的区别时序差分Sarsa算法多步Sarsa算法Q-learning算法在线策略学习和离线策略学习

2024-05-15 15:04:47 898

原创【Docker】Ubuntu下Docker的基本使用方法与常用命令总结

【Docker】Ubuntu下Docker的基本使用方法与常用命令总结。镜像image与容器container的关系基本命令- 查看 Docker 版本- 拉取镜像- 查看系统中的镜像- 删除某个镜像- 列出当前 Docker 主机上的所有容器，包括正在运行的、暂停的、已停止的，以及未运行的容器- 列出当前 Docker 主机上的正在运行的容器- 进入正在运行的容器- 退出容器- 删除容器- 使用 docker start 命令后跟容器 ID 或名称来启动容器- 停止正在运行的容器

2024-05-12 12:28:42 1044

原创【深度学习】wandb模型训练可视化工具使用方法

Wandb（Weights & Biases）是一款专为机器学习和深度学习设计的可视化工具，旨在帮助开发者更高效地跟踪、可视化和共享实验结果提供在线平台，可以轻松记录实验的超参数、输出指标以及模型的变化，并通过直观的仪表盘展示这些信息与tensorboard类似，均是机器学习可视化分析工具wandb相较于Tensorboard的优势：1.wandb的日志文件上传云端存储，可永久保存，tensorboard存储在本地2.wandb存储代码，数据集，模型，

2024-04-17 10:10:00 1955

原创【深度学习】执行wandb sync同步命令报错wandb: Network error (SSLError), entering retry loop

【代码】【深度学习】执行wandb sync同步命令报错wandb: Network error (SSLError), entering retry loop。

2024-04-16 20:11:19 788 3

原创【动手学强化学习】第四章动态规划算法知识点总结

【动手学强化学习】第四章动态规划算法知识点总结动态规划简介基于动态规划的强化学习算法悬崖漫步环境策略迭代算法策略评估：根据ππ计算VπVπ 策略提升：根据VπVπ优化ππ 策略提升定理的证明策略迭代价值迭代算法收敛性证明策略迭代价值迭代总结

2024-04-13 23:19:33 1048

原创【动手学强化学习】第三章马尔可夫决策过程知识点总结

【动手学强化学习】第三章马尔可夫决策过程知识点总结本章知识点：马尔可夫性质马尔可夫过程(也称为马尔可夫链）马尔可夫奖励过程马尔可夫决策过程策略马尔可夫决策过程的状态价值函数马尔可夫决策过程的动作价值函数状态价值函数与动作价值函数的关系贝尔曼期望方程MDP马尔可夫决策过程转换为MRP马尔可夫奖励过程蒙特卡洛方法占用度量最优策略贝尔曼最优方程（Bellman optimality equation）

2024-04-08 12:09:46 672

原创【深度学习环境配置】一文弄懂cuda，cudnn，NVIDIA Driver version，cudatoolkit的关系

查看自身显卡的算力，在此网站中搜索显卡型号，可以看到我显卡对应的算力是7.5该网站的后面有CUDA版本和算力的对应关系，查看显卡算力支持的CUDA版本

2024-04-06 19:32:29 1736

原创【动手学强化学习】第二章多臂老虎机问题知识点总结

【动手学强化学习】第二章多臂老虎机问题本章知识点：探索与利用的含义、多臂老虎机问题、累积懊悔的定义、增量式更新期望奖励、经典探索策略（ϵ-贪婪算法、上置信界UCB算法、汤普森采样算法）

2024-04-06 11:41:30 1100

原创【动手学强化学习】第一章初探强化学习知识点总结

动手学强化学习第一章主要的知识点：强化学习的定义、要素、环境、目标、预测与决策的区别、有监督学习与强化学习的区别

2024-04-01 23:16:44 923

原创【Pytorch入门】小土堆PyTorch入门教程完整学习笔记（详细笔记并附练习代码 ipynb文件）

【Pytorch入门】小土堆PyTorch入门教程完整学习笔记（详细笔记文末附练习代码 ipynb文件）

2024-03-28 15:27:17 3795 9

原创【监控GPU】监控NVIDIA GPU显卡占用状态的常用命令

每隔X秒执行一次 nvidia-smi 命令，并持续显示 GPU 的使用情况。这样可以更频繁地更新 GPU 的状态信息，提供更实时的监控数据。nvitop 是一个基于 NVIDIA GPU 的实时性能监控工具，类似于 Linux 系统上的 top 命令。windows下可使用以下命令，可达到类似效果，每秒更新一次信息，但每次都会打印一遍信息体验不是很好。nvitop能够以可视化的方式展示GPU的实时数据，对于监控 GPU 的性能和状态非常有用。每隔 0.5 秒执行一次nvidia-smi命令。

2024-03-23 20:11:54 6077

原创【强化学习公式推导】状态价值函数与动作价值函数贝尔曼期望方程，贝尔曼最优方程推导过程

1.回报2.当前时刻的回报与下一时刻回报的关系3.状态价值函数4.动作价值函数5.状态价值函数与动作状态价值函数的关系6.贝尔曼期望方程7.状态价值函数的贝尔曼期望方程8.动作价值函数的贝尔曼期望方程9.贝尔曼期望方程的另一种理解方式，结合下图理解

2024-03-21 15:53:14 368

原创【强化学习】安装gym==0.18.3报错的解决方法

安装gym==0.18.3报错的解决方法Collecting gym==0.18.3 Using cached gym-0.18.3.tar.gz (1.6 MB) Preparing metadata (setup.py) ... error error: subprocess-exited-with-error × python setup.py egg_info did not run successfully. │ exit code: 1 ╰─> [1 lines

2024-03-18 10:37:52 1515 2

原创【Anaconda】换源常用命令

虚拟环境换源常见命令

2024-03-15 22:11:04 705

原创【Anaconda报错】DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): repo.anaconda.com:443

【Anaconda报错】DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): repo.anaconda.com:443 Collecting package metadata (current_repodata.json): - DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): conda.anaconda.org:443DEBUG:urllib3.co

2024-03-15 21:16:35 1544

篮球计分器含C语言程序+仿真图+开发资料-计分-计时蜂鸣-24s进攻倒计时使用矩阵键盘+LCD液晶显示屏+蜂鸣器适用于普中单片机

空空如也