- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【FreeRL】Rainbow_DQN的实现和测试
将其中所有的trick都用上即为Rainbow_DQN。效果如下：（学习曲线）具体实现细节，代码中有较为详细的阐述。
2024-09-17 22:42:53
621
原创 【FreeRL】我的深度学习库构建思想
目的是写出像TD3作者那样简单易懂的DRL代码, 由于参考了ElegentRL和Easy的库,from easy to elegent 故起名为freeRL,free也是希望写出的代码可以随意的,自由的从此代码移植到自己的代码上。
2024-09-12 23:06:49
860
原创 【深度强化学习】常常使用的pytorch代码
最近又看了一遍《深度强化学习》，和TD3的代码，觉得市面上好多代码写的非常绚丽，但表达的意思，实际的操作确实同一个，再此总结一下这些常见的代码的含义。顺便自己构建一个比较简单易懂的强化学习算法供自己使用。暂时只搭建了部分，欢迎star参考了很多人写的代码，这里先不列举了。torch版本：2.3.1+cu121python版本：3.11.9设计深度强化学习库的思想。
2024-08-15 12:48:48
1153
1
原创 【MARL】MADDPG + attention 实现（+论文解读）
导师让在MADDPG上加一个注意力机制，试了很多种，下面的参考的论文的效果最好，先把其思路记录下来。之后有时间再试试自注意力机制。github和实际上的attention 不一样，论文里并不是直接加进去，而是巧妙利用了注意力机制里的一些特性，重新定义了Q函数，达到了神奇的效果。MADDPG论文中定义的Q 为QQiusa∣aiuioiQQiusa∣aiuioi))
2024-07-25 23:08:27
1088
原创 【rocketmq】rocket5.2.0安装以及和python和c++通信实现
记录一下rocket5.2.0安装以及和python和c++通信的踩坑史。由于只是简单实现，c++部分的实现可能并不完美。linux:ubuntu20.04 2核2g 有公网iprocketmq:5.2.0 （发现一定要看官网的说明，大多博客都是安装的4.x版本的）c++ :g++4.9.3 调用的库rocket版本：rocketmq-client-cpp-2.2.0python：3.11.5 调用的库rocket版本：rocketmq-client-cpp-2.0.0。
2024-07-17 12:54:28
928
2
原创 【内网穿透】打洞笔记
租了一个云服务器，想用vscode的ssh远程连接，发现有必须要有公网才能进行连接，于是又租了一个月的公网，但还是想知道有没有办法不用租公网也能实现连接，于是在大佬的帮助下成功实现，这里记录一下打洞的笔记。云服务的镜像linux 版本：Ubuntu20.04。
2024-07-16 21:33:07
1445
2
原创 【深度强化学习】关于混合动作空间转化为连续域空间的一点思考与实现
根据导师的文章，得到的想法，论文如下：论文链接：《Deep Reinforcement Learning for SmartHome Energy Management》现在我有一个环境，3v3坦克环境，此时坦克有两个动作，一个动作为行动（360度都能走），一个动作是射击（360度都能射击）。一开始的想法是0：行动，1：射击，两者都是0-360度的范围（0-2*pi）这就变成的一个离散域，一个连续域的情况一个是[0,1]离散域，一个是0-2*pi连续域的混合域。我们知道，在单个智能体的环境下，[0,
2024-06-29 16:45:09
563
2
原创 【深度强化学习】如何使用多进程（multiprocessing、pipe）来加速训练
进程：相当于电脑多开了很多应用。线程：相当于一个应用里，比方说：一个网页浏览器里有一个线程负责渲染页面，另一个线程负责处理用户输入，还有一个线程负责下载文件。这些线程在同一个进程内协作，共同完成浏览器的功能。比方说上图的VScode是32进程，这里显示每个进程里有多少个线程，如上图第一个code进程有32个线程。任务管理器查看线程数、PID值等方法了解到此，我们可以了解到上述线程和平时电脑上所说的8核16线程中的线程所区分开，第二个线程说的可以看作逻辑核心数。实际效果：我这里开了4个进程。
2024-06-25 14:17:45
1284
原创 【深度强化学习】如何平衡cpu和gpu来加快训练速度（实录）
一般来说，对于ppo这种类在线策略的深度学习算法：1、对于原代码全是gpu训练的(上面例子)，需要改三处，注意第三处，可改可不改第4处。2、全cpu训练的，前两处加的不变，第三处的修改有变化，：(这里也要特别注意，否则也会报同时用两个设备的错误)即：在模型训练时，把所有要计算的tensor张量加到gpu中。如下所示：顺口记法：对于在线的策略（无经验池的策略），大体框架改两处，对应设备改一处，否则会报错。强化学习是不是主要吃cpu而不怎么吃gpu?这个参考的结论基本对，这里做补充。
2024-05-31 14:28:15
2394
2
原创 【深度强化学习】关于同一设备上cpu和gpu计算结果不一致问题
1、在一般使用中，可以不必追求cpu和gpu计算的结果一致性，也也避免不了，且cpu和gpu导致的细小差别，在训练的效果上几乎没有区别。2、同时，在同一台设备上，我们尽量要求该程序的结果能复现，是为了更好修改超参数。（见:本文万能seed，适用于单机多卡）3、不必追求在不同的设备上能复现一致结果，最终的效果在相同的超参数和输入下，输出的结果也相差无几。4、cpu和gpu在设计时的目的也不同，有差异理所应当，这里本文只分析了在计算上和训练神经网络时的出现的差异，仅作参考。
2024-05-24 15:28:31
1633
1
原创 [通俗易懂]《动手学强化学习》学习笔记3-第5-13章
参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）强化学习入门（第二版）读书笔记我做了一个思维导图很方便理解之后学习完会在这里一直更新。补充一下要下载的库#第5章#第7章这里仅记录下学习时遇到的问题，已经学了一个月了，只是忙于毕设没空来更新一下学习进度，发现踏入门槛后学习强化学习就轻松了，当然还有一些实验时学到的一些小细节，准备下个博客再更。
2024-05-16 11:49:04
788
原创 [通俗易懂]《动手学强化学习》学习笔记2-第2、3、4章
参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）强化学习入门（第二版）读书笔记我做了一个思维导图很方便理解之后学习完会在这里一直更新。这里2、3、4章作者讲的非常好，就是得多读几遍，这里只做下当时学习时没弄明白的笔记。其余代码多看两遍就理解了，和伪代码都对的上。
2024-04-10 21:42:01
605
原创 [通俗易懂]《动手学强化学习》学习笔记1-第1章 初探强化学习
参考：《动手学强化学习》作者：张伟楠，沈键，俞勇动手学强化学习 网页版动手学强化学习 github代码动手学强化学习 视频强化学习入门这一篇就够了！！！万字长文（讲的很好）我做出的决策：选择了强化学习作为研究方向。强化学习是人工智能的未来。未来智能系统需要能够在不接受持续监督的情况下自主学习，而强化学习正是其中的最佳代表之一。我们知道，机器学习分为无监督学习，（有）监督学习，强化学习，迁移学习和深度学习等。（各有说法）无监督学习分析数据流，发现模式并做出预测，无需任何其他指导。解决聚类问题。
2024-04-07 10:02:59
1344
1
原创 【从零开始】自建高质量免费ip代理池（截止2024.4.1最新版）
为了防止ip被封后还能爬取网页，最常见的方法就是自己构建一个ip代理池。本来用的是下面这个开源项目ip代理池，github开源项目就是这个开源项目上好多免费的ip网站做了更新，导致它能获取的可用的代理频率不高，且它只是做了获取工作，没有做任何的测试，导致获取的代理匿名性层次不齐。用它获取的ip，用来做目标url，一个循环20次，也不能每次都能拿到网页上的数据，于是得自己做一个高质量的ip获取池。不过它开源的代码上也是有不少可以借鉴的。
2024-04-02 22:51:20
24911
3
原创 【任务计划程序】打卡签到（自用）
【github action+python】完成定时任务并推送（学会自制）（这里的github上这个glados签到不能用了，glados上的部分功能也变了，这里代码也跟着变一下。总是忘记给glados签到，试用了一下电脑自带的任务计划程序，给我每天打卡。
2024-03-13 10:14:04
668
原创 【center-loss 中心损失函数】 参数与应用
之前我们已经完全弄明白了中心损失函数里的代码是什么意思，并且怎么用的了，现在我们来运行它。【center-loss 中心损失函数】 原理及程序解释（完）这段主代码，还是先以小见大。首先，有很多点，以普通的拟合直线为例子，假设直线是用来做分类问题，一条直线分成两类，或者说是回归问题，则就是，每个点落在两类的例子是多少。（可以想象可以用来做很多事。我们是这样一步一步做的1、确立损失函数（作为评判好的模型的标准）。（损失函数有很多可选，具体使用具体分析）
2024-03-07 17:16:31
1599
原创 【点云】生成有凹凸的平面
尝试用一些数据生成有凹凸面的点云。我们姑且把z轴当成有凹凸的缺陷，x轴和y轴共同组成一个平面。可能在在使用邻近搜索中，用的方法不太好，用的是在球内的点搜索，或许换个方法就可以了。–2024.2.17。
2024-02-17 15:08:36
1071
2
原创 【最详解】如何进行点云的凹凸缺陷检测（opene3D）（完成度80%）
读前须知首先我们得确保你已经完全知晓相关的基本的数学知识，其中包括用最小二乘法拟合曲二次曲面，以及曲面的曲率详细求解。若还是没弄清楚，则详细请看下面链接。【点云、图像】学习中 常见的数学知识及其中的关系与python实战[更新中]（建议从一个标题上从上往下看，比较循序渐进）补充：曲率：反映曲面在某一点处的弯曲程度，它与该点及其邻近点的位置和法向量有关。爆肝5万字❤️Open3D 点云数据处理基础（Python版）学习东西都不是一蹴而就的，果然还是得一步一步脚踏实地地学才学的明白。
2024-02-08 00:41:23
4370
原创 [干净配置]win11新机必看,anconda和vscode的python环境配置
重装了下系统，将win10升到win11了，之前的文件也有些乱，记录下这次从装完系统到环境配置完的全过程。实际上用了anconda来管理包和python environment manager 来查看包。使用很舒服。
2024-01-04 23:49:10
2398
原创 【零基础】学python数据结构与算法笔记15-欧几里得、RSA
学习python数据结构与算法，学习常用的算法，b站学习链接RSA是非对称加密。传统密码是别人不知道加密方法，比方说说以前罗马皇帝发明了个加密算法，把字符都往后移三位，abc 发成def以前的传统密码可以通过暴力枚举来求出来，而现在密码是加密算法是公开的，但没有密钥是解不出这个密文的。Bob给Alice发密文，钥匙有两份，公钥大家都知道，是公开的，私钥是只有收件人才有的，只有它才可以破译知道密文是什么，窃密者不知道密文是什么。
2023-01-19 15:34:49
968
原创 【零基础】学python数据结构与算法笔记14-动态规划
学习python数据结构与算法，学习常用的算法，b站学习链接动态规划在基因测序、基因比对、hmm 有应用场景。从斐波那契数列看动态规划练习： 使用递归和非递归的方法来求解斐波那契数列。这种非递归求斐波那契数，可以看成是一个动态规划思想，每次都会把重复子问题的答案存起来。学习了动态规划算法。
2023-01-19 14:07:19
1771
2
原创 【零基础】学python数据结构与算法笔记13-贪心算法
学习python数据结构与算法，学习常用的算法，b站学习链接这些问题求解的都是最优解，最多，最大问题而这些不能解决的，比方说0-1背包问题，我们下次讲动态规划来实现。学习了贪心算法的4个例子。
2023-01-17 15:09:47
1003
原创 【零基础】学python数据结构与算法笔记12-AVL树
学习python数据结构与算法，学习常用的算法，b站学习链接二叉搜索树拓展应用B树（B-Tree）:B树是一颗自平衡的多路搜索树。常用于数据库的索引。哈希表也可以用做数据库的索引。还有一种在此之上的改进叫B+树（B+Tree）大同小异这个是3叉的B树，中间存两个数据17，35。比17小的存左边，17-35存右边，比17大的存右边。分成了三个块，查找时更块。学习了AVL树，数据结构到此告一段落。
2023-01-15 22:15:45
609
1
原创 【零基础】学python数据结构与算法笔记11
学习python数据结构与算法，学习常用的算法，b站学习链接学习了二叉树和二叉搜索树的基本实现。
2023-01-14 22:40:49
669
4
原创 【零基础】学python数据结构与算法笔记10
学习python数据结构与算法，学习常用的算法，b站学习链接链表是由一系列节点组成的元素集合。每个节点包含两部分，数据域item和指向下一个节点的指针next。通过节点之间的相互连接，最终串联成一个链表。手动创建的链表，将next指向下一个。顺序表（列表/数组与 链表按元素值查找：都是O(n)按下标查找：O(1) _O(n) #链表要一个一个查，数组直接按地址找到在某元素后插入：O(n)_O(1)删除某元素：O(n)_O(1)链表在插入和删除的操作上明显快于顺序表。
2023-01-12 17:09:36
863
3
原创 【零基础】学python数据结构与算法笔记9
学习python数据结构与算法，学习常用的算法，b站学习链接队列 —广度优先搜索 会一个一个分支去找路径最短的思路：从一个节点开始，寻找所有接下来能继续走的点，继续不断寻找，直到找到出口使用队列存储当前正在考虑的点。一开始有两条路可以走，将这两条路径都存在队列里，假设往右走是第一个，往下走是第二个然后第一个出队，往下走的路径第三个进队，第二个出队，往下走的路径第四个进队。走过的路标记，不通的路就出队，队列只存当前可以走的路径。最终走到终点，这个路径且是最短的。
2023-01-11 15:28:40
650
1
原创 【零基础】学python数据结构与算法笔记8
学习python数据结构与算法，学习常用的算法，b站学习链接数据结构是指相互之间存在着一种或多种关系的数据元素的集合和该结婚钟数据元素之间的关系组成。简单来说，数据结构就是设计数据以何种方式组织并存储在计算机中。比如：列表、集合于字典等都是一种数据结构。程序= 数据结构+算法数据结构按照其逻辑结构可分为线性结构、树结构、图结构线性结构：数据结构的元素存在一对一的相互关系树结构：数据结构中的元素存在一对多的相互关系图结构：数据结构中的元素存在多对多的相互关系。
2023-01-10 19:34:29
837
原创 【零基础】学python数据结构与算法笔记6
学习python数据结构与算法，学习常用的算法，b站学习链接在计数排序中，如果元素的范围比较大（比如在1到1亿之间），如何改造算法？桶排序(Bucket Sort): 首先将元素分在不同的桶中，在对每个桶进行排序。1到1亿分为几个桶，1到1千万为1个桶，1千万到2千万为一个桶，，先保证桶有序，最后把所有桶输出。常规桶，在所有数分到几个桶中后，按自己的排序排好序一共序号0~99 ，100个桶，最大是10000当出现10000//100时 = 100，但没有100序号的桶，所以。
2023-01-08 23:36:03
687
原创 【零基础】学python数据结构与算法笔记3
学习python数据结构与算法，学习常用的算法，b站学习链接快速排序：快快速排序思路：取一个元素p(第一个元素)，使元素p归位；列表被p分成两部分，左边都比p小，右边都比p大；递归完成排序先将5完成归位，然后将列表分成左边和右边两个部分，左边再进行归位，将2归位，分成1和4，3 两个部分，再使右边的4归位。右边列表也一样。现在主要实现归位的算法，再递归左边和右边就能实现整个代码。快速排序-框架。
2022-12-28 11:53:17
703
1
原创 【零基础】学python数据结构与算法笔记2
学习python数据结构与算法，学习常用的算法，二分查找：默认序列是有序的left下标为0，right下标为n-1,mid=(left+right)/2,5和3比较，5比3大，将right移动为mid的左边，让right = mid -1，再计算mid = (0+3)//2 = 1,mid指向22比3小，left移动到mid的右边，left = mid+1,更新mid = (2+3)//2 = 2,索引是2，指向3最后mid= 3 ，找到了。
2022-12-26 00:03:03
925
minist_test.csv 和minist_train.csv和minist_train_100.csv和minist_te
2022-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人