- 博客(109)
- 收藏
- 关注
RSS订阅
原创 英文论文写作Tips 更新中
常用词汇：实验分析时：outperform; we argue that this is because; as a result;besidesThe result demonstrates xxxSpecifically, HA presents the worst performance on all datasets. Although having some progress, the parametric models such as ARIMA and VAR still perfor
2021-09-14 14:31:12
1723
8
原创 服务器出现 conda:command not found如何修复
注意这个地方的path要改成自己的bin目录哦，不能直接复制哦！命令打开，也可以在可视化界面找到对应文件，双击打开。文件，可以在终端使用。
2022-09-08 09:38:12
1133
1
原创 强化学习中的并行方法：ApeX框架 梯度并行，A3C经验并行 | 分布式异步参数更新， 分布式数据生成
有一个主网络和很多的worker。A3C把主网络的参数直接赋予worker中的网络，更新时。该架构依赖于优先记忆重放，只关注actor生成的最重要的数据。强化学习收敛速度慢，采用并行计算可以加快计算速度。与环境进行交互，产生的数据存储在。，对主网络的参数进行更新。
2022-08-25 11:28:30
1905
原创 pycharm中调试ray，设置断点不跳进去怎么办？解决方法
网上找了一下，在stackflow中发现了这个回答。框架，发现设置了断点后，并不会跳进相应函数。
2022-08-24 17:09:50
943
3
原创 超详细debug教程！小白必看！百分之八十的人都不知道的debug小技巧；pycharm界面如何设置？pycharm如何debug？for循环时如何停止？各种debug小技巧分享！
如果你是刚上手python的小白，一定要看这篇文章！如果已经用了好几年python，也不要错过这篇文章哦，总有一些小tips是你不知道的。
2022-08-19 14:57:02
1441
原创 服务器的CUDA是哪里来的？pytorch会自动安装CUDA吗？如何选择CUDA版本？nvcc --version的版本和nvidia-smi不一样是怎么回事？pytorch无法使用GPU怎么办？
我们安装pytorch的时候，也会顺带安装cuda，那这个cuda和服务器自带的cuda是什么关系呢？另外，安装pytorch的时候，这里的platform究竟是什么意思呢？我问了问之前使用这个命令的同门，他表示：“那个可能过时了，当时好像是3090的原因”。于是上网搜了搜，发现可能是pytorch版本和CUDA版本不一样，于是使用。的时候安装的是什么东西，有没有cuda（千万不要安装成cpu版本哦！命令，惊奇的发现，CUDA version居然是11.4！所以，大家下载pytorch的时候，一定要从。..
2022-08-12 14:51:01
4005
2
原创 找到一个超级神奇，百试百灵的解决 ModuleNotFoundError: No module named xxx 的方法
在pycharm里，将导入不了的文件夹右键设置为source，就可以啦！
2022-08-10 15:00:36
285
原创 本地导入不报错，服务器端报错 No module named xxx
代码】本地导入不报错，服务器端报错 No module named xxx。
2022-08-10 09:53:10
299
原创 解决mpi4py导入报错ImportError: libmpi.so.40: cannot open shared object file: No such file or directory
网上找了好久的方法，试了很多都不行。
2022-08-09 16:49:25
10810
5
原创 PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning 代码解析
PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning 论文代码运行笔记
2022-07-28 10:04:42
2134
10
原创 Unity行人随机行走不碰撞
属性Mass（质量）、Drag（阻力）、AngularDrag（角阻力）、UseGravity（是否使用重力）、IsKinematic（是否受物理影响）、CollisionDetection（碰撞检测）等。比如地面就可以不设置刚体，因为地面是永远不动的，把人物设置刚体就可以实现真实的物理碰撞效果了。将行人对象的Layer设置为相同层级，再调整碰撞矩阵，就会互相不碰撞了。这里的不碰撞并不是“避障”，只是不检测碰撞了。，所以在使用刚体时，根据可能发生的碰撞触发事件，适当的。的游戏对象相互接触的时候。......
2022-07-22 11:06:52
1735
原创 无人驾驶动态避障策略调研 | 机器人动态避障策略 | 行人轨迹预测 | 机器人导航
既然要避障，就需要知道周围障碍物的位置和速度，预测是否会相撞。一般分为三个步骤①障碍物检测②障碍物轨迹预测③避障光流传感器可以估计物体的速度轨迹预测，比较简单的方法是基于行人过去的速度和方向，预测下一时刻的位置坐标，判断是否会与机器相撞。..............................
2022-07-15 14:47:40
5383
原创 三篇强化学习用于多智能体路径规划的论文
期刊：applied science MDPI总结：使用VGG进行特征提取，再使用DQN进行决策。论文质量较低，缺乏很多重要内容，如：环境搭建、数据集介绍、action和state的相关描述，还有很多typo；而且论文中并未体现出多机器人的思想。论文模型图非常简单，画了跟没画似的。。。和常见的强化学习交互图一样。用到了CNN来处理像素信息（应该后续会作为state），但文中并未说明图像信息来源：reward设置：离目标近，reward +0.2；碰撞，reward -20；到达目标点，reward
2022-07-13 14:57:50
8053
原创 强化学习中 on-policy与off-policy 的理解；如何区分on-policy 与 off-policy；RL更新策略、policy结构总结
有趣的解释：古时候，优秀的皇帝都秉持着“水能载舟 亦能覆舟”的思想，希望能多了解民间百姓的生活。皇帝可以选择通过微服出巡，亲自下凡了解百姓生活（On-policy），虽然眼见为实，但毕竟皇帝本人分身乏术，掌握情况不全；因此也可以派多个官员去了解情况，而皇帝本人则躺在酒池肉林里收听百官情报即可（Off-policy）。Q-learning vs. Sarsa二者都是基于TD的强化学习策略，但是前者是off-policy（有目标网络和行为网络），后者是on-policy。on-policy与off-polic
2022-07-07 10:08:53
4107
1
原创 对word2vec的一些浅层理解
最近有朋友问到word2vec是怎么一回事，于是我又复习了一遍相关知识，记录下自己的一些思考，防止遗忘~word2vec是获取词向量的手段，它是在NNLM基础上改进的。训练模型本质上是只具有一个隐含层的神经元网络。它有两种形式 ① skip-gram：从两边预测中间 ② C-BOW：从中间预测两边；注意，这两种形式只是代表两种不同的训练方式，最终都是取输入层->隐藏层的权重，作为词向量。训练时，以CBOW为例，假设语料库是“今天的天气真好”；模型的输入是 "今 天 的 天 真 好"六个单词的one-h
2022-07-06 15:37:26
389
原创 Trajectory planning for multi-robot systems: Methods and applications 综述阅读笔记
本文中Multi-Robot System (MRS) 并不局限于机器人，指代的是UAV和UGV要求：安全到达指定地点，尽量选择短距离、短时间介绍了无人机和自动驾驶：（综述的名字明明是trajectory planning，但是文中全在讲path planning）将环境分解为多个网格，获取环境表示，需要识别哪些地方是起始点、障碍。相当于一张无向图啦那么，问题就变成 找到一条从初始节点到终止节点的路径迪杰斯特拉(Dijkstra)算法是典型最短路径算法，用于计算一个节点到其他节点的最短路径。 它的主要
2022-07-06 10:53:19
882
原创 [牛客网刷题 Day6] JZ27 二叉树的镜像
操作给定的二叉树，将其变换为源二叉树的镜像。返回的是一棵树，那得建立TreeNode吧，想到了两种方法：① 使用队列，从右往左存node，这样读出来的顺序就是镜像的；可是答案要求输出一颗树，我不知道怎么转换成树② 使用递归，当孩子为叶节点时，交换左右节点的位置；可是还是写不来，o(╥﹏╥)o偷偷看了答案，用堆栈存储节点，每次取出来就交换左右节点，于是照着这个思路写了一下代码：答案：看了看递归：解题步骤：1、特判：如果pRoot为空，返回空2、交换左右子树3、把pRoot的左子树放到Mirro
2022-07-05 10:29:15
204
原创 [牛客网刷题 Day5] JZ77 按之字形顺序打印二叉树
给定一个二叉树，返回该二叉树的之字形层序遍历，（第一层从左向右，下一层从右向左，一直这样交替）拿到题目的第一想法就是–使用队列呀，奇偶的时候存的东西不一样；行不通。。。后来又想到使用双边队列，分情况从哪边进哪边出，发现找不到什么规律。。。看了答案，发现用到了两个栈；也有使用队列，只不过每隔一层就反向打印一下根据reverse的思路，我花了二十分钟写出来了代码：答案：双栈（没咋看明白）：...
2022-07-05 09:38:40
99
原创 [牛客网刷题 Day4] JZ32 从上往下打印二叉树
不分行从上往下打印出二叉树的每个节点，同层节点从左至右打印。例如输入{8,6,10,#,#,2,1}，如以下图中的示例二叉树，则依次打印8,6,10,2,1(空节点不打印，跳过)，请你将打印的结果存放到一个数组里面，返回。可以用队列的思路：答案答案里有递归的思路，还是搞不太明白是咋回事呢...
2022-07-03 20:16:41
91
原创 [牛客网刷题 Day4] JZ55 二叉树的深度
输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度，根节点的深度视为 1 。第一次遇到树的题目，有一点点懵逼，不太懂他的构建过程第一反应是用递归，因为结束的条件很容易想到嘛：左节点右节点都为空but，我不知道应该怎么移动根节点耶。。。看了答案，也用到了递归的思想：有点懵。。递归好难啊o(╥﹏╥)o还可以用到队列的思想：队列的思路容易理解一些，就是将每一层都存进去，看看能存多少层，就加一...
2022-07-03 17:09:39
141
原创 [牛客网刷题 Day4] JZ35 复杂链表的复制
看不懂题目，好像输入和输出一样？？哦！原来是每个节点后面跟了一个next指针和random指针哦想法：用一个list存储所有的random节点，再把他们加到常规链表后面。但是null节点没法加next了，而且一开始dummy=pHead，那就一直有random存在。。。啊啊w(ﾟДﾟ)w，原来我搞错题意了！！题目是要求深拷贝，并不是把节点串起来呀！思路：建立一个字典，key是当前node的值，value是random的值；然后遍历这个字典。参考答案：思路有点类似，也是创建了一个哈希表，key是当前
2022-07-03 15:10:35
142
原创 多智能体强化学习算法整理
参考博客：多智能体强化学习算法【二】【MADDPG、QMIX、MAPPO】超级经典，是基于DDPG算法改进的通过“集中式训练分布式执行”的思路，计算出每个智能体的最优策略。Counterfactual Multi-Agent Policy Gradients：解决了合作式的MARL中，如何为各个agent分配奖励的问题。设置一个反事实基线（counterfactual baseline），将action与默认action的reward比较，若更高则说明做出了贡献。对比：多智能体强化学习(二) MAPPO算
2022-06-29 15:12:06
3040
原创 Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey 论文阅读笔记
这是一篇智慧交通领域的综述，侧重于讲解用强化学习解决交通信号灯管控 RL+TSC ；Traffic Signal Control ：交通信号灯管控，这部分还介绍了很多RL的基本概念，目标网络、经验回放等等，都是强化学习领域的常见知识点，可以看我其他笔记~交通信号灯管控：state：队伍长度、车辆位置、车辆速度目标：最小化十字路口的堵塞一般是十字路口，需要考虑不同方向和持续时长；四种绿灯阶段： North-South Green (NSG)南北方向通行, East-West Green (EWG
2022-06-23 15:30:28
535
原创 如何在服务器一次性运行多个python文件？（tmux搭配argparse）
在服务器开一个tmux窗口（服务器小技能(alias, tmux, htop,gpustat, zsh)超级方便，强推）直接将你想输入的命令用 & 连接起来，一次性复制到tmux中：
2022-06-09 11:36:11
626
原创 超好用的日志库 logzero
介绍链接python自带的日志库实在是太难用了，一点都不简洁！在朋友的安利下发现了这个超棒的库，直接 就可以输出，输出还有颜色，文件 + 行号，超级方便！输出文件有时间、代码行等信息
2022-06-07 15:02:02
217
原创 tensorflow转pytorch笔记；tf.gather_nd(x,y)转pytorch
记录了将tensorflow转pytorch时，一些常用的函数转换：
2022-06-02 18:23:19
409
原创 当lambda没有输入时，是何含义？
今天看代码的时候，看见一句代码[lambda: gym.make("SimulatedEnv-v0", ) for _ in range(args.training_num)] ；用到了lambda，但是冒号前是空的，没有输入，输出是右边那一堆。我第一反应是这个lambda是不是可以不要哦后来做了一下实验，发现还不能去掉呢！def f(x): return x * 100print([f(3) for i in range(5)])print([lambda: f(3) for i in
2022-05-25 11:39:05
175
原创 处理数据集，使用LabelEncoder将所有id转换为从0开始
推荐算法领域的数据集总是从1开始，或是一串数字，每次处理的时候都要多一个user2id的操作，实在是麻烦干脆在使用数据集前就处理好，并保存下user2id字典，方便后续查询代码如下：import numpy as npimport pandas as pdfrom sklearn.preprocessing import LabelEncoderdef load_mat(): data_path = '../dataset/ml-100k/u.data' df_data =
2022-05-23 17:16:37
365
原创 基于强化学习的推荐系统仿真环境，Virtual-Taobao，RECSIM，RecoGym 论文整理
文章目录1.Virtual-Taobao: Virtualizing real-world online retail environment for reinforcement learning (AAAI 2019)关键：模拟了淘宝中的customer和interaction整体流程如下：方法：两个agent一. GAN-SD: Generating Customer Features二. MAIL:Generating Interactions三. ANC: Reduce Overfitting to
2022-05-03 17:21:08
1296
1
原创 查看论文是否被SCI检索
进入SCI官网重点来了！要选择“核心数据集”，引文索引选择前面两项！因为web of science网站除了有SCI索引，还包括了很多别的会议数据集。
2022-04-22 11:42:42
1091
原创 [牛客网刷题 Day4] JZ76 删除链表中重复的结点（递归）
题目描述：思考：刚开始的想法：弄一个set，存下所有节点的不重复val，最后再组合成链表。转头一想，组合成新链表好麻烦哦。那就，phead往下走一步，如果值出现在set中，就再往下走，应该就可以啦~哎呀，好像没有我想的那么简单呢 if pHead is None: return None res = before = pHead num = set() while pHead: if pHead.v
2022-04-21 17:11:46
484
原创 [牛客网刷题 Day4] JZ23 链表中环的入口结点
题目描述：思考：建立一个list，存储节点，出现重复，就返回。class Solution: def EntryNodeOfLoop(self, pHead): if pHead is None or pHead.next is None: return None mem = [] while pHead not in mem: mem.append(pHead) pHea
2022-04-21 12:25:24
374
原创 [牛客网刷题 Day3] JZ18 删除链表的节点
题目思考：记录目标节点前的位置before，以及目标节点以后的位置after，再用before.next=after，不过还是遇到了老问题！before走着走着，就丢掉了前面的点了！需要一个dummy=before，指向同一个地址，再让before指向after，就好啦。其实不要after节点也可以呢，before指向cur.next也是一样的道理呢。class Solution: def deleteNode(self , head: ListNode, val: int) ->
2022-04-18 21:36:16
196
原创 [牛客网刷题 Day2] JZ52 两个链表的第一个公共结点（没做出来）双指针巧解
题目描述：思考过程：好像想的太复杂了，首先固定phead1，寻找val一样的phead2，找到的话，就都往右移动一位；否则phead+1。可是需要注意好多好多的边界啊，写了一两个小时，最后还是好几个用例通不过，只能根据用例慢慢改，可是怎么改都不对。class Solution: def FindFirstCommonNode(self , pHead1 , pHead2): # write code here if pHead1==None or pHead2
2022-04-18 00:09:55
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人