Achang的博客

总结：季节 SARIMAX 不适合把周期指定的很大，这里指定为144，拟合的速度非常慢， 并且吃内存。首先对于模型： SARIMA(p,d,q)x(P,D,Q)。这里的检查主要是考虑了季节拟合之后的残差的检查。利用mape指标对拟合的效果进行评估。差分之后的绿色线条显示序列比较平稳。下面检查是否需要季节差分。

可以休息，不要害怕休息，发呆是有益处的，但是不要去追逐信息流，不要用熵增的方式休息，这样越休息越累。不如好好闭上眼睛，冥想，休息。要成功，就必须让自己尽可能多地保持在汇聚的状态和学习的状态中。这就是做反自己的意思。发散状态是自发的，是熵增的，是不利于自己克服阻力和增加势能的。人的大脑有发散状态和汇聚状态。

再比如、大部份人年纪轻轻的时候打扮的花枝招展，谈了这个谈那个，天天为找对象而忧愁烦恼，你安于孑然一身，你能在下班之后的时光里静静享受孤独，给自己充电，学习论文里的先进知识。再比如，你高度重视睡眠，天天都让自己睡个好觉，那么你的生命力和大脑的敏锐度就得到了保障，你的硬件基础就比别人更加领先。你如果拥有伟大的梦想，如果你想要实现一个超越你周围人、超越一个平常人类的伟大的目标，你必须要付出非凡的、艰苦卓绝的努力。总之就是，你想一个失败的平庸之人会怎么做，会如何生活，反着来，不让自己成为和他一样的人。

无数人，包括那些高学历高智商的人，在这个平台上刷新一遍又一遍，疯狂的想要知道别人身上发生了什么事情，得到了什么更好的东西。自己已经有一碗了，吃的也已经很开心了，但是总是看着锅里还有肉，贪婪的本性趋势我们去探求得到更好的，更多的。从上学，到找工作，从买房到结婚生娃，他总是可以选择用自己的头脑去过度思考未来还没有发生的事情，从而让自己无限焦虑下去，直到生命终结。我们的生命是存在于当下的时刻的，对未来的过度思考会让我们失去当下，失去生命存在的基础，其实也就是在消耗和毁灭自己的生命。他距离他想要的东西更近了吗？

检查了很多遍发现是sys.path的不同的路径存在同名的包的冲突，然后python以第一个包为准，所以就报错了。

这造成了一些环境污染，因为/home/xxx/.local/bin 这个环境变量放在前面，文件夹里面的可执行的文件会比conda环境更加优先地执行。先说结论，把vscode中的配置项，下面这个，取消打勾，环境变量就正常了。环境变量中重复出现下面这两项。

资源文档：

总而言之，Natural Policy Optimization 是一种通过利用自然梯度来优化策略梯度算法的方法，旨在提高强化学习算法的收敛性和稳定性。Natural Policy Optimization 则通过利用策略参数空间的几何结构，以及对策略分布的自然梯度进行优化，来克服传统方法的局限性。计算自然梯度：根据收集的样本和估计的优势值，计算策略分布的自然梯度。传统的策略梯度算法通常使用梯度上升法来更新策略参数，但这种方法可能受到梯度估计的方差问题以及参数更新的不稳定性等挑战。

PPO 属于 on-policy 的算法，所以被认为它的样本效率比较低。在多智能体的环境下，off-policy的策略被广泛使用。在这项工作中，我们仔细研究了PPO在合作多智能体设置下的性能。我们展示了基于ppo的多智能体算法在四种流行的多智能体测试平台(粒子世界环境、星际争霸多智能体挑战、Google Research Football和Hanabi挑战)中实现了惊人的强大性能，只需要最小的超参数调整，并且没有任何特定领域的算法修改或架构。

我们假设他除了吃饭，睡觉，洗漱，拉屎之外，每天可以自主支配利用的时间是10个小时，所以用小时来计，他拥有600个小时的可利用时间，以及1万元用于生活费用和学习费用。回到前面的看病的例子上，如果打车可以节省半个小时的时间，那就是5万人民币，他付出的30块钱牛毛都不如，他绝对应该果断打车，如果他是一个眼光长远的人。他可以把时间花在：抖音小红书，跑步健身，打乒乓球，交友软件，打游戏，出去吃好吃的玩好玩的，科研，备考…很显然的是，最优解必然是最大化备考的时间，提高科研的效率，适当健身，最小化其他事情上面的时间了。

和尚念经多智能体强化学习框架研究。多智能体强化学习库。多智能体强化学习算法实现。多智能体强化学习环境的统一化，标准化。多智能体强化学习算法解析。多智能体强化学习 算法性能比较。

step 2: 选择持久分区的大小，也就是这个U盘中多大的容量还可以用于存储文件和数据。由于我的U盘比较大，所以我选择了8G。剩下8G给系统镜像，绰绰有余。（纠正，下面文件系统选项要选择 NTFS。step 1: 清空自己的U盘中的内容，点击选择按钮，选择一个自己已经下载好的 iso文件。step 3，点击开始，安装镜像。

你需要使你的读者（如你的指导老师，评审委员会等）能够理解你的研究的目的和方法，以及你的研究将会如何帮助学术界或社会更好的理解你的研究主题。研究内容是你计划研究的主题，包括你想要解答的问题，研究的目标，以及可能的假设。研究内容应该清晰明确，有指向性，能够明确告诉读者你的研究主题、目的和研究的重要性。研究方法是你将如何去实现你的研究目标，包括你将使用什么样的数据收集方式，分析方法，实验设计等。研究方法应该详细清晰，逻辑连贯，使得其他研究者可以复制你的研究。在开题报告中，研究内容和研究方法是两个核心部分。

我们介绍了无动作指南（AF-Guide），一种通过从无动作离线数据集中提取知识来指导在线培训的方法。流行的离线强化学习（RL）方法将策略限制在离线数据集支持的区域内，以避免分布偏移问题。结果，我们的价值函数在动作空间上达到了更好的泛化，并进一步缓解了高估 OOD 动作引起的分布偏移。在 D4RL 上的实验表明，与以前的离线 RL 方法相比，我们的模型提高了性能，尤其是当离线数据集的体验良好时。我们进行了进一步的研究并验证了价值函数对 OOD 动作的泛化得到了改进，这增强了我们提出的动作嵌入模型的有效性。

对于每个MTA，actor网络的输入是它的状态，表示为si(t)，然后通过带有ReLU激活层的两层全连接网络。最终的输出动作是根据输出概率随机选择的，输出动作用长度为K+1的one-hot向量表示。最重要的原因是在训练过程中，对于每一个agent来说，其他agent都是环境的一部分，其他agent的变化会使环境变得不稳定，这就打破了Q-learning算法所需要的马尔可夫假设。然后，我们提出了一种基于 MADDPG 的算法，如算法 1 所示，应用于我们的问题，以便 MTA 可以学习合作策略并提高系统效率。

In RL, every time the system transitions to a state s, it updates the reward function for that state. In our setting, we use the following equation, where R(s′) denotes the updated reward for state s: 下面公式展示的是，发生了状态转移的时候，奖励值的更新过程。越是右边，节省的钱越多，成本也就越低。

下面这个nbviewer可以在线打开github上的jupyter notebooks方便查看。

这篇文章写的很好了。

It can either update the value and policy upon receiving an experience sample or update after collecting all experience samples.（注意了，虽然online learning版本的Q-learning 可以实时地更新策略，但是它的新策略并不用来生成样本。简单滴说，behavior policy and target policy 一样的，那就是on policy。