算法、原理、设计模式、非线性控制、深度强化学习

cpu版（极速）：

对于matrix-vector form形式的状态价值贝尔曼方程求解，若已知MDP的动态（转移矩阵P和奖励函数R），则计算复杂度的贡献主要来自矩阵求逆，复杂度为O（n^3）。故当状态的规模较大时，计算复杂度难以容忍。以下给出element form的贝尔曼方程定义及不同形式。immediate reward是在动作采取后获得的。matrix-vector form就省略了。总忘记贝尔曼方程的推导过程，自己推一遍吧。

首先用conda指令下载发现报错未找到源 报错 “PackagesNotFoundError”，然后开梯子使用pip下载。其中envpath可使用conda env list查看，env_name是个性化虚拟环境的名称。windows11下，使用anaconda在虚拟环境下下载gymnasium[all]库报错.然后重新使用pip install gymnasium[all]然后重新使用pip下载gymnasium[all]然后在别的博客中发现要下载这个：swig包。于是乎根据提示接着下载blosc2。

然后使用D:\anaconda3\envs\env_name\Scripts\pip.exe install packet_name下载目标packet。使用conda install 下载 stable_baseline3出现问题 一番搜索下是Anaconda.org缺少源。接着使用：conda env list查看目标env的位置 如D:\anaconda3\envs\env_name。注意，上述env_name和packet_name为用户自己的虚拟环境名称和所想要下载的packet名称。

提出的目的是为了解决在实际问题中，从不连续（如方波）或带随机噪声（如模型不确定性或外部干扰）的参考信号中，合理提取连续信号及微分信号的问题。在实际应用中，我们所得到的信号往往是带有噪声的,为了从这些含噪信号中提取或恢复原始信号，就需要设计滤波器，以得到原始信号的最佳逼近 [1]，因此TD可视为滤波器。在设计飞行器姿态控制器的过程中，参考指令为方波形式，致使信号不连续处的导数发生较大变化，严重影响了依赖于参考指令导数及其二阶导数的控制器（如SMC）的鲁棒性。[M]. 北京: 清华大学出版社, 2002.

【价值迭代&策略迭代 伪代码】Value iteration and policy iteration pseudocode。

在Simulink中的User defined function使用syms函数，报错simulink无法使用外部函数。具体来说：结果Sinmulink报错：独立代码生成不支持函数'syms，代码生成器不支持等..Function 'syms' not supported for code generation.

关闭梯子清空镜像源：在pytorch官网找到对应的版本与命令：复制、下载。

蒟蒻小♥复习机试，记录一些疑点和注意点。细节见代码注释。

通过一些例子重拾一些记不清了的c、c++知识。首先是位运算：不会吧，不会有人机试爆零吧~

补充完成CNN的网络结构定义方法实现宝石识别 2.可尝试不同网络结构、参数等力求达到更好的效果卷积神经网络是提取图像特征的经典网络，其结构一般包含多个卷积层与池化层的交替组合。数据集地址：宝石分类数据集地址文件夹目录结构为：data/data218356/，后面的218356这个编号在paddle中启动不同的环境时会发生改变。数据集文件名为archive_train.zip,archive_test.zip。该数据集包含25个类别不同宝石的图像。这些类别已经分为训练和测试数据。图像大小不一，

numpy对矩阵操作后，输出的形状与想象的不一样。点乘的padding操作容易出错。

【代码】algorithm.h C艹。

迪杰斯特拉算法主要特点是从起始点开始，采用贪心算法的策略，每次遍历到始点距离最近且未访问过的顶点的邻接节点，直到扩展到终点为止。如下图所示，G 是一个无向图，其中蓝色边的长度是 1、橘色边的长度是 2、绿色边的长度是 3。求从 A 到 S 的最短距离是多少？

进一步地，如果在具体鸭子类的构造函数/公共方法中提供参数可以传入实现了Flyable与Quackable的具体类，那么在运行过程中即可改变鸭子不同的飞行方式与叫唤方式，甚至鸭子可以不用关心对方是谁。有一群十分特殊的鸭子，他们有的会飞，有的会叫，有的既会飞又会叫，且飞的款式和叫的方法各有不同，在鸭子们的行为能够改变。请设计满足这些需求的类图。当在处理一个事务时，有多种处理方式，并且需要在运行时决定使哪一种具体实现时，就会使用策略模式。具体的飞行与叫的实现交给非鸭子的类去实现，仅仅抽象出飞行与叫的接口。

最近在看Head First一书，即使在软件工程的课程中学习过UML类图如何绘制，但显然已经忘掉很多了..希望通过这篇博客拾起来吧在下文中，将类图抽象为“节点”与“边”，从图论的角度将类图的概念抽象成这两种方式进行描述；其中，节点为具体类、抽象类、接口和包等实体的介绍，边即为他们之间关系的介绍，主要是泛化、关联与依赖关系。

使用Wireshark观察本地端口间TCP通信过程，三次握手与四次挥手。

根据文末Reference 1 实现的迷你区块链，暂有 block、chain、pow、UTXO现在实现的bc存在double spending问题，并且创世区块和创世交易的哈希与mian中测试样例 转出的address有出入，故交易不正确。先保留个能运行的版本吧。

问题描述：原本使用的是.bib文件引用文献，后来觉得不方便，不如写在文末，改用\\bibitem{*}然后使用pdflatex->bibtex->pdflatex*2进行编译接着报错 I found no \bibdata command

闲来无事，go go go。本文记录了go语言环境配置过程中，我遇见的一些问题以及解决方案与解释。