weixin_45671036的博客

本文来自西湖大学赵世钰老师的B站视频。本节课介绍最优策略和贝尔曼最优公式。贝尔曼最优公式是贝尔曼公式的一个特殊情况，本次学习有两个重要概念和一个工具。(1) 两个概念：optimal state value 和optimal policy.(2) 一个工具：bellman optimality equation(BOE).强化学习的目标就是寻找最优策略，因此本文主要讲最优策略。

安装transformers库，运行bert模型时出错，显示torch版本太低，要2.0以上的，所以更新显卡驱动，重新安装pytorch。

本文来自西湖大学赵世钰老师的B站视频。本节课主要介绍贝尔曼公式。本节课概要：本节课需要抓住两个内容，state value 和 the Bellman equation。

本文来自西湖大学赵世钰老师的B站视频。本节课主要介绍强化学习的基本概念。下节介绍贝尔曼公式。

本文来自西湖大学赵世钰老师的B站视频。本文首先对要学习的内容做一个总结，没有基础的看不懂也很正常，可以先了解一下，后期学完各个章节之后再回头来看。基本概念：状态、动作、奖励、回报、episode、策略…。通过一个网格世界的例子，一个机器人找到目标区域的例子。之后会将这些概念放在Markov decision process(MDP)的框架下去介绍。

最近在学习图神经网络，需要用到PyG库，发现这个库的安装不能简单的使用pip install 安装，这里记录一下。

transformer在各个领域的应用越来越广，本文从实用的角度出发，对transformer各个模块进行讲解与实现。主要参考如下：1、论文参考：Atttion is all you need。2、NLP理论参考：预训练模型的前世今生。3、代码参考：hyunwoongko。4、代码参考：Pytorch官方文档。① 词向量就是用一个向量来表示一个单词，词向量是一个矩阵，矩阵的行数代表单词个数，列数代表每个单词的长度。

transformer注意力机制实现过程整理。

这几天正在看NLP中的注意力机制，代码中涉及到了一些关于张量矩阵乘法和填充一些代码，这里积累一下。主要参考了pytorch2.0的官方文档。

Tensor中文翻译张量，是一个词不达意的名字。张量在不同学科中有不同的意义，在深度学习中张量表示的是一个多维数组，它是标量、向量、矩阵的拓展。标量是零维张量，向量是一维张量，矩阵是二维张量。tensor之于pytorch等同于ndarray之于numpy，它是pytorch中最核心的数据结构，用于表达各类数据，如输入数据、模型的参数、模型的特征图、模型的输出等。各类张量的api如下：可以参考。

Kriging模型理论推导1、前言2、条件3、基础知识3.1、方差的理解3.2、概率密度函数3.3、多元正态分布4、理论推导4.1 模型建立1、前言简介：Kriging模型是一种通过已知试验点信息来预测未知试验点上响应的无偏估计模型，其最早是由南非矿业工程师Ｄ.Ｇ.Krige于1951年提出。20世纪70年代，法国的数学家Ｇ.Matheron对Ｄ.Ｇ.Krige的研宄成果进行了进一步的系统化、理论化，并将其命名为Kriging模型。1989年Sacks等将Kriging模型推广至试验设计领域，形成了基于

Faster RCNN1、简介2、RCNN3、Fast-RCNN4、Faster-RCNN(1) 特征提取模块(2) RPN模块(3) RoI Pooling模块(4) RCNN模块5、总结1、简介在2014年RCNN算法问世之后，经历了众多版本的改进，但具有里程碑式意义的当属Fast RCNN与Faster RCNN算法，下面就这三个算法，按照时间顺序进行介绍。2、RCNN在RCNN出现之前，常用的物体检测流程如下：（1）首先，将图像作为输入，然后切分成不同的区域；（2）然后讲每个区域视为单独

贝叶斯优化1、问题的提出2、贝叶斯基础知识3、贝叶斯优化流程3.1 高斯过程回归4、代码实战1、问题的提出① 在介绍贝叶斯优化之前，我们先来介绍一下机器学习的一般思路，机器学习可以看作是一个黑盒子模型，我们输入一个X，通过机器学习模型得到一个输出y，也即是：图中样本矩阵如下图：通过机器学习模型，我们可以给每一个特征分配一个权重w，如果有m个特征，那么就有m个权重w，这些权重可以组成一个参数矩阵W，机器学习就是通过对大量样本进行训练，更新并确定这个权重矩阵的(以三个特征为例，见下图)。② 由上

机器学习中的调参前言1、随机搜索和网格搜索2、 遗传算法前言超参数调优是机器学习中的重要一环，拿随机森林算法而言，树的个数，数的深度，剪枝参数等等需要找到最优的参数组合，超参数较少时，我们可以采用for循环遍历所有参数的可能组合，但参数很多时，最优参数的搜寻将会变得困难，本文介绍了几种常用的调参方法，后续如果学到还会更新其他调参算法。其中网格搜索法和随机搜索法采用的是sklearn中的GridSearchCV类和RandomizedSearchCV类，所用实例的数据集点击这下载，数据集为爱荷华州住房数据

回归算法理论知识1、最小二乘回归2、Lasso回归3、Ridge岭回归4、Elastic Net 弹性网代码演示1、数据集的获取2、代码实操总结理论知识1、最小二乘回归假设有m个特征，n个样本点，则输入数据为：于是可以得到：由此我们计算得到的损失为：优化w，对w求偏导得：由此可以得到：上述公式共包含有逆矩阵，而逆矩阵存在得前提是该矩阵为满秩矩阵。但实际中得特征矩阵往往不是满秩矩阵，此时可利用加正则化的数学方法进行改进。2、Lasso回归加上一个L1范数惩罚：3、Ridge

LeedCode知识点之位运算一、python中的位运算1、相关概念2、实例技巧一、python中的位运算1、相关概念概念1：python中的位运算符是把数字看作二进制来进行计算的。概念2：需要掌握十进制与二进制之间的转换方式。举例如下：a为二进制数0111001，则转换为对应十进制应该为：57。a的二进制数从后往前依次乘以2的0次方，2的一次方等等，最后加在一起得57。2、实例技巧例1：# 60的二进制是00111100，1的二进制数是00000001# &符号的意思是如果相应

遗传算法一、整体理解二、相关概念三、遗传算法大致流程四、代码解析完整版代码和结果一、整体理解遗传算法的思想就是物竞天择，适者生存，通过N代的遗传、变异、交叉、复制，进化出问题的最优解。举个简单的例子(可能不太恰当，理解就行)：假设有一群猫，有一种病毒，有的猫对这种病毒免疫，而有的猫不免疫，我们想让所有的猫都具有抗病毒能力，那就将这些猫放在这种病毒环境中，则具有免疫病毒能力的猫活了下来，不具有抗病毒能力的猫死了，经过繁衍、迭代，到最后只剩下抗病的猫，因为猫把抗病毒这个优秀基因留给了后代。二、相关概念相

目录1、区分2、代码实例1、区分Python类包含三种方法：实例方法、静态方法和类方法。参考的有python基础教程，实例方法：要想调用实例方法，必须要实例化类，然后才可以调用。也就是说，调用实例化方法需要类的实例(对象)。静态方法：静态方法在调用时不需要类的实例(静态方法不需要self参数)，定义静态方法需要@staticmethod装饰器(decorator)。当这个类中所有对象都具有该方法时，常用静态方法。类方法：类方法的调用方式与静态方法一样，但是类方法却与实例方法的定义相同，都需要类似于

目录1、基本数据Tensor1.1、Tensor数据类型1.2、Tensor之间的类型转换1.3、Tensor的创建与维度查看查看Tensor种元素总个数1.4 Tensor的索引与变形1.4.1 索引1.4.2 变形操作一：view()、resize()、reshape()函数1、基本数据TensorTensor，即张量，是PyTorch中的基本操作对象，可以看做是包含单一数据类型元素的多维矩阵。从使用角度来看，Tensor与NumPy的ndarrays非常类似，相互之间也可以自由转换，只不过Tens