chenzeyu940717的博客

原创 强化学习-马尔可夫决策过程

目录2.1 基本概念2.2 随机性的来源2.3 回报与折扣回报2.3.1 回报2.3.2 折扣回报2.3.3 回报中的随机性2.3.4 有限期 MDP 和无限期 MDP2.4 价值函数2.4.1 动作价值函数2.4.2 最优动作价值函数2.4.3 状态价值函数2.5 实验环境2.1 基本概念强化学习主要就是基本概念比较多，容易混淆，不容易记住，主要说一下一些基本的概念。强化学习可以看做成一个马尔可夫决策过程（MDP），一个MDP通常由状态空间、动作

原创 强化学习-蒙特卡洛模拟

强化学习入门，跟着B站主播王树森逐步探索

原创 pytorch10实践(刘二大人)

今天来谈谈刘老师视频的第十讲，关于卷积神经网络的基础篇mnist数据集是28*28的黑白图像，而图像可以用0~255的矩阵来表示，而卷积操作就是对矩阵进行对应数乘然后相加。例如输入是5*5的矩阵，经过3*3卷积核卷积操作，得出一个3*3的输出矩阵。而整个过程其实分为两大部分：一、特征提取（Feature Extraction）二、分类器（Classification）特征提取又包含卷积和池化操作，分类器主要就是用全连接，再进行softmax操作得出概率分布。上图可以看出.

原创 pytorch09实践（刘二大人）

今天跟着刘老师继续学习pytorch第九节课，这节课主要将的是多分类问题，而刘老师在课件中举的例子是MNIST数字手写体识别这个入门但是很经典的数据集。之前我们所学的都是二分类问题，而MNIST是一个多分类问题，数据集的标签有10个，具体关于MNIST数据集的介绍可以看看这个连接：详解 MNIST 数据集关于解决多分类问题，这节引入了softmax函数，公式为：因为输出时一个概率分布，需要满足两个条件，第一个就每一项概率都要大于0，第二个就是概率之和等于1。视频中也给了一个简单的例子来.

原创 pytorch实践08(刘二大人)

今天跟着刘老师学习了第八讲加载数据集，主要是让数据训练时利用mini_batch进行训练，从而提高计算速度，主要区分三个词epoch，batch-size，iteration在视频中刘老师给出了三个名词的定义：epoch表示所有的样本训练的轮数，batch-size表示训练一次前馈和反向传播的样本的数量，iteration表示所有样本数量/一个batch-size所包含的样本数量。随后又讲了Dataset和Dataloader的作用，Dataset 是抽象类，不能实例，而Dataloader..

原创 pytorch实践07（刘二大人）

本节刘老师主要讲的是如何处理多维特征的输入，其实本节的内容主要还是接着上节的一维的特征输入，将特征改为多特征的输入，数据集用的是Diabetes Dataset，这是包括8*8的输入和8*1 的输出，具体数据集如下：其实处理这个多特征的问题和单特征的问题方法大同小异，同样分为4个模块，准备数据集、创造模型、构建损失函数和优化器、循环训练详细代码：import torchimport numpy as npimport matplotlib.pyplot as plt#准备数据集xy =

原创 pytorch实践06（刘二大人）

这节课刘老师主要Logistic回归，Logistic回归与线性回归最大的区别是：线性回归输出的是实数，而Logistic回归输出的是概率分布，所以在输出前加了Sigmoid函数，使得输出的结果满足概率分布。视频中截图如下：而损失函数也由之前的MSE改变成了交叉熵(CE)，而本节由于用的是二分类问题，只有通过或者不通过，所以用的是BCE（Binary CrossEntropyLoss），其实BCELoss是CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntrop..

原创 pytorch实践05（刘二大人）

B站刘二大人视频第五讲对比前几讲的内容只是在前几讲的基础上使用了pytorch框架来实现线性模型，并没有做更多的理论上的更新，使用pytorch框架构建模型训练主要分为4大部分：如下图：第一部分：下面来逐块说明。...

原创 pytorch实践04（刘二大人）

今天学习了刘二大人B站上面的pytorch实践第四讲，这节主要讲的是反向传播算法，关于反向传播在视频中有如下例子的讲解：黑色（位于上方）的线是前馈传播，红色（位于下方）的线是反向传播，同样的刘二大人为了使小伙伴们能够熟悉反向传播的过程同样留了两个小作业上图我所做的结果为：-8上图我所做的结果为：2和2。感兴趣的小伙伴可以自己做一下，我的记过不一定正确。这是为了帮助大家加深对反向传播过程的理解。然后就是反向传播的代码：import torchimport matplotlib...

原创 pytorch实践03（刘二大人）

今天学习了B站刘二大人pytorch实践课程第三讲主要讲的是梯度下降算法，首先说的是梯度下降算法的数学模型其次是代码实现：import torchimport numpy as npimport matplotlib.pyplot as pltx_data = [1,2,3]y_data = [2,4,6]def forward(x): return w*xdef cost(xs,ys): cost = 0 for x,y in zip(x_dat

原创 pytorch实践02（刘二大人）