- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 强化学习原理python篇08——actor-critic
强化学习原理python篇08——actor-critic前置知识TD ErrorREINFORCEQACAdvantage actor-critic (A2C)torch实现步骤第一步第二步第三步训练结果Ref本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcemen
2024-02-01 16:31:21
932
原创 强化学习原理python篇07——策略梯度法
本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning]Policy Gradient Methods 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-31 09:20:41
1172
原创 强化学习原理python篇06（拓展）——DQN拓展
在第2次迭代，正确的值被赋给了Q(s2, a)，但是Q(s1, a)的更新还是不对的。假设在训练开始时，顺序地完成前面的更新，前两个更新是没有用的，因为当前Q(s2, a)和Q(s2, a)是不对的，并且只包含初始的随机值。但是在论文中，作者提出一个非常巧妙的解决方案，就是从神经网络的Q表达式中减去优势值的平均值，它有效地将优势值的平均值趋于0。该论文的核心发现是，神经网络所试图逼近的Q值Q(s, a)可以被分成两个量：状态的价值V(s)，以及这个状态下的动作优势A(s, a)。不需要影响其他部分的实现。
2024-01-29 15:32:36
864
原创 强化学习原理python篇06（拓展）——DQN-FrozenLake
本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Deep Q-learning 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-29 10:24:45
541
原创 强化学习原理python篇06——DQN
本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Deep Q-learning 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-27 16:40:43
1229
原创 强化学习原理python篇05——蒙特卡罗方法
写一个模拟该实验的类，用坐标（0，1）代表s1，（1，1）代表s2，（0，0）代表s3，（1，0）代表s4。则对于左上角的状态s1，重复模拟实验，获得1000次discount reward。则最大的action_value对应的action为2，则选择向下走。
2024-01-17 09:02:19
614
原创 强化学习原理python篇04——迭代法
本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] ，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-09 11:36:09
943
原创 强化学习原理python篇03——贝尔曼最优公式
本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] ，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-07 17:40:20
1118
原创 强化学习原理python篇02——贝尔曼公式推导和求解
本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] State Values and Bellman Equation章节，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-05 17:58:50
1116
原创 强化学习原理python篇01——基本概念
本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] Basic Concepts章节，请各位结合阅读，本合集只专注于数学概念的代码实现。
2024-01-04 18:43:31
950
原创 Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）
Java 的官网下载链接：https://www.oracle.com/java/technologies/downloads/为 hadoop 配置 java 环境，打开hadoop安装目录的etc/hadoop/hadoop-env.sh文件。打开hadoop安装目录，进入/etc/hadoop路径，找到配置文件，并按照如下配置。一直下一步，等待完成，一直复制两台虚拟机hadoop101，hadoop102。分发hadoop配置，只分发配置文件，其余文件不同虚拟机有自己id不要修改。
2023-11-08 12:57:34
4189
1
原创 爬虫实战——何时使用多线程，何时使用多进程
线程是cpu调度的基本最小单位，cpu调动最小资源，通过线程执行资源，一个进程可以拿着资源开若干个线程，不同线程之间交替执行。运行中的程序，独立的运行程序，进程是资源的基本最小单位，有独立内存，是并行操作。线程是不能随便创建的，所以需要控制线程数量，线程池可以完成这项工作。继thread并重写Thread的run方法。多进程：多个任务相互独立，很少有交集。多线程：任务相对统一，互相特别相似。同时发生任务，并行。
2023-11-01 16:54:57
92
1
原创 爬虫实战——re方法抓取ajax异步加载的工业信息化部政策
查看一下这个请求的请求头，是一个 get 请求，观察一下 url 和 payload 发现原网址为 https://wap.miit.gov.cn/api-gateway/jpaas-publish-server/front/page/build/unit，？参考：https://www.bilibili.com/video/BV1NX4y1X7AE?有时候html源代码不包含数据资料，这是因为开发者设置了异步加载数据的策略，本文以。至此，目标 url 就解析完毕了。获得目标url后，直接对该网址请求。
2023-09-26 17:42:47
126
原创 02.python爬虫教程笔记——re正则表达式
compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，供 match() 和 search() 这两个函数使用。re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match() 就返回 none。和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回，迭代器可以提高速度。字符串中找到正则表达式所匹配的所有子串，并返回一个列表。返回一个元组包含匹配 (开始,结束) 的位置。返回被 RE 匹配的字符串。
2023-09-21 14:58:13
46
原创 01.python爬虫教程笔记——GET和POST
参考：https://www.bilibili.com/video/BV1NX4y1X7AE?在客户机和服务器之间进行请求-响应时，两种最常被用到的方法是：GET 和 POST。提示访问出错，原因服务器需要特定请求头，查看一下默认请求头。POST请求往往需要提交参数，以百度翻译为例，其输入。get请求也可以传递参数，例如。后面即为参数=值，用&连接。
2023-09-20 14:45:38
173
1
原创 pytorch（六）—— 感知机
pytorch 感知机Perception 感知机torch实现perceptionRef：Perception 感知机一个简单的网络图为下图所示：4个输入单元，3个输出单元如果用X\pmb XXXX表示输入，O\pmb OOOO表示输出， H\pmb HHHH表示隐藏层。H=X⋅w1+b1O=H⋅w2+b2\pmb H = \pmb X · \pmb w _1+ \pmb b_1 \\\pmb O = \pmb H · \pmb w _2+ \pmb b_2 HHH=XXX⋅www1+bbb
2022-05-15 15:02:47
298
原创 爬虫教程-抓取房产网站信息
抓取房产网站信息本次的教程爬取一下某绿色房产网站的房产信息，具体信息可以参照上篇爬虫教程，这次唯一的不同是我们需要获得更多的信息。本次要获得详情页面的更为详细的信息，从目录点到详情页。详情页里面红框里的内容就是我们要获取的。从目录页按F12的html链接来看,详情页的链接写在’div’, class_ = 'list-item’里面。套个循环，获取一页中的所有详情页的链接，进到详情页，根据详情页的信息根据正则表达式获得即可。完整代码。import urllibimport refrom
2021-08-18 10:25:02
1687
1
原创 爬虫实战——绝对通俗易懂，爬取房产数据
爬取房产数据爬虫介绍实战目标1.获取url2.利用BeautifulSoup获取html的索引3.查找所需数据索引4.正则表达式获取所需要的信息完整代码爬虫介绍简单介绍一下爬虫，百度百科“网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。”在我们这次的实战项目中，你需要了解的库有urllib，re，BeautifulSoup， request实战目标
2021-08-12 12:58:14
4981
1
原创 pytorch 基本操作（五）——激活函数和梯度
激活函数和梯度激活函数Sigmod激活函数TanhReLuLoss FunctionlossL2-norm梯度autograd向后传播 backward激活函数激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。引入激活函数是为了增加神函数模型的非线性。如果不用激活函数，单纯利用线性去做预测的话，这样损失函数的现实意义是不明显也是不合理的。Sigmod激活函数其中一个函数就是Sigmod函数。f(x)=σ(x)=11+e−x
2021-08-09 16:31:24
369
原创 MacOS的MySQL以及Workbench的安装
MacOS的MySQL以及Workbench的安装MySQL安装Workbeench示例数据集：MySQL安装根据自己的电脑版本，登陆官网地址依照步骤安装就可以了。官网地址：https://dev.mysql.com/downloads/mysql/Workbeench根据自己的电脑，登陆官网地址依照步骤安装就可以了。官网地址：https://dev.mysql.com/downloads/workbench/示例数据集：由于官方提供的employees_db数据集总是会提醒错误，这里换
2021-08-01 17:54:31
352
原创 梯度下降——R语言
Gradient Descent一、梯度下降1. 一元梯度下降1> 绘制方程的图像2> 梯度下降3> 修改 θ\thetaθ2. 多元梯度下降二、梯度下降&线性回归1. 批量梯度下降法(BGD)1> R语言编写2> R自带的线性回归2. 随机梯度下降(SGD)1> SGD的思路2> SGD in R3> SGD 的收敛3. Mini-Batch Gradient Descent三、梯度下降法的一些问题1. 计算时间2. 局部最小值问题参考文献一、梯
2021-08-01 15:33:41
6098
1
原创 pytorch 基本操作（四）——进阶
进阶wheregatherRef这节简单介绍两个并行的函数。wherewhere函数相当于excel里的if函数如过满足条件，则选择前项，否则后项。import torchjudge = torch.rand(2,2)judge'''tensor([[0.1112, 0.5292], [0.1838, 0.5912]])'''a = torch.zeros(2,2)b = torch.ones(2,2)torch.where(judge>0.5, a, b)
2021-07-30 17:29:38
72
原创 pytorch 基本操作（三）——运算和统计函数
运算和统计函数运算函数matrix multiplypowsqrtexp & logclampmin, max, median统计函数normargmin、argmaxtopkrandnRef运算函数最基本的加减乘除就是每个向量的对应位置进行运算，如果两个tensor的维度不同，pytorch会运用broadcasting机制令两者的维度相同在进行运算。matrix multiply具体讲一下矩阵的乘法，在tensor里和numpy的乘法不太一致，运用的函数是mm,或者@。a = 2* t
2021-07-30 12:16:32
414
原创 pytorch 基本操作（二）——拆分、合并
pytorch 基本操作（二）——拆分、合并catstacksplitchunk参考文献：catcat就是简单的合并操作，假设我们现在有两个tensors，一个维度为4x32x8，另一个为5x32x8，我们将这两个tensor在第一个维度上合并，如果你想在别的维度上合并，只需要改变dim的值就可以了，需要注意的是dim的指向值其他的维度必须相同。a = torch.rand(4,32,8)b = torch.rand(5,32,8)torch.cat([a,b], dim = 0).shape#
2021-07-30 11:16:00
693
原创 pytorch 基本操作（一）——变化tensor
pytorch 基本操作（一）introtensorsqueezetransposepermute参考文献：intro目前深度学习的主流框架分为两种，一个是tensorflow一个是pytorch，当然还有caffe，theano，keras这些框架，这些框架广泛用于计算机视觉、语音识别、nlp等领域。pytorch是一个年轻的框架，主流的教程一开始就介绍前后传播的概念，对初学者十分不友好，这里我大概介绍一下pytorch的基本操作，包括合并，切片，基本的统计方法。具体函数大概有index、expa
2021-07-30 00:21:01
197
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人