段智华的博客

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行，欢迎关注访问！

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 (16) 应用激活函数Sigmoid函数进行非线性转换

(2)隐藏层Hidden Layer的处理。例如，TensorFlow的可视化图中，输入层x1，x2接收所有的数据，汇聚起来然后在隐藏层的第一层的第一个神经元进行...

2019-03-31 09:42:56 2891

原创 CS 188 Project4(RL) Q1:Observation Probability

在这个问题中，您将在inference.py中的InferenceModule基类中实现getObservationProb方法。该方法通过观测（即对幽灵的距离的噪声读数）、Pacman的位置、幽灵的位置和幽灵jail的位置，返回给定Pacman的位置和幽灵位置的噪声距离读数的概率。换句话说，我们要返回P(noisyDistance | pacmanPosition, ghostPos...

2019-03-30 12:52:54 1127

原创 (15) 数据输入到Input Layer

接下来编写applyForwardPropagation的代码。因为计算发生在不同层次的神经元节点之间，Node节点中设置了Layer层次信息，获得神经元节...

2019-03-30 08:45:40 1545

原创 CS 188 Project4(RL) Q0:DiscreteDistribution Class

在整个项目中，我们将使用在inference.py中定义的DiscreteDistribution类来建模信念分布和权重分布。这个类是内置python dictionary类的扩展，其中键是分布中不同的离散元素，相应的值与该元素的信念或权重成比例。首先，实现normalize方法，它将分布中的值归一化为1，但保持值的比例不变。使用total方法查找分布中的值之和。对于空分布或...

2019-03-29 19:41:05 1252

原创 (14) 业务类Forward Propagation编码

ForwardPropagation是个业务类，在ForwardPropagation.py编写之前，因为每个神经元的分析都有计算的结果，我们需先对Node.py代码...

2019-03-29 09:12:31 208

原创 CS 188 Project4(RL) Introduction:Ghostbusters

Pacman一生都在逃避幽灵，但事情并非总是如此。传说很多年前，Pacman的曾祖父爷爷就学会了捕猎幽灵。然而，他被自己的能力蒙蔽了双眼，只能通过幽灵的砰砰声和叮当声来追踪他们。在这个项目中，您将设计Pacman代理程序，使用传感器来定位和吃掉看不见的幽灵。你将从定位单个静止的幽灵前进到以无情的效率猎杀多个移动的幽灵。此项目的代码包含以下文件，可下载zip文件。http...

2019-03-28 15:34:34 2141

原创 CS 188 Project3(RL) Q10:Approximate Q-Learning

实现一个近似的Q-learning学习代理，它学习状态特征的权重，其中许多状态可能共享相同的特征。在qlearningAgents.py中的ApproximateQAgent类中编写实现，它是PacmanQAgent的子类。注：近似Q-learning学习假设在状态和动作对上存在一个特征函数f（s，a），它产生一个向量f1(s,a) .. fi(s,a) .. fn(s,a)特征值。我们在fe...

2019-03-28 13:42:27 2148

原创 (13) 运行代码Neuron_Network_Entry.py

接下来，我们从零起步在框架中编码实现Forward Propagation功能，将新增ForwardPropagation.py代码，实现的目录结构代码如图所示： ...

2019-03-28 08:25:07 249

原创 CS 188 Project3(RL) Q9: Q-Learning and Pacman

是时候玩Pacman了！Pacman将分两个阶段玩游戏。在训练的第一阶段，Pacman将开始学习位置和动作的值。因为学习精确的Q-values值需要很长的时间，即使是很小的网格，Pacman的训练游戏默认以安静模式运行，没有GUI（或控制台）显示。一旦Pacman的训练完成，将进入测试模式。测试时，Pacman的self.epsilon和self.alpha将被设置为0.0，有效地停止Q-l...

2019-03-27 14:54:21 2273

原创 CS 188 Project3(RL) Q8: Bridge Crossing Revisited

首先，在无噪声的BridgeGrid上用默认学习率训练50次完全随机的Q-learner学习，观察是否找到最佳策略。python gridworld.py -a q -k 50 -n 0 -g BridgeGrid -e 1现在采用epsilon设置为0做同样的实验。是否存在一个epsilon和一个学习率，在50次迭代之后，很可能（大于99%）会学习到最佳策略？analysis.py...

2019-03-27 13:30:05 1468

原创 CS 188 Project3(RL) Q7:Epsilon Greedy

通过在getAction中实现epsilon-greedy贪心动作选择完成Q-learning代理，这意味着它选择的是时间epsilon的随机动作，否则将遵循当前的最佳Q-values值。请注意，选择随机动作可能会导致选择最佳动作——也就是说，您不应该选择随机次优动作，而是选择任何随机合法动作。您可以通过调用random.choice函数从列表中均匀地随机选择一个元素。您可...

2019-03-27 10:38:33 1303

原创 (12)Forward Propagation Sigmoid激活函数

这是从左到右一动一静见天机的过程，所谓见天机是指得到一个结果。如图所示，如果只看其中的一个过程，从input输入数据，将input输入的数据的值乘以它的权重，权重...

2019-03-27 08:24:02 335

原创 CS 188 Project3(RL) Q6: Q-Learning

请注意，您的价值迭代代理实际上并没有从经验中学习。相反，在与真实环境交互之前，它会考虑其MDP模型以获得完整的策略。当它确实与环境交互时，它只遵循预先计算的策略（例如，它成为反射代理）。这种区别在网格世界的模拟环境中可能很微妙，但在现实世界中非常重要，因为现实中没有真正的MDP。现在，您将编写一个Q-Learning代理，它在构造上几乎不起作用，而是通过它的更新（状态、...

2019-03-26 15:11:45 1945

原创 (11) 第二节课：从零起步在框架中编码实现Forward Propagation功能

本章节我们从零起步在框架中编码实现Forward Propagation功能。从构建的神经网络的最左侧（输入层Input Layer）进行一次运算到最右侧（输出层Out...

2019-03-26 08:57:57 158

转载 (9)自研框架的Weight关系图

运行入口程序Create_AI_Framework_In5Classes(Class1)的Neuron_Network_Entry.py代码，运行结果如下：在hidden...

2019-03-25 10:20:34 237

原创 (9):神经元网络层次的权重Weight连接

Create_AI_Framework_In5Classes版本的NetworkConnection.py代码如下： # -*- coding: utf-8 -*-fro...

2019-03-24 09:27:02 939

原创 CS 188 Project3(RL) Q5: Prioritized Sweeping Value Iteration

现在您将实现PrioritedSweepingValueIterationAgent，它已在ValueIterationAgents.py中为您部分指定。注意，这个类是从AsynchronousValueIterationAgent派生的，所以唯一需要更改的方法是RunValueIteration，它实际上运行值迭代。优先以可能改变策略的方式集中更新状态值。对于这个项目，您...

2019-03-23 14:56:29 2217

原创第一节课（系列8）：实现神经网络Layers之间Nodes的连接

神经网络多层次实现的时候涉及权重Weight、及层与层之间的连接，神经元网络的权重较复杂，权重涉及两个层次，权重有来源节点及目标节点。接下来我们实现神经网络层...

2019-03-23 09:03:08 612

原创 CS 188 Project3(RL) Q4: Asynchronous Value Iteration

在AsynchronousValueIterationAgent中编写一个值迭代代理，该代理已在ValueIterationAgents.py中为您部分指定。您的价值迭代代理是一个离线计划，而不是强化学习代理，因此相关的训练选项是它在初始计划阶段运行的值迭代的迭代次数（选项-i）。AsynchronicValueIterationAgent构造MDP，并在构造函数返回之前为指定的迭代次数...

2019-03-22 10:10:42 1620

原创第一节课（系列七）：Neuron_Network_Entry编码

接下来我们在入口程序Neuron_Network_Entry.py中调用NetworkStructure.py的方法，之前我们提到输入数据的问题，为了方便读者学习，这...

2019-03-22 08:22:32 287

原创人工智能为什么这么强大？

人工智能为什么这么强大？就像《狮子王》中谈到的：the past can hurt. you can either run from it or learn from i...

2019-03-21 08:09:05 609

原创从技术的角度，为什么一定要使用AI人工智能

从技术的角度，为什么一定要使用AI人工智能？人类进步的曲线图反映了从公元2005年以前的进步曲线，即从人类诞生开始到2005年的进步曲线，X轴是时间，Y轴是人类的...

2019-03-20 09:43:27 605

原创关于VoltDB--全球最快的分布式内存数据库

十天前参加了VoltDB产品在线研讨会，并关注VoltDB实时内存数据库产品，今天收到VoltDB中国区市场负责人的VoltDB数据库产品试用邀请，按照VoltD...

2019-03-12 15:19:14 4340

原创第一节课（系列六）：从零起步编码实现多层次神经网络

接下来创建输出层Output layer。将之前创建Node节点的代码复制过来进行修改，作为输出层，给神经元节点命名的时候命名为Output，输出层的节...

2019-03-09 07:05:28 316

原创第一节课（系列五）：从零起步编码实现多层次神经网络

上一节课：最简单的神经网络的神经元节点就构建起来了。注意：这里有2种类型，一种是神经元本身，一种节点是Bias。做完这一步，我们需通过一个应用程序看一下构...

2019-03-08 08:26:55 327

原创 HMM（三）维特比算法推测隐藏状态序列

仍沿用上一节中HMM模型盒子和球的例子，已知盒子与球的模型及取3次球以后球的颜色观测序列{红，白，红}，需推测三次取球可能对应的盒子序列（隐藏状态序列），...

2019-03-07 08:54:45 764

原创 HMM（二）前向算法计算HMM观测序列的概率

沿用上一节中HMM模型盒子和球的例子，我们使用前向算法计算HMM观测序列的概率。依次取3次球，得到球的颜色的观测序列:O={红，白，红}在第一个时刻取到的是红色...

2019-03-06 08:55:59 1642

原创隐马尔科夫模型HMM（Hidden Markov Model）学习

在深度学习领域，我们学习了深度神经网络、RNN、LSTM、Seq2Seq等时序模型，机器学习的隐马尔科夫模型HMM（Hidden Markov Model）也...

2019-03-05 13:22:52 1117

转载第一节课（系列四）：从零起步编码实现多层次神经网络

通过代码实现神经网络的节点结构功能Create_AI_Framework_In5Classes(Class1)版本的Node.py源代码：1. # -*- coding: utf-8 -*-2. class Node: 3. #第一步：设置和访问Neuron在全局所处的Layer层 4. #设置Neuron在整个神经网络中唯一的Layer层5. ...

2019-03-04 20:33:11 303