顺序数据：状态空间模型

最新推荐文章于 2024-05-06 20:45:47 发布
最新推荐文章于 2024-05-06 20:45:47 发布
阅读量1.2w 收藏 27
点赞数 7
分类专栏： 序列数据 机器学习 文章标签： machine learning 顺序数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pipisorry/article/details/43973567
版权

http://blog.csdn.net/pipisorry/article/details/4397356

顺序数据

之前注意力集中在数据集里的数据点是独立同分布的情形。这个假设使得我们将似然函数表示为在每个数据点处计算的概率分布在所有数据点上的乘积。

然而,对于许多应用来说,独立同分布的假设不成立。考虑这样的数据集中的一个重要的类型，即描述了顺序数据的数据集。这些数据集通常产生于沿着时间序列进行的测量，例如某个特定位置的连续若干天的降水量测量,或者每天汇率的值,或者对于语音识别任务,在连续的时间框架下的声学特征。顺序数据也可以在时间序列以外的问题中出现,例如一段 DNA 上的碱基对序列,或者一个英语句子中的字符序列。这里研究的模型同样适用于所有形式的顺序数据,而不仅仅是时间序列数据。

顺序分布

静止顺序分布和非静止顺序分布。在静止分布中,数据会随着时间发生变化,但是生成数据的概率分布保持不变。对于更复杂的非静止分布的情形,生成概率本身会随着时间变化。这里,我们关注的是静止分布的情形。

独立同分布建模

处理顺序数据的最简单的方式是忽略顺序的性质,将观测看做独立同分布,对应于图13.2所示的图。然而,这种方法无法利用数据中的顺序模式,例如序列中距离较近的观测之间的相关性。

 

某小皮

 

 

 

马尔科夫模型( Markov model )

为了在概率模型中表示这种效果,我们需要放松独立同分布的假设。完成这件事的一种最简单的方式是考虑马尔科夫模型( Markov model )。

马尔科夫模型( Markov model )表示观测序列的联合概率分布

一阶马尔科夫链( first-order Markov chain )模型中, N 次观测的序列的联合概率分布为

根据 d -划分的性质,给定时刻 n 之前的所有观测,我们看到观测 x n 的条件概率分布为

 

[马尔科夫模型 Markov model ]

 

某小皮

 

 

但是如果我们希望构造任意阶数的不受马尔科夫假设限制的序列模型,同时能够使用较少数量的自由参数确定。我们可以引入额外的潜在变量来使得更丰富的一类模型能够从简单的成分中构建。

状态空间模型

对于每个观测 x n ,我们引入一个对应的潜在变量 z n (类型或维度可能与观测变量不同)。我们现在假设潜在变量构成了马尔科夫链,得到的图结构被称为状态空间模型( state space model ),如图13.5所示。

状态空间模型满足下面的关键的条件独立性质,即给定 z n 的条件下, z n−1 和 z n+1 是独立的,从而

状态空间模型的联合概率分布为

状态空间模型的两个最重要的例子

对于顺序数据来说,图13.5描述了两个重要的模型。

隐马尔可夫模型( hidden Markov model ),其中潜在变量是离散的。注意, HMM 中的观测变量可以是离散的或者是连续的,并且可以使用许多不同的条件概率分布进行建模。[HMM：隐马尔可夫模型HMM ]

线性动态系统( linear dynamical system ),其中潜在变量和观测变量都是高斯变量(结点的条件概率分布对于父结点的依赖是线性高斯的形式)。[线性动态系统 linear dynamical system]

这两个模型都使用具有树结构(没有环)的有向图描述,这样就可以使用加和-乘积算法来高效地进行推断。

某小皮

 

 

条件随机场CRF

[条件随机场CRF - 表示 ]

 

某小皮

 

 

 

朴素贝叶斯、LR、CRF、HMM之间的联系

Sutton, Charles, and Andrew McCallum. "An introduction to conditional random fields." Machine Learning 4.4 (2011): 267-373.

Note: 图中LR可以换成ME（最大熵模型），毕竟是ME的特例。

lz的理解是：NB对P(y|x)的建模是通过计算P(x|y)和P(y)的概率实现的，是独立的；

LR直接对P(y|x)建模，对y的建模是在x的条件下的，所以NB条件化就是LR。且类似CRF，直接分解为p(y | x) = 1/Z(x) * exp( theta * x) （多类LR softmax），其中的无向图分解的势函数为exp( theta * x)，对应图中的小方块。

HMM是先通过对p(y2 | y1)建模，再通过对p (x | y2)建模，从而对p(y | x)建模的，所以NB序列化就是HMM；

CRF是在给定x情况下，直接对P(y | x)建模 ，相对LR来说，多考虑了y之前的关系（t特征函数），所以是LR的序列化；且是HMM的条件化（给定x）。

统计模型之间的比较：[条件随机场CRF - 表示：CRF与其它模型的比较]

[统计模型之间的比较，HMM，最大熵模型，CRF条件随机场]

朴素贝叶斯和逻辑回归有以下几点不同

(1)     Naive Bayes是一个生成模型，在计算P(y|x)之前，先要从训练数据中计算P(x|y)和P(y)的概率，从而利用贝叶斯公式计算P(y|x)。

         Logistic Regression是一个判别模型，它通过在训练数据集上最大化判别函数P(y|x)学习得到，不需要知道P(x|y)和P(y)。即LR在给定x下条件直接对y建模，而NB是使用贝叶斯公式，对y建模，没有x的条件。

(2)    Naive Bayes是建立在条件独立假设基础之上的，设特征X含有n个特征属性（X1，X2，...Xn），那么在给定Y的情况下，X1，X2，...Xn是条件独立的。

      Logistic Regression的限制则要宽松很多，如果数据满徐条件独立假设，Logistic Regression能够取得非常好的效果；当数据不满度条件独立假设时，Logistic Regression仍然能够通过调整参数让模型最大化的符合数据的分布，从而训练得到在现有数据集下的一个最优模型。

 (3)    当数据集比较小的时候，应该选用Naive Bayes，为了能够取得很好的效果，数据的需求量为O(log n)

          当数据集比较大的时候，应该选用Logistic Regression，为了能够取得很好的效果，数据的需求量为O( n)

    Naive Bayes运用了比较严格的条件独立假设，为了计算P(y|x)，我们可以利用统计的方法统计数据集中P(x|y)和P(y)出现的次数，从而求得P(x|y)和P(y)。因而其所需的数据量要小一些，为O(log n).

     Logistic Regression在计算时，是在整个参数空间进行线性搜索的，需要的数据集就更大，为O( n)。

[朴素贝叶斯 VS 逻辑回归 区别]

from:http://blog.csdn.net/pipisorry/article/details/43973567

ref:

 

-柚子皮-
关注
  • 7
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
状态空间模型(离散)-隐马尔可夫模型推导及实例
沈春旭的博客
02-13 2万+
推导和证明状态空间模型State Space Model中的离散动态模型Discrete Dynamic Model隐马尔可夫模型Hidden Markov Model，HMM。 1. 马尔科夫模型 一个系统有N各状态，S1,S2，...，Sn，随着时间的推移，系统从某一个状态转移到另一个状态。设qt是时间为t时刻对应的状态，系统在t时刻处于状态Sj的概率取决于其在时间1, 2, 3, ......
状态空间模型MATLAB TOOLBOX
03-13
The State Space Models Toolbox for MATLAB 比较详细的工具箱
Mamba：2 状态空间模型
最新发布
鲁班模锤
05-06 1052
Mamba自从出道就一直被拿来和Transformer对比，文章巨多，带着标题的爆炸性字样“颠覆Transfomer”，“全面包围”等等。文章深浅不一，小编认为其背后的设计思路以及演化过程更加重要。为此本专题将从山上有座庙开始，沿着RNN、SSM、S4、HIPPO一路走来。期间抛弃冗杂的文辞，以更接地气的模式协助读者打开新的逻辑思维。
cp16_2_建模顺序数据_RNNs_Bidirectional LSTM_gz_colab_gpu_movie_eager_prefetchDataset_text泛化_Self-Attention
Linli522362242的专栏
03-07 1487
cp16_Model Sequential_Output_Hidden_Recurrent NNs_LSTM_aclImdb_IMDb_Embed_token_py_function_GRU_Gate: Building an RNN model for the sentiment analysis task Since we have very long sequences, we are going to use an LSTM(Long short-term memory) layer ...
DataWhale Pandas数据分析 Task01：预备知识
weixin_43901191的博客
12-15 212
这里写自定义目录标题练习Ex1：利用列表推导式写矩阵乘法Ex2：更新矩阵Ex3：卡方统计量Ex4：改进矩阵计算的性能Ex5：连续整数的最大长度 练习 Ex1：利用列表推导式写矩阵乘法 一般的矩阵乘法根据公式，可以由三重循环写出： In [138]: M1 = np.random.rand(2,3) In [139]: M2 = np.random.rand(3,4) In [140]: res = np.empty((M1.shape[0],M2.shape[1])) In [141]: for i in
状态空间模型
热门推荐
BBZZ2的专栏
02-03 3万+
一、状态空间模型简述 状态空间模型是动态时域模型，以隐含着的时间为自变量。状态空间模型包括两个模型： 一是状态方程模型，反映动态系统在输入变量作用下在某时刻所转移到的状态； 二是输出或量测方程模型，它将系统在某时刻的输出和系统的状态及输入变量联系起来。 状态空间模型分类   状态空间模型按所受影响因素的不同分为： （1）确定性状态空间模型 （2）随机性状态
线性系统状态空间建模仿真（matlab)
01-19
Flexible wing (FW) dynamic system analysis （Linear system course ）Project 西北工业大学自动化学院研究生一年级《线性系统》课程结课大作业MATLAB建模仿真分析例子。包括理论推导手册和MATLAB仿真源码，全英文。
Point Could Mamba：通过状态空间模型进行点云学习.pdf
03-04
一致的遍历序列化通过置换 x、y 和 z 坐标的顺序产生六个变体，这些变体的协同使用有助于 Mamba 全面观察点云数据。此外，为了帮助 Mamba 更有效地处理不同阶次的点序列，我们引入了点提示来告知 Mamba 序列的排列...
timeseries-mock:使用状态空间模型的Kafka和OpenShift的灵活数据模拟器
05-01
时间序列模拟 安装 要在OpenShift上设置数据生成器，只需运行以下命令...数据模型配置 要配置数据流，必须同时指定时间序列的结构和.yml文件中的观察类型。 结构 可以通过指定几个基本组件来指定结构，这些基本组件最
中心差分法的MATLAB代码-ReBEL:ReBEL是功能和脚本的Matlab工具箱，旨在促进一般状态空间模型中的顺序贝叶斯推理（估计）
05-22
它是一个开源项目，旨在促进状态空间模型（State Space Models, SSMs）中的顺序贝叶斯推理（Sequential Bayesian Inference）。状态空间模型是一种描述动态系统行为的统计框架，常用于时间序列分析、滤波、平滑和...
时间序列预测的相关模型以及数据集文件
03-17
除了CNN和LSTM，还有其他模型也可用于时间序列预测，如ARIMA（自回归整合滑动平均模型）、Prophet（Facebook开源的时间序列预测库）、状态空间模型等。这些传统统计模型和现代深度学习模型各有优缺点，选择哪种取决...
2.2 根据系统机理建立状态空间模型
09-26
2.2 根据系统机理建立状态空间模型
state_space_model_notebooks：用于状态空间建模的RPython代码和笔记本
02-14
state_space_model_notebooks 用于状态空间建模的R / Python代码和笔记本
Python-SSM状态空间模型的贝叶斯学习与推理
08-11
该软件包具有快速灵活的代码，可用于在各种状态空间模型中进行模拟，学习和执行推理。
状态空间模型参数设定
11-22
这是关于stata中状态空间模型应用的问题，包括方程设定与参数设定
基于状态空间模型的预测控制的程序
01-16
这是一个很有用的程序，适用于初学者，是基于状态空间模型的预测控制算法，有需要的自取
sandpile:Abelian沙堆模型的TypeScript实现
04-12
3. **Abelian性质**：在沙堆模型中，无论我们按照哪种顺序进行溢出操作，最终的系统状态都是相同的。这是Abelian群的特性，使得该模型的计算简化。 4. **TypeScript编程**：利用TypeScript的强类型特性，我们可以...
马尔可夫切换状态空间模型（Matlab代码实现）
weixin_46039719的博客
10-27 1471
（精确的计算是不可处理的，因为可能的政权历史呈指数级，M^T与M是马尔可夫链的状态/政权数，T是时间序列的长度。该模型的核心思想是，系统的状态在不同时间段内可能呈现出不同的动态行为。这种状态的切换可以由马尔可夫链来建模，其中状态的切换概率取决于当前状态和前一个状态。它基于马尔可夫过程的概念，其中系统的状态在不同的时间段内可能发生切换。在马尔可夫切换状态空间模型中，系统的状态由一个离散的隐变量表示，该隐变量可以在不同的状态之间切换。每个状态都对应着一个特定的观测值，这些观测值可以是连续的或离散的。
MATLAB - 传递函数及状态空间等模型的建立
罗伯特祥的博客
01-31 7113
文章目录1. 简单传递函数2. 零极点模型3.反馈系统4.状态空间模型 1. 简单传递函数 栗子1： >> num1=[25]; >> den1=[1 1 25]; >> G1=tf(num1,den1) G1 = 25 ------------ s^2 + s + 25 Continuous-time transfer function. >> G2 = tf(den1,num1) G2 = s^2 + s + 2
import tensorflow as tf import numpy as np import gym # 创建 CartPole 游戏环境 env = gym.make('CartPole-v1') # 定义神经网络模型 model = tf.keras.models.Sequential([ tf.keras.layers.Dense(24, activation='relu', input_shape=(4,)), tf.keras.layers.Dense(24, activation='relu'), tf.keras.layers.Dense(2, activation='linear') ]) # 定义优化器和损失函数 optimizer = tf.keras.optimizers.Adam() loss_fn = tf.keras.losses.MeanSquaredError() # 定义超参数 gamma = 0.99 # 折扣因子 epsilon = 1.0 # ε-贪心策略中的初始 ε 值 epsilon_min = 0.01 # ε-贪心策略中的最小 ε 值 epsilon_decay = 0.995 # ε-贪心策略中的衰减值 batch_size = 32 # 每个批次的样本数量 memory = [] # 记忆池 # 定义动作选择函数 def choose_action(state): if np.random.rand() < epsilon: return env.action_space.sample() else: Q_values = model.predict(state[np.newaxis]) return np.argmax(Q_values[0]) # 定义经验回放函数 def replay(batch_size): batch = np.random.choice(len(memory), batch_size, replace=False) for index in batch: state, action, reward, next_state, done = memory[index] target = model.predict(state[np.newaxis]) if done: target[0][action] = reward else: Q_future = np.max(model.predict(next_state[np.newaxis])[0]) target[0][action] = reward + Q_future * gamma model.fit(state[np.newaxis], target, epochs=1, verbose=0) # 训练模型 for episode in range(1000): state = env.reset() done = False total_reward = 0 while not done: action = choose_action(state) next_state, reward, done, _ = env.step(action) memory.append((state, action, reward, next_state, done)) state = next_state total_reward += reward if len(memory) > batch_size: replay(batch_size) epsilon = max(epsilon_min, epsilon * epsilon_decay) print("Episode {}: Score = {}, ε = {:.2f}".format(episode, total_reward, epsilon))next_state, reward, done, _ = env.step(action) ValueError: too many values to unpack (expected 4)优化代码
05-24
问题出现在最后一个环节中。根据 OpenAI Gym 的文档，CartPole-v1 环境的 step() 函数返回的是四个值，分别是下一个状态、本次动作的奖励、游戏是否结束和一些额外信息。而在原始代码中，使用了一个 _ 变量来占位，但实际上返回的值个数超过了 4，导致程序报错。解决这个问题的方法是将 _ 变量改成一个列表变量，如下所示： ```python next_state, reward, done, info = env.step(action) ``` 同时，建议将神经网络模型的优化器改成 RMSprop，这是一个更加适合强化学习问题的优化器。最后，为了更好地观察训练效果，可以将每个回合的得分输出到日志中，而不是只输出最后一个回合的得分。下面是修改后的代码： ```python import tensorflow as tf import numpy as np import gym # 创建 CartPole 游戏环境 env = gym.make('CartPole-v1') # 定义神经网络模型 model = tf.keras.models.Sequential([ tf.keras.layers.Dense(24, activation='relu', input_shape=(4,)), tf.keras.layers.Dense(24, activation='relu'), tf.keras.layers.Dense(2, activation='linear') ]) # 定义优化器和损失函数 optimizer = tf.keras.optimizers.RMSprop(learning_rate=0.001) loss_fn = tf.keras.losses.MeanSquaredError() # 定义超参数 gamma = 0.99 # 折扣因子 epsilon = 1.0 # ε-贪心策略中的初始 ε 值 epsilon_min = 0.01 # ε-贪心策略中的最小 ε 值 epsilon_decay = 0.995 # ε-贪心策略中的衰减值 batch_size = 32 # 每个批次的样本数量 memory = [] # 记忆池 # 定义动作选择函数 def choose_action(state): if np.random.rand() < epsilon: return env.action_space.sample() else: Q_values = model.predict(state[np.newaxis]) return np.argmax(Q_values[0]) # 定义经验回放函数 def replay(batch_size): batch = np.random.choice(len(memory), batch_size, replace=False) for index in batch: state, action, reward, next_state, done = memory[index] target = model.predict(state[np.newaxis]) if done: target[0][action] = reward else: Q_future = np.max(model.predict(next_state[np.newaxis])[0]) target[0][action] = reward + Q_future * gamma model.fit(state[np.newaxis], target, epochs=1, verbose=0, optimizer=optimizer, loss=loss_fn) # 训练模型 for episode in range(1000): state = env.reset() done = False total_reward = 0 while not done: action = choose_action(state) next_state, reward, done, info = env.step(action) memory.append((state, action, reward, next_state, done)) state = next_state total_reward += reward if len(memory) > batch_size: replay(batch_size) epsilon = max(epsilon_min, epsilon * epsilon_decay) print("Episode {}: Score = {:.2f}, ε = {:.2f}".format(episode, total_reward, epsilon)) ``` 注意，由于 RMSprop 的学习率比 Adam 更小，因此需要将其设为 0.001。如果学习率太高，会导致训练不稳定或不收敛。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值