强化学习笔记(1)-同策回合更新算法

最新推荐文章于 2023-10-08 16:29:05 发布
最新推荐文章于 2023-10-08 16:29:05 发布
阅读量1k 收藏 5
点赞数 1
分类专栏： Python编程 人工智能 机器学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gzroy/article/details/119732135
版权

在我上一篇博客文章https://blog.csdn.net/gzroy/article/details/119509552中对21点的策略进行了研究，采用蒙特卡洛的方式来进行多次的模拟，通过对比不同策略的收益来找到最佳的策略，主要是通过概率的思想来进行研究。

这里我打算换一种思路，采用强化学习的回合更新的方法来进行研究。首先我们先简单介绍一下强化学习的基本的一些概念。

强化学习的回合更新算法

21点游戏里面的每一局都可以看做一个回合，可以看做一个Markov决策过程，也就是奖励R_{t+1}和状态S_{t+1}只依赖于当前的状态S_{t}和动作A_{t}。在21点游戏的轨迹（即每一局游戏）中，每一步的状态都是不同的，即牌的总点数总是变化的，因此在同一回合中的每个状态都是首次访问，不再需要区分是首次还是每次访问。在一个轨迹中，只有最后的一个奖励值是非零值，对于回合制任务可以设置折扣因子γ=1，最后的奖励值就是回合的总奖励值。

回合更新分为同策和异策回合更新两类，同策学习是边决策边学习，学习者同时也是决策者。异策学习是通过之前的历史来学习，学习者和决策者可以不同。

对于同策最优策略的求解，可以用带起始探索的同策回合更新算法，或者基于柔性策略的同策回合更新算法，这样可以避免在寻找最优策略的过程中落入局部最优的情况。这里我采用基于柔性策略的同策回合更新算法。

令S表示状态空间，A表示动作空间，R表示奖励，则一个回合内的轨迹可以表示为S_{0},A_{0},R_{1},...,R_{T-1},A_{T-1},R_{T},S_{T},这里T表示回合的终止时刻。

强化学习的目标是最大化长期的奖励，我们可以定义在回合制任务中，从步骤t(t<T)以后的回报G_{t}可以定义为未来奖励之和，其中\gamma表示折扣率：

G_{t}=R_{t+1}+\gamma R_{t+2}+\gamma^{2} R_{t+3}+\cdots=\sum_{\tau =0 }^{+\infty}\gamma ^{\tau }R_{t+ \tau +1}

有了回报之后，我们可以进一步定义价值函数。对于给定的策略\pi，状态价值函数v_{\pi }(s)表示从状态s开始采用策略\pi的预期回报：

v_{\pi}(s)=E_{\pi}[G_{t}|S_{t}=s]

动作价值函数q_{\pi}(s,a)表示在状态s采取动作a后，采用策略\pi的预期回报：

q_{\pi}(s,a)=E_{\pi}[G_{t}|S_{t}=s, A_{t}=a]

状态价值函数和动作价值函数可以互相表示，用t时刻的动作价值函数表示t时刻的状态价值函数：

\upsilon _{\pi }(s) = \sum_{a}^{}\pi (a|s)q_{\pi}(s,a), s\in S, a\in A

我们的目的是找到最优的策略\pi_{*}，使得对于任意的s\in S或者(s,a), s\in S, a\in A，这个策略的价值函数的值都比其他策略的价值函数的值要大，我们称为最优价值函数，包括以下两种：

最优状态价值函数

v_{*}(s) = \underset{\pi }{max} v_{\pi}(s), s \in S

最优动作价值函数

q_{*}(s,a) = \underset{\pi}{max} q_{\pi}(s,a), s \in S, a \in A

要寻找最优策略，有带起始探索的回合更新以及基于柔性策略的回合更新两种方法。其中带起始探索的方法在实际应用中会有一些限制，因为其要求能指定任何一个状态为回合的开始状态，这在很多环境下是无法满足的，这里我们将采用柔性策略的方法。

柔性策略的定义是，对于某个策略π，如果对于任意的s\in S, a\in A(s)均有\pi(a|s)>0，也就是说对于任意一个状态，都可以选择所有可能的动作。所以从一个状态出发可以到达这个状态所能达到的所有状态和所有状态动作对。通常会定义\epsilon为一个概率值，平均分配到各个动作上，将剩下的(1-\epsilon)概率分配给动作a_{*}，即：

\pi(a|s)=\left\{\begin{matrix} 1-\epsilon +\frac{\epsilon}{\left | A(s) \right |}, a=\underset{a^{'}}{arg max} q_{\pi}(s,a^{'})\\ \frac{\epsilon}{\left | A(s) \right |}, a\neq \underset{a^{'}}{arg max} q_{\pi}(s,a^{'}) \end{matrix}\right.

基于柔性策略的每次访问同策回合更新算法如下所示：

1. 初始化动作价值估计q(s,a)\leftarrow任意值，初始化计数器c(s,a)\leftarrow0，初始化策略\pi为任意\epsilon柔性策略

2. 对每个回合执行以下操作：

2.1 用策略\pi生成轨迹S_{0},A_{0},R_{1},...,R_{T-1},A_{T-1},R_{T},S_{T}

2.2 初始化回报G\leftarrow0

2.3 对t\leftarrowT-1, T-2,...,0:

2.3.1 更新回报G\leftarrow \gamma G+R_{t+1}

2.3.2 更新q(S_{t}, A_{t})以减小\left [ G-q(S_{t},A_{t}) \right ]^{2}，如c(S_{t},A_{t})\leftarrow c(S_{t},A_{t})+1，q(S_{t},A_{t})\leftarrow q(S_{t},A_{t})+\frac{1}{c(S_{t},A_{t})}\left [ G-q(S_{t},A_{t}) \right ]

2.3.3 A_{*}\leftarrow \underset{a}{arg max}q(S_{t}, a)，更新策略\pi (.|S_{t})为\epsilon柔性策略，如\pi(a|S_{t})\leftarrow \frac{\epsilon }{|A(s)}, a\in A(s), \pi(A^{*}|S_{t})\leftarrow \pi(A^{*}|S_{t})+(1-\epsilon)

对以上算法中的关键步骤的解释如下：

2.3.1是采用逆序的方式来更新回报。

2.3.2是采用增量法来对状态动作价值函数进行更新，目的是使得状态动作价值函数的值更接近回报。原理是如果之前已经观测到(S_{t}, A_{t})这个状态动作对出现了c-1次，对应的回报为g_{1}, g_{2},\cdots ,g_{c-1}，则可以认为q(S_{t}, A_{t})的估计值为\bar{g}_{c-1}=\frac{1}{c-1}\sum_{i=1}^{c-1}g_{i}，当第c次观察到的回报为g_{c}，则前c次的价值函数的估计值为\bar{g}_{c}=\frac{1}{c}\sum_{i=1}^{c}g_{i}，可以得出\bar{g}_{c}=\bar{g}_{c-1}+\frac{1}{c}(g_{c}-\bar{g}_{c-1})，推导过程如下：

\bar{g}_{c}-\bar{g}_{c-1}=\frac{1}{c}\sum_{i=1}^{c}g_{i}-\frac{1}{c-1}\sum_{i=1}^{c-1}g_{i} =\frac{1}{c}g_{c}+(\frac{1}{c}-\frac{1}{c-1})\sum_{i=1}^{c-1}g_{i} =\frac{1}{c}g_{c}-\frac{1}{c(c-1)}\sum_{i=1}^{c-1}g_{i} =\frac{1}{c}g_{c}-\frac{1}{c}*\bar{g}_{c-1}=\frac{1}{c}(g_{c}-\bar{g}_{c-1})

换另一个角度，以机器学习的思维来理解，回报类似于我们的学习目标，更新价值函数使得loss值[G-q(S_{t},A_{t})]^{2}不断减小，这个loss值的负梯度就是-(G-q(S_{t},A_{t}))，所以每次更新就是q(S_{t},A_{t})-\alpha *(G-q(S_{t},A_{t}))，\alpha =\frac{1}{c(S_{t},A_{t})}是学习率

2.3.3更新了状态动作价值函数之后，我们就知道了S_{t}状态时采取哪个动作能令价值函数取得最大值，从而进一步去更新策略。

代码实现

首先我们需要先配置一个实验的环境，这里采用了Gym库的环境"Blackjack-v0"来进行模拟。以下代码是建立环境并用随机策略玩一个回合的代码。

import gym
import numpy as np

env = gym.make("Blackjack-v0")

observation = env.reset()
print('Obervation={}'.format(observation))
while True:
    print('Player={}, Dealer={}'.format(env.player, env.dealer))
    action = np.random.choice(env.action_space.n)
    print('Action={}'.format(action))
    observation, reward, done, _ = env.step(action)
    print('Observation={}, Reward={}, Done={}'.format(observation, reward, done))
    if done:
        break

在以上代码中， env.reset表示初始化环境，env.action_space.n对应的是action，0表示停牌，1表示要牌。env.step(action)表示执行一步，并返回对环境的观测，奖励，以及是否回合结束。如以上代码执行后的一个输出如下：

Obervation=(7, 10, False)
Player=[2, 5], Dealer=[10, 10]
Action=0
Observation=(7, 10, False), Reward=-1.0, Done=True

初始化之后玩家的两张牌的点数之和为7，庄家的一张牌的点数10（另一张牌也是10点，但是在环境的观测中没有显示，这个可以通过下一行的输出看到），False表示玩家的两张牌里面并没有A计算为11点。然后随机选取的Action=0，即停牌，这时庄家开牌，庄家20点，玩家输，因此奖励为-1.0，Done为True

接下来的代码是基于柔性策略的同策回合更新来求解最优价值函数，代码如下：

def ob2state(observation):
    return(observation[0], observation[1], int(observation[2]))

def monte_carlo_with_soft(env, episode_num=500000, epsilon=0.1):
    policy = np.ones((22, 11, 2, 2))*0.5
    q = np.zeros_like(policy)
    c = np.zeros_like(policy)
    for _ in range(episode_num):
        state_actions = []
        observation = env.reset()
        while True:
            state = ob2state(observation)
            action = np.random.choice(env.action_space.n, p=policy[state])
            state_actions.append((state, action))
            observation, reward, done, _ = env.step(action)
            if done:
                break
        g = reward
        for state, action in state_actions:
            c[state][action] += 1.
            q[state][action] += (g-q[state][action])/c[state][action]
            a = q[state].argmax()
            policy[state] = epsilon/2.
            policy[state][a] += (1.-epsilon)
    return policy, q

在以上代码中，policy被初始化为一个4维数组，第一维表示玩家手牌的点数1-21（0和1实际没有用到），第二维表示庄家手牌点数，第三维表示玩家手牌是否有A计算为11点，第四维是玩家要采取的动作（0-停牌，1-要牌）。这个数组所有元素的值初始化为0.5（表示柔性策略）。因为对于21点来说只有回合结束才有非零值的奖励，所以我们就不需要逆序来求各个时间点的回报了。在每个回合中需要记录每个状态动作对的出现次数，并更新起对应的价值函数的值。之后求价值函数每个状态对应哪个动作可以取得最大值，并更新改状态动作对的概率和其他状态动作对的概率。

我们可以运行以下代码来获得最优策略的结果并展示出来：

p,q = monte_carlo_with_soft(env)
blackjack_policy = {}
for i in range(4, 20):
    blackjack_policy[str(i)] = []
    for j in range(2, 11):
        if p[i,j,0,0]<p[i,j,0,1]:
            blackjack_policy[str(i)].append('H')
        else:
            blackjack_policy[str(i)].append('S')
    if p[i,1,0,0]<p[i,1,0,1]:
        blackjack_policy[str(i)].append('H') 
    else:
        blackjack_policy[str(i)].append('S') 
for i in range(13, 20):
    key = 'A,'+str(i-11)
    blackjack_policy[key] = []
    for j in range(2, 11):
        if p[i,j,1,0]<p[i,j,1,1]:
            blackjack_policy[key].append('H')
        else:
            blackjack_policy[key].append('S')
    if p[i,1,1,0]<p[i,1,1,1]:
        blackjack_policy[key].append('H') 
    else:
        blackjack_policy[key].append('S') 
with open('blackjack_policy.csv', 'w') as f:
    result = 'Player;2;3;4;5;6;7;8;9;10;A\n'
    for key in blackjack_policy:
        result += (key+';'+';'.join(blackjack_policy[key])+'\n')
    f.write(result)
df = pd.read_csv('blackjack_policy.csv', header=0, index_col=0, sep=';')
df.head(100)

 用pandas dataframe展示结果如下：

Player2345678910A
4HHHHHHHHHH
5HHHHHHHHHH
6HHHHHHHHHH
7HHHHHHHHHH
8HHHHHHHHHH
9HHHHHHHHHH
10HHHHHHHHHH
11HHHHHHHHHH
12HSHSSHHHHH
13SSSSSHHHHH
14SSSSSHHHHH
15SSSSSHHHHH
16SSSSSHHSSH
17SSSSSSSSSS
18SSSSSSSSSS
19SSSSSSSSSS
A,2HHHHHHHHHH
A,3HHHHHHHHHH
A,4HHHHHHHHHH
A,5HHHHHHHHHH
A,6HHHHHHHHHH
A,7SSSSSSSHHH
A,8SSSSSSSSSS

可以看到这个策略和我之前博客里面研究得出的最优策略是比较类似的，但是里面缺少加倍这种策略，因为在Gym的环境里面只有停牌和要牌两种策略。 这里我们可以做一些改进，即通过状态动作价值函数的值来判断是否加倍，停牌或者要牌。如果价值函数的值是正值，那么对应的状态动作是加倍，否则就是停牌或要牌（取决于哪个动作对应的值较大），改进后的代码如下：

blackjack_policy = {}
for i in range(4, 20):
    blackjack_policy[str(i)] = []
    for j in range(2, 11):
        if q[i,j,0,0]<q[i,j,0,1]:
            if q[i,j,0,1]>0:
                blackjack_policy[str(i)].append('D')
            else:
                blackjack_policy[str(i)].append('H')
        else:
            blackjack_policy[str(i)].append('S')
    if q[i,1,0,0]<q[i,1,0,1]:
        if q[i,j,0,1]>0:
            blackjack_policy[str(i)].append('D') 
        else:
            blackjack_policy[str(i)].append('H') 
    else:
        blackjack_policy[str(i)].append('S') 
for i in range(13, 21):
    key = 'A,'+str(i-11)
    blackjack_policy[key] = []
    for j in range(2, 11):
        if q[i,j,1,0]<q[i,j,1,1]:
            if q[i,j,0,1]>0:
                blackjack_policy[key].append('D')
            else:
                blackjack_policy[key].append('H')
        else:
            blackjack_policy[key].append('S')
    if q[i,1,1,0]<q[i,1,1,1]:
        if q[i,j,0,1]>0:
            blackjack_policy[key].append('D') 
        else:
            blackjack_policy[key].append('H') 
    else:
        blackjack_policy[key].append('S') 
with open('blackjack_enhanced_policy.csv', 'w') as f:
    result = 'Player;2;3;4;5;6;7;8;9;10;A\n'
    for key in blackjack_policy:
        result += (key+';'+';'.join(blackjack_policy[key])+'\n')
    f.write(result)
df = pd.read_csv('blackjack_enhanced_policy.csv', header=0, index_col=0, sep=';')
df.head(100)

结果如下：

Player2345678910A
4HHHHDHHHHH
5HHHHHHHHHH
6HHHHHHHHHH
7HHHHHHHHHH
8HHDDDDHHHH
9DDDDDDDHHH
10DDDDDDDDHH
11DDDDDDDDDD
12HSHSSHHHHH
13SSSSSHHHHH
14SSSSSHHHHH
15SSSSSHHHHH
16SSSSSHHSSH
17SSSSSSSSSS
18SSSSSSSSSS
19SSSSSSSSSS
A,2HHHHHHHHHH
A,3HHHHHHHHHH
A,4HHHHHHHHHH
A,5HHHHHHHHHH
A,6HHHHHHHHHH
A,7SSSSSSSHHH
A,8SSSSSSSSSS
A,9SSSSSSSSSS

可以看到以上结果有所改进，更加接近真实的最优策略。

除此之外在21点游戏中，如果玩家的头两张牌是相同的，玩家还可以选择分牌的策略，但是在目前的Gym的环境中是没有这个动作的，因此暂时无法模拟这种动作。可以考虑以后对Gym的环境做进一步的改进。 

gzroy
关注
专栏目录
强化学习4：回合更新价值迭代
十八子的博客
11-14 812
文章目录回合更新价值迭代同策策略评估回合更新起始探索柔性策略(ϵ−soft)(\epsilon-soft)(ϵ−soft)异策重要性采样策略评估回合更新求解最优策略 回合更新价值迭代 有模型 动力函数 p(s’,r∣s,a)p(s’,r | s, a)p(s’,r∣s,a) 方案：解Bellman期望方程/最优方程，方程求解 / 线性规划 / 动态规划 算法：因为有模型（动力函数），可以策略迭代（Bellman期望方程），也可以价值迭代（Bellman最优方程） 无模型 幕序列 (S0,A0,
强化学习算法学习汇总笔记 (一) — Q-learning、Sarsa、DQN、Policy Gradients
Hansry的博客
06-25 5045
一. 强化学习的分类 1.Model-free 和 Model-based Model-free 即机器人不知道外界环境信息，只能在机器人执行每一步动作后从环境中得到反馈然后去学习，只能按部就班，一步一步等待真实世界的反馈，再根据反馈采取下一步行动。诸如Q Learning， Sarsa，Policy Gradients等算法。 Model-based 指机器人对环境有一定的了解，可以对环境...
强化学习:带起始探索的每次访问同策回合更新算法求解机器人找金币问题
赛亚茂的博客
08-02 307
用同策回合更新算法求解迷宫寻路问题
强化学习入门
最新发布
chen的博客
10-08 508
Q-learning告诉智能体在每种情况下，应该选择哪个动作以便获得最多奖励。具体来说，Q-learning使用一个叫做Q值的表格，其中每一行表示一种情况（也叫状态），每一列表示可选的动作。每个单元格中的数字表示采取某个动作后，可以获得的奖励预期值。智能体在每个时刻根据当前情况，查看Q值表格，然后选择具有最高Q值的动作。但为了探索新的可能性，有时候它也会随机尝试其他动作。随着不断的尝试和奖励的反馈，Q-learning会逐渐调整Q值，以便在每种情况下做出最优的动作选择。
强化学习笔记(2)-异策回合更新算法
08-29 640
在前一篇博客中，我总结了强化学习的同策回合更新的方法，并用这种方法来学习21点游戏的最优策略。这里我将总结一下我学习到的异策回合更新的方法。 同策学习和异策学习的区别在于，同策是边决策边学习，学习者同时也是决策者。异策则是根据之前的历史来学习，学习者和决策者可以不同。以围棋AI为例，如果边对弈边学习，这就是同策学习。如果通过阅读人类的历史对弈记录来学习，那么就是异策学习。 在异策学习中，历史记录中用到的策略和我们要学习的策略是不同的，所以称为异策学习。我们将要学习的策略称为目标策略，用来生成历史记录的另
强化学习笔记：目标、奖励、回报和回合
chenxy_bwave的专栏
01-12 1万+
在上一篇我们介绍了强化学习问题的形式化(数学)框架：马尔科夫决策过程。本篇以及后续几篇继续讨论这个形式化(数学)框架下的关键要素和概念，如奖励和回报、策略、值函数、贝尔曼方程等等。
【强化学习】
勿于浮沙筑高台
11-23 228
1、强化学习概貌 强化学习是机器学习中的一个子分支，基本上完全模拟了婴儿学习认知世界的过程，在state执行了一定的action之后开始给予一定的reward，计算机总是尝试获取高分，在不断的尝试之后state会从历史的经验里面找到能获得最高分的action。 强化学习具有分数导向性，这个分数导向性和监督学习中的标签类似   2、强化学习分类 2.1算法级别分类 分类主要还是通过他们的...
强化学习笔记(5)-回合策略梯度算法
12-05 1949
记录一下在阅读《强化学习：原理与python实现》这本书的学习笔记。 在之前学习到的强度学习方法中，每次更新价值函数只更新某个状态动作对的价值估计。但是有些情况下状态动作对的数量非常大，不可能对所有的状态动作对逐一更新。函数近似方法用参数化的模型来近似整个状态价值函数，并在每次学习时更新整个函数，这样，对于没有被访问过的状态动作对的价值估计也能得到更新。 函数近似方法采用一个参数为w的函数q(s,a:w)来近似动作价值。 ...
【强化学习】强化学习分类
shura的技术空间
06-21 1万+
https://github.com/tigerneil/deep-reinforcement-learning-family https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/1-1-B-RL-methods/ ——-主要引用morvan老师的教学视频 【强化学习】强...
2019年江西房地产市场年报-同策.pdf
04-24
从《2019年江西房地产市场年报-同策》的内容来看，该报告从多个维度对江西省2019年的房地产市场进行了详尽的回顾和分析，涉及到的关键知识点如下： 1. 因城施策的房地产政策：报告强调江西省内各城市在房地产政策上...
准后楼市短趋势预判-同策研究院201909.rar
09-10
【标题】"准后楼市短趋势预判-同策研究院201909.rar" 指的是一份由同策研究院在2019年9月发布的关于房地产市场短期趋势的研究报告。同策研究院作为业内知名的智库，通常会通过对大量数据的分析和行业洞察，来预测房...
中国海外发展投资开发模式研究-同策咨询-201805.pdf
09-10
中国海外发展投资开发模式研究-同策咨询-201805.pdf
2022.02-2021年全国楼市年报暨宏观经济及市场趋势预判-同策研究院-45页.pdf
09-15
2022.02-2021年全国楼市年报暨宏观经济及市场趋势预判-同策研究院-45页.pdf
莫烦强化学习视频笔记：第一节 1.2 强化学习方法汇总
sophicchen的专栏
10-29 354
首先是通过是否需要理解环境（环境给我们什么就是什么），能够分为无模型的强化学习方法和基于模型的强化学习方法。 假设这里有一个机器人和一个星球X。无模型的强化学习方法（Model-Free）：不需要理解环境，机器人对星球X一无所知，机器人也不知道星球X对于他们的行为对做出怎样的反馈。举个例子，机器人决定扔了一颗原子弹要真实的世界（星球X），结果把自己也炸死了。基于模型的强化学习方法（Model-Based） ：机器人通过过往的经验先理解真实的世界是如何的，建立一个模型模拟真实世界的反馈（这里如何获得的模型..
2018-08-03 强化学习
maple yang 的博客
08-03 316
一、强化学习         强化学习包含多种算法，比如有通过行为的价值来选取特定行为的方法, 包括使用表格学习的 q learning, sarsa, 使用神经网络学习的 deep q network, 还有直接输出行为的 policy gradients, 又或者了解所处的环境, 想象出一个虚拟的环境并从虚拟的环境中学习 等等. 参考链接：https://morvanzhou.gith...
【强化学习】强化学习概述
weixin_44378835的博客
09-17 4198
文章目录1 前言1 强化学习1.1 强化学习定义1.2 马尔可夫决策过程1.3 强化学习的目标函数1.3.1 总回报1.3.1 目标函数1.4 值函数1.4.1 状态值函数1.4.2 状态-动作值函数14.3 值函数的作用1.5 强化学习的分类1.5.1 按任务分类1.5.2按算法分类 1 前言 监督学习可用于回归，分类等任务，这一般都需要一定数量的带标签的数据。然而，在很多的应用场景中，通过人工标注的方式来给数据打标签的方式往往行不通。比如我们通过监督学习来训练一个模型可以来自动下围棋，就需要将当前
强化学习（Reinforcement Learning）学习笔记
未知丶的博客
04-22 1114
强化学习（Reinforcement Learning）学习笔记前言Q-learning简单程序示例Sarsa 前言 根据讲义为网易云课堂的强化学习(Python)：https://study.163.com/course/courseMain.htm?courseId=1003598006 Q-learning Tips：此处的Q(s,a)表示在s状态下进行a动作的得分，ε-greedy的意...
基础篇——强化学习之Markov决策过程建模
weixin_38289483的博客
03-30 1489
欢迎喜欢编程语言知识和机器学习算法等科技类文章，以及经济和历史等文史类文章的朋友们关注公众号：CodingFarmer2019，我们一起格物致知和学史悟道，实现人生辉煌！ 目录 一、强化学习基本概念 二、Markov决策过程 1. Markov决策过程模型 （1）用动力系统描述的环境 （2）用策略描述的智能体 （3）用价值函数描述的智能体与环境交互的奖励 2.Bellman期望方程 3.Bellman最优方程与最优策略 （1）最优策略与最优价值函数 （2）Bellman最优..
基于Tensorflow的Resnet程序实现（CIFAR10准确率为91.5%）
热门推荐
09-07 2万+
       在上一篇博文中我重写了Tensorflow中的CNN的实现，对于CIFAR10的测试集的准确率为85%左右。在这个实现中，用到了2个卷积层和2个全连接层。具体的模型架构如下：        为了进一步提高准确率，我们可以采用一些更先进的模型架构，其中一种很出名的架构就是RESNET，残差网络。这是Kaiming大神在2015年的论文"Deep Residual Learning...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gzroy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值