概率DP学习笔记（一）

最新推荐文章于 2024-01-03 21:25:03 发布
最新推荐文章于 2024-01-03 21:25:03 发布
阅读量872 收藏
点赞数
分类专栏： ACM训练 文章标签： dp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zickshen/article/details/73730450
版权

　　今天学了一下概率DP，做了几个题，记录一下。

　HDU4405

　　这个题目的意思就是，棋盘由０到Ｎ构成，每次投骰子能投１－６，如果位置大于等于Ｎ，那么就算是到了终点。此外有一些飞行点，到了这个点就会直接到所对应的飞行点，并且可以多次飞行，即如果ａ是飞到ｂ的飞行点，ｂ又是飞到ｃ的飞行点，那么就可以认为到ａ点的时候直接飞到了ｃ点。问题是给你一个棋盘大小和飞行点，问你结束游戏所需回合的期望值。
　　首先这是一个求期望的，所以就用倒推就好，但是记得开始前用dfs处理一下飞行点的问题，因为存在多次飞行的情况不能直接来。

　　代码如下

#include <bits/stdc++.h>
#define N 100100
#define INF 0x3f3f3f3f
#define LL long long
#define mem(a,n) memset(a,n,sizeof(a))
#define fread freopen("in.txt","r",stdin)
#define fwrite freopen("out.txt","w",stdout)
using namespace std;
double changce[N];
map<int,int> mp,fin;
void dfs(int beg,int en){
    if(mp[en]==0){
        fin[beg]=en;
    }else{
        dfs(beg,mp[en]);
    }
}
void init(){
    for(map<int,int>::iterator a=mp.begin(),b=mp.end();a!=b;++a){
        dfs(a->first,a->second);
    }
}
int main()
{
    ios::sync_with_stdio(false);
    int n,m,temp1,temp2;

    while(cin>>n>>m&&(n+m)){
        mp.clear();
        fin.clear();
        while(m--){
            cin>>temp1>>temp2;
            mp[temp1]=temp2;
        }
        init();
        for(int i=1;i<6;++i){
            changce[n+i]=0;
        }
        changce[n]=0;
        for(int i=n-1;i>=0;--i){
            changce[i]=1;
            for(int j=1;j<=6;++j){
                if(i+j<=n){
                    if(fin[i+j]==0){
                        changce[i]+=changce[i+j]/6;
                    }else{
                        changce[i]+=changce[fin[i+j]]/6;
                    }
                }
            }
        }
        cout<<fixed<<setprecision(4)<<changce[0]<<endl;
    }
    return 0;
}

POJ2096

一个软件有s个子系统，会产生n种bug

每天发现一个bug,这个bug属于一个子系统，属于一个分类。

每个bug属于某个子系统的概率是1/s,属于某种分类的概率是1/n。

问发现n种bug且每个子系统都发现bug所需天数的期望。

是考虑系统、分类数而不考虑具体的是哪种分类，这个问题的抽象就很容易解决了

下面分析出自kuangbin博客

dp[i][j]表示已经找到i种bug,j个系统的bug，达到目标状态的天数的期望
dp[n][s]=0;要求的答案是dp[0][0];
dp[i][j]可以转化成以下四种状态:
　dp[i][j],发现一个bug属于已经有的i个分类和j个系统。概率为(i/n)*(j/s);
　dp[i][j+1],发现一个bug属于已有的分类，不属于已有的系统.概率为 (i/n)*(1-j/s);
　dp[i+1][j],发现一个bug属于已有的系统，不属于已有的分类,概率为 (1-i/n)*(j/s);
　dp[i+1][j+1],发现一个bug不属于已有的系统，不属于已有的分类,概率为 (1-i/n)*(1-j/s);

#include <iostream>
#include <iomanip>
#define N 1010
#define INF 0x3f3f3f3f
#define LL long long
#define mem(a,n) memset(a,n,sizeof(a))
#define fread freopen("in.txt","r",stdin)
#define fwrite freopen("out.txt","w",stdout)
using namespace std;
double dp[N][N];
int main()
{
    ios::sync_with_stdio(false);
    int s,n;
    while(cin>>n>>s){
        dp[n][s]=0;
        for(int i=n;i>=0;--i){
            for(int j=s;j>=0;--j){
                if(i==n&&j==s){
                    continue;
                }
                dp[i][j]=(i*(s-j)*dp[i][j+1]+
                         (n-i)*j*dp[i+1][j]+
                         (n-i)*(s-j)*dp[i+1][j+1]+n*s)/(n*s-i*j);
            }
        }
        /*for(int i=0;i<=s;++i){
            for(int j=0;j<=n;++j){
                cout<<fixed<<setprecision(4)<<dp[i][j]<<' ';
            }
            cout<<endl;
        }*/
        cout<<fixed<<setprecision(4)<<dp[0][0]<<endl;
    }
    return 0;
}

HDU3853

　　一个r*c的地图，在每个格子上都有对应的m1、m2、m3，在每一块格子上，下一回合有m1的几率不动，m2的几率下移，m3的几率右移，问你从(1,1)到(r,c)的所需步数期望

　　这个也很裸，但是有个坑点，见代码

#include <bits/stdc++.h>
#define N 1010
#define INF 0x3f3f3f3f
#define LL long long
#define eps 1e-9
#define mem(a,n) memset(a,n,sizeof(a))
#define fread freopen("in.txt","r",stdin)
#define fwrite freopen("out.txt","w",stdout)
using namespace std;
double mp[N][N][3];
double dp[N][N];
int main()
{
    //ios::sync_with_stdio(false);
    int r,c;
    while(cin>>r>>c){
        dp[r-1][c-1]=0; 
        for(int i=0;i<r;++i){
            for(int j=0;j<c;++j){
                scanf("%lf%lf%lf",mp[i][j],mp[i][j]+1,mp[i][j]+2);//这里使用cin会WA，不明白为什么
            }
        }
        for(int i=r-1;i>=0;--i){
            for(int j=c-1;j>=0;--j){
                if(i==r-1&&j==c-1){
                    continue;
                }if(fabs(mp[i][j][0]-1.00)<1e-8)
                    continue;
                dp[i][j]=(dp[i+1][j]*mp[i][j][2]+dp[i][j+1]*mp[i][j][1]+2)/(1-mp[i][j][0]);
            }
        }
        /*for(int i=0;i<r;++i){
            for(int j=0;j<c;++j){
                cout<<fixed<<setprecision(3)<<dp[i][j]<<' ';
            }
            cout<<endl;
        }*/
        cout<<fixed<<setprecision(3)<<dp[0][0]<<endl;
    }
    return 0;
}

CSU1725

　　这个题严格说来不是概率DP而是记忆化搜索，不过是顺便练了就凑进来了

　　中文题目，所以就不解释题意了，直接上代码吧

#include <bits/stdc++.h>
#define N 25
#define INF 0x3f3f3f3f
#define LL long long
#define eps 1e-9
#define mem(a,n) memset(a,n,sizeof(a))
#define fread freopen("in.txt","r",stdin)
#define fwrite freopen("out.txt","w",stdout)
using namespace std;
double dp[N][N][8][8][8];
void init();
double dfs(int x,int y,int a,int b,int c);
int main()
{
        ios::sync_with_stdio(false);
        int t,x,y,a,b,c;
        cin>>t;
        while(t--){
            cin>>x>>y>>a;
            init();
            cout<<fixed<<setprecision(6)<<dfs(x,y,a,0,0)<<endl;
        }
        return 0;
}
void init()
{
    for(int i=0;i<N;++i){
        for(int j=0;j<N;++j){
            for(int k=0;k<8;++k){
                for(int l=0;l<8;++l){
                    for(int o=0;o<8;++o){
                        dp[i][j][k][l][o]=-1;
                    }
                }
            }
        }
    }
}
double dfs(int x,int y,int a,int b,int c)
{
    if(dp[x][y][a][b][c]!=-1){
        return dp[x][y][a][b][c];
    }
    if(y==0){
        return dp[x][y][a][b][c]=1.0;
    }
    if(x<y||!x){
        dp[x][y][a][b][c]=0;
    }else{
        dp[x][y][a][b][c]=1.0/(a+b+c+1)*dfs(x-1,y-1,a,b,c);
        if(a+b+c<7){
            if(a>0){
                dp[x][y][a][b][c]+=1.0*a/(a+b+c+1)*dfs(x-1,y,a,b+1,c);
            }
            if(b>0){
                dp[x][y][a][b][c]+=1.0*b/(a+b+c+1)*dfs(x-1,y,a+1,b-1,c+1);
            }
        }else{
            if(a>0){
                dp[x][y][a][b][c]+=1.0*a/(a+b+c+1)*dfs(x-1,y,a-1,b+1,c);
            }
            if(b>0){
                dp[x][y][a][b][c]+=1.0*b/(a+b+c+1)*dfs(x-1,y,a,b-1,c+1);
            }
        }
        if(c>0){
            dp[x][y][a][b][c]+=1.0*c/(a+b+c+1)*(x-1,y,a,b,c-1);
        }
    }
    return dp[x][y][a][b][c];
}

关于为什么一般期望倒推，概率顺推的思考（一）

　　我一开始猜想是不是因为类似0-1背包要从二维优化到一维的时候一样，要保证考虑的子问题的解是不会重复迭代的，拿0-1背包举例

//错误的代码
for(int i=cost;i<volume;++i){
    dp[i]=max(dp[i-cost]+value,dp[i]);
}
//正确的代码
for(int i=volume;i>=cost;--i){
    dp[i]=max(dp[i-cost]+value,dp[i]);
}

　　看代码可以直接想到，如果用前一个代码，那么在这一轮循环中可能出现一个物品拿了多次的情况，这就是被重复迭代了的结果，那么我们类似地通过代码考虑一下期望顺推的情况，这里以第一题为例。

　　但是我写了一下代码……

　　并不是这样的……

　　然后问了一下学长，如果是期望的情况，推导的就是由终了状态到起始状态的逆推，而终了状态到终了状态的期望是0，建立在这样的基础上逆推就是正确的答案。

　　而概率的话，终了状态的信息位置，无法逆推。

​　　之后再补完，感觉还是没有完全弄懂。

​

Zickshen
关注
专栏目录
概率DP
莉莉莉的博客
07-28 830
首先 注意！ 正向推概率，反向推期望 先介绍两个高中学的知识 独立实验+几何分布 独立实验 戳这里 几何分布 在第n次伯努利试验中，试验k次才得到第一次成功的机率，详细的说是：前k-1次皆失败，第k次成功的概率。如果事件发生的概率是p，则不发生的概率q=1-p，则P(ξ=K) = 。具有这种分布列的随机变量，称为服从参数p的几何分布。 （1）几何分布的期望E(X)= 1/p ；...
状压DP学习笔记（持续更新ing）
Araki_spring的博客
10-15 236
前言： 最近学了这个神奇的东东，真的好难啊[仙女叹气]~ 感觉自己没大理解，就写笔记强迫自己学会吧QAQ 定义： 状态压缩动态规划，就是我们俗称的状压DPDPDP，是利用计算机二进制的性质来描述状态的一种DPDPDP方式。 自己的小理解：其实就是将状态压缩成二进制下的数（1/01/01/0）来表示不同情况，进行DPDPDP…… 前置知识： 二进制 和 位运算； DPDPDP； 以及一个聪明的小脑袋瓜； 位运算介绍： 一个神奇的东西…… 推荐博客 状压DPDPDP里主要用到的几个技巧见下图： 引
概率dp 学习笔记
qq_49788132的博客
07-10 1499
概率dp
【概率DP入门】
weixin_33834628的博客
07-07 476
http://www.cnblogs.com/kuangbin/archive/2012/10/02/2710606.html 有关概率和期望问题的研究 摘要 在各类信息学竞赛中（尤其是ACM竞赛中），经常出现一些与概率和期望有关的题目。这类题目需要较高的数学水平和一定的算法技巧，必须经过仔细分析，选择合适的数学模型和算法才能顺利的解决问题。本文就对这类题目的一些常见方法进行...
DP专题之概率DP
weixin_30273501的博客
07-27 111
注意：在概率DP中求期望要逆着推，求概率要正着推 概率DP求期望： 链接：http://acm.hdu.edu.cn/showproblem.php?pid=4405 dp[ i ]表示从i点走到n点的期望，在正常情况下i点可以到走到i+1,i+2,i+3,i+4,i+5,i+6 点且每个点的概率都为1/6 所以dp[i]=(dp[i+1]+dp[i+2]+d...
对于一类离散的概率DP问题的总结（第一次）
Asuna_acmer
12-08 851
——对最近做的一些简单概率DP题的总结
强化学习笔记二 MDP & DP
thormas1996的博客
10-04 1585
本篇笔记将会介绍强化学习的基本概念，马尔可夫决策过程MDP，Bellman方程和动态规划求解MDP问题。 基本概念 history and state history 是一系列观察，行动和奖励的集合。state是history的函数，包含当前状态的信息，并用于决定下一时刻的行动。 policy π(a∣s){\pi(a|s)}π(a∣s)代表在状态s下采取行动的策略，换言之就是采取行动a的概率。p...
概率与期望学习笔记
shroud777的博客
03-15 525
文章目录介绍讲解例题例1：P4316 - 绿豆蛙的归宿例2：CF518D - Ilya and Escalator 介绍 主要讲解几种固定的 期望/概率DP 方法 讲解 例题 例1：P4316 - 绿豆蛙的归宿 题目描述： 给出张 nnn 个点 mmm 条边的有向无环图，起点为 111，终点为 nnn，每条边都有一个长度。到达每一个顶点时，如果有 kkk 条离开该点的道路，可以选择任意一条道路离开该点，并且走向每条路的概率为 1k\frac 1 kk1​​​。 求从 111 出发走到 nnn 的路径期望总
ChatGPT学习笔记——大模型基础理论体系
最新发布
GUANYX的博客
01-03 1871
在文本预训练的基础上，ChatGPT 的基础大模型采用 159G 的代码进行了继续预训练，借助代码分步骤、分模块解决问题的特性，模型涌现出了逐步推理的能力，在模型表现上不再是随着模型规模线性增长，有了激增，打破了 scaling law；稀疏化将大量的冗余变量去除，简化模型的同时保留数据中最重要的信息。： ChatGPT 通过基于人类反馈的强化学习使模型的生成结果更符合人类预期，然而这也导致了模型的行为和偏好一定程度上反映的是标注人员的偏好，在标注人员分布不均的情况下，可能会引入新的偏见问题。
强化学习笔记（一）
qq_39540454的博客
12-12 425
第五章 蒙特卡洛方法（MC） （一）MC策略评估 1.MC prediction: 估计状态值 First-visit MC prediction算法，用来估计每个状态值。也有every-visit，不过没有first-visit用的多 -和DP相比：MC方法对每个状态值的估计是独立的，没有用到自己以前的状态，称为没有用到bootstraping 2.MC estimation of action values: 估计动作值 在模型不可知的情况下，估计状态动作值q(s,a)比估计状态值v(s)更有用。这是因
概率dp
qq_38890926的博客
08-13 535
概率dp的内容 概率dp研究有关于概率，步数，期望的等问题。 数学期望 P=Σ每一种状态*对应的概率。 因为不可能枚举完所有的状态，有时也不可能枚举完，比如抛硬币，有可能一直是正面，etc。 但是现在发现大多数题就是手动找公式或者DP推出即可，只要处理好边界，然后写好方程，代码超级简短。与常规的求解不同，数学期望经常逆向推出。 比如常规的dp[x]可能表示到了x这一状态有多少，最后答案是d...
概率dp入门
weixin_30588827的博客
10-14 78
/*poj 2096 第一道概率dp看别人的思路，不过总算理解为什么求期望从后往前了 地址：http://blog.csdn.net/morgan_xww/article/details/6774708 */ #include<stdio.h> #include<string.h> #define N 1100 double dp[N][N]; int main(...
请生成一篇关于区间DP的学习笔记
06-12
好的，以下是一篇关于区间DP的学习笔记，希望对你有所帮助。 ### 什么是区间DP 区间 DP 是一种动态规划算法，用于解决一些区间上的问题。具体来说，区间 DP 通常用于解决如下问题： - 最长公共子序列（LCS） - ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值