机器学习EM算法-硬币问题-详细可视化代码

最新推荐文章于 2023-01-05 17:12:33 发布
最新推荐文章于 2023-01-05 17:12:33 发布
阅读量4.7k 收藏 40
点赞数 29
分类专栏： Python 大数据 文章标签： 算法 python 机器学习 人工智能 可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43906799/article/details/109476211
版权

致读者： 博主是一名数据科学与大数据专业大二的学生，真正的一个互联网萌新，写博客一方面是为了记录自己的学习过程中遇到的问题和思考，一方面是希望能够帮助到很多和自己一样处于困惑的读者。
由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！之后会写大数据专业的文章哦。
GitHub链接https://github.com/wfy-belief
尽管现在我的水平可能还不太及格，但我会尽我自己所能，做到最好☺。——天地有正气，杂然赋流形。下则为河岳，上则为日星。

算法简介

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

算法步骤

在这里插入图片描述

代码效果展示

第一次

在这里插入图片描述

第二次

在这里插入图片描述

第n次

代码实现

import math
import matplotlib.pyplot as plt


class Coin_Distribution():
    """
    硬币的分布
    """

    def __init__(self, head, tail):
        """
        硬币的正面和反面的个数
        """
        self.head = head
        self.tail = tail


class Solution():
    def __init__(self, theta_A, theta_B):
        """
        初始化条件
        """
        self.distribution1 = Coin_Distribution(5, 5)
        self.distribution2 = Coin_Distribution(9, 1)
        self.distribution3 = Coin_Distribution(8, 2)
        self.distribution4 = Coin_Distribution(4, 6)
        self.distribution5 = Coin_Distribution(7, 3)
        self.distribution = {
            '1': 0,
            '2': 0,
            '3': 0,
            '4': 0,
            '5': 0,
        }
        self.A = theta_A
        self.B = theta_B

    def get_distribution(self, head, tail, key):
        """
        求每个分布的概率,A投掷十次出现相应分布的概率
        """
        pa = math.pow(self.A, head) * math.pow(1 - self.A, tail)
        pb = math.pow(self.B, head) * math.pow(1 - self.B, tail)
        self.distribution[key] = pa / (pa + pb)
        # print(pa / (pa + pb))

    def get_five_distribution(self):
        self.get_distribution(self.distribution1.head,
                              self.distribution1.tail, '1')
        self.get_distribution(self.distribution2.head,
                              self.distribution2.tail, '2')
        self.get_distribution(self.distribution3.head,
                              self.distribution3.tail, '3')
        self.get_distribution(self.distribution4.head,
                              self.distribution4.tail, '4')
        self.get_distribution(self.distribution5.head,
                              self.distribution5.tail, '5')

    def M(self):
        sum_head_A = 0
        sum_tail_A = 0
        sum_head_B = 0
        sum_tail_B = 0
        # get A head
        # print(self.distribution['1'], self.distribution1.head)
        sum_head_A += self.distribution['1'] * self.distribution1.head
        sum_head_A += self.distribution['2'] * self.distribution2.head
        sum_head_A += self.distribution['3'] * self.distribution3.head
        sum_head_A += self.distribution['4'] * self.distribution4.head
        sum_head_A += self.distribution['5'] * self.distribution5.head
        # get A tail
        sum_tail_A += self.distribution['1'] * self.distribution1.tail
        sum_tail_A += self.distribution['2'] * self.distribution2.tail
        sum_tail_A += self.distribution['3'] * self.distribution3.tail
        sum_tail_A += self.distribution['4'] * self.distribution4.tail
        sum_tail_A += self.distribution['5'] * self.distribution5.tail

        # get B heBd
        sum_head_B += (1 - self.distribution['1']) * self.distribution1.head
        sum_head_B += (1 - self.distribution['2']) * self.distribution2.head
        sum_head_B += (1 - self.distribution['3']) * self.distribution3.head
        sum_head_B += (1 - self.distribution['4']) * self.distribution4.head
        sum_head_B += (1 - self.distribution['5']) * self.distribution5.head
        # get B tBil
        sum_tail_B += (1 - self.distribution['1']) * self.distribution1.tail
        sum_tail_B += (1 - self.distribution['2']) * self.distribution2.tail
        sum_tail_B += (1 - self.distribution['3']) * self.distribution3.tail
        sum_tail_B += (1 - self.distribution['4']) * self.distribution4.tail
        sum_tail_B += (1 - self.distribution['5']) * self.distribution5.tail

        self.A = sum_head_A / (sum_head_A + sum_tail_A)
        self.B = sum_head_B / (sum_head_B + sum_tail_B)
        print(self.A, self.B)

    def init_image(self):
        fig = plt.figure('EM', figsize=(4.5, 7))
        plt.title('EM')
        plt.xticks([])
        plt.yticks([])

    def drow_image(self, num):
        plt.title('This is the %d time EM' % num)
        plt.plot([1, 1, 5, 5, 1, 1, 5, 5, 1, 1, 5, 5, 1, 1, 5, 5, 1, 1, 3, 3],
                 [1, 8, 8, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8, 8, 1])
        plt.text(2, 1.5, r'$%s$' % str('COIN-A'), ha='center', c='r')
        plt.text(4, 1.5, r'$%s$' % str('COIN-B'), ha='center', c='g')
        # coin A
        # print(self.distribution['1'], self.distribution1.head)

        plt.text(1.5, 2.5, r'$%.1fH,%.1fT$' % (self.distribution['1'] * self.distribution1.head,
                                               self.distribution['1'] * self.distribution1.tail), c='r')
        plt.text(1.5, 3.5, r'$%.1fH,%.1fT$' % (self.distribution['2'] * self.distribution2.head,
                                               self.distribution['2'] * self.distribution2.tail), c='r')
        plt.text(1.5, 4.5, r'$%.1fH,%.1fT$' % (self.distribution['3'] * self.distribution3.head,
                                               self.distribution['3'] * self.distribution3.tail), c='r')
        plt.text(1.5, 5.5, r'$%.1fH,%.1fT$' % (self.distribution['4'] * self.distribution4.head,
                                               self.distribution['4'] * self.distribution4.tail), c='r')
        plt.text(1.5, 6.5, r'$%.1fH,%.1fT$' % (self.distribution['5'] * self.distribution5.head,
                                               self.distribution['5'] * self.distribution5.tail), c='r')
        # coin B
        plt.text(3.5, 2.5, r'$%.1fH,%.1fT$' % ((1 - self.distribution['1']) * self.distribution1.head,
                                               (1 - self.distribution['1']) * self.distribution1.tail), c='g')
        plt.text(3.5, 3.5, r'$%.1fH,%.1fT$' % ((1 - self.distribution['2']) * self.distribution2.head,
                                               (1 - self.distribution['2']) * self.distribution2.tail), c='g')
        plt.text(3.5, 4.5, r'$%.1fH,%.1fT$' % ((1 - self.distribution['3']) * self.distribution3.head,
                                               (1 - self.distribution['3']) * self.distribution3.tail), c='g')
        plt.text(3.5, 5.5, r'$%.1fH,%.1fT$' % ((1 - self.distribution['4']) * self.distribution4.head,
                                               (1 - self.distribution['4']) * self.distribution4.tail), c='g')
        plt.text(3.5, 6.5, r'$%.1fH,%.1fT$' % ((1 - self.distribution['5']) * self.distribution5.head,
                                               (1 - self.distribution['5']) * self.distribution5.tail), c='g')
        # coni A and B
        plt.text(1.2, 7.5, r'CoinA is $p_{A}(%.2f)$' % self.A, c='k')
        plt.text(3.2, 7.5, r'CoinB is $p_{B}(%.2f)$' % self.B, c='k')
        # describe
        plt.text(1.5, 8.5, r'Please click on the X to continue...', c='b')

    def set_ax(self):
        ax = plt.gca()
        ax.spines['right'].set_color('none')
        ax.spines['bottom'].set_color('none')
        ax.spines['top'].set_color('none')
        ax.spines['left'].set_color('none')
        ax.xaxis.set_ticks_position('top')
        ax.invert_yaxis()

    def show_image(self, num):
        self.init_image()
        self.set_ax()
        self.drow_image(num)
        plt.show()


if __name__ == "__main__":
    S = Solution(0.6, 0.5)
    for i in range(5):
        S.get_five_distribution()
        S.M()
        S.show_image(i + 1)
ZZULI_星.夜
关注
专栏目录
【进阶版】机器学习之EM经典算法原理+代码（11）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1292
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
白话机器学习算法理论+实战之EM聚类
Miracle8070
02-14 3435
1. 写在前面 如果想从事数据挖掘或者机器学习的工作，掌握常用的机器学习算法是非常有必要的，比如我之前写过的一篇十大机器学习算法的小总结，在这简单的先捋一捋， 常见的机器学习算法： 监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等 无监督算法：聚类，降维，关联规则, PageRank等 为了详细的理解这些原理，曾经看过西瓜书，统计学习方法，机...
白话机器学习算法（十一） EM（附三个硬币模型代码）
简洁之美 的专栏
03-30 2615
EM有很多公式推导，这里还是先说下EM思想，前面说过EM是最大似然估计的思路，但是他的方法是用 参数与数据  去估计 参数，直到估计出的参数基本正确； EM是怎么做到的？
Em算法（python实现）——三硬币问题
wurobb的博客
01-05 674
em算法
EM算法解决二硬币问题(python)
andy dennis的博客
02-09 1814
前言 EM算法是很多深度学习的基础，这里我们以一个简单的例子去探寻EM算法的原理。 不断更新，先挖坑 代码来源: https://github.com/luwill/Machine_Learning_Code_Implementation/tree/master/charpter22_EM 问题描述 源码 # 导入numpy库 import numpy as np ### EM算法过程函数定义 def em(data, thetas, max_iter=30, eps=1e-3): '''
EM抛硬币算法
12-20
Excel来解释公式，简单容易理解 这是一个抛硬币的例子，H表示正面向上，T表示反面向上，参数θ表示正面朝上的概率。硬币有两个，A和B，硬币是有偏的。本次实验总共做了5组，每组随机选一个硬币，连续抛10次。如果知道每次抛的是哪个硬币，那么计算参数θ就非常简单了，如上图所示。 如果不知道每次抛的是哪个硬币呢？那么，我们就需要用EM算法，基本步骤为：1、给θA和θB一个初始值；2、（E-step）估计每组实验是硬币A的概率（本组实验是硬币B的概率=1-本组实验是硬币A的概率）。分别计算每组实验中，选择A硬币且正面朝上次数的期望值，选择B硬币且正面朝上次数的期望值；3、（M-step）利用第三步求得的期望值重新计算θA和θB；4、当迭代到一定次数，或者算法收敛到一定精度，结束算法，否则，回到第2步。
通过 EM 算法学习 GMM 的 3D 可视化：EM 算法中 GMM 的演变通过迭代之间的插值进行可视化。-matlab开发
06-01
这是期望最大化算法如何学习 3 维数据的高斯混合模型的 3D 可视化。 - 这个怎么运作 - 数据在一般协方差高斯簇中被读入或生成。 对于 k 的期望值（要拟合的高斯数），播放一部电影，通过 EM 算法的迭代显示 GMM 的演变。 真实模型仅在每次迭代时可用（被视为电影中的锚帧），因此通过在这些锚之间插入足够多的“帧”来给出 3D 高斯运动的错觉（显示为 1 个标准差的椭球）帧。
透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
捡起一束光的博客
12-27 3508
在机器学习中，我们经常会遇到极大似然估计(Maximum Likelihood Estimation, MLE)，本文将带你好好理解这个概念。极大似然估计的依据：概率最大的事件最有可能发生，或者说真实发生的事情总是概率最大的...
Em算法硬币模型matlab代码
最新发布
02-27
EM算法应用实例中硬币模型的matlab代码。 我们要做一个投掷硬币的实验，现在有两个硬币A和B，这两个硬币都是有偏的。现在要做5组实验，每次实验从两个硬币中随机抽取一个，然后连续抛10次。在不知道每次抛的硬币是A还是B时，如何获取两个硬币正面朝上的概率。通过该实现模型可以帮助更好的理解Em模型，通过修改模型参数的初始值，体会Em模型的收敛特点。
Python实现EM算法：机器学习分类基础
Python的易学特性使得即使是初学者也能通过编写简单的代码来理解和使用EM算法，进而深入学习更高级的机器学习算法。 从给定的文件信息来看，资源文件名称“EM_towcoins.py”暗示这个Python脚本文件可能是一个具体的...
EM算法-硬币实验的理解
hunk954的博客
11-29 3588
EM算法-使用硬币实验的例子理解 EM算法，即最大期望算法（Expectation-Maximization algorithm, EM），是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法 ，通常作为牛顿迭代法的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估...
EM算法(Expectation-Maximum)与双硬币问题的求解（附代码实现）
小吴同学的小屋
04-26 1120
EM算法(Expectation-Maximum)与双硬币问题的求解（附代码实现） 不卖茶的吴龙茗茶 EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称为EM算法（Expectation-Maximization Algorithm），最初是为了解决数据缺失情况下的参数估计问题。双硬币问题可以作为一个非常好的实例： 假如有五枚硬币，没枚.
使用EM算法计算混合高斯模型的参数，及其可视化
u_say2what的博客
11-25 1142
转载请标明作者 本文主要使用了EM算法计算隐变量，计算使用的是假数据，使用了三个高斯进行混合，由于时间，代码只是进行了部分优化，所以运算有点慢，还有图的显示以后有时间再改吧，代码如下： import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from scipy im...
EM算法——投硬币样例实现
HMT的博客
12-09 1033
有c个硬币，每次随机选一个投掷n次，重复执行m次并记录结果。根据投掷结果计算出每个硬币正面的概率。每次选择的硬币未知。随机初始化硬币为正的概率 head_p根据 head_p 求出选择某个硬币的概率 selected_p根据 selected_p 计算新的硬币概率 head_p若 head_p 收敛，执行5；否则，执行2结束。
EM算法在三枚硬币问题中的实现
07-14
对EM算法进行解释时，常常用三枚硬币的问题进行举例，尝试对此用matlab进行编码实现，利于初学者交流。
三硬币问题的EM算法实现
Chrispink
10-08 1099
代码: def three_coins(pi,p,q,y,steps): e = 0.00001 # E-step for _ in range(steps): miu = [] for yi in y: miu.append((pi*(p**yi)*((1-p)**(1-yi)))/(pi*(p**yi)*((1-p...
EM算法的丢硬币实例
07-14 6416
EM算法 丢硬币
机器学习_EM算法
qq_34229228的博客
12-02 342
Jesen不等式 若f是凸函数（如f(x)=x2f(x)=x^2f(x)=x2），则f(Ex)≤E(f(x))f(Ex)\leq E(f(x))f(Ex)≤E(f(x)) 一、EM算法 现实生活中，很多样本可能含有隐变量，这时候用似然法求模型参数是不现实的，我们考虑用EM算法。利用当前参数θ\thetaθ的估计值，来计算似然函数的期望；在计算使期望最大的θ\thetaθ值，反复迭代，至收敛。 1、...
EM算法学习笔记
I am not a quitter.
01-11 1642
EM is typically used to compute maximum likelihood estimates given incomplete
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZZULI_星.夜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值