2.2 多项式变量

翻译 2016年05月30日 17:05:24

2.2 多项式变量

1、基本概念

⼆元变量可以用来描述只能取两种可能值中的某一种这样的量。然而,我们经常会遇到可以取K个互斥状态中的某一种的离散变量,即:

x=(0,0,0,1,0,0)T

注意,这样的向量满足Kk=1xk=1。如果我们用参数k表示xk=1的概率,那么x的分布就是:

p(xμ)=k=1Kμxkk

其中μ=(μ1,μ2...μK)T

可以看出,这个分布是归一化的,即:

xp(xμ)=k=1Kμk=1

并且:

E(xμ)=xp(xμ)x=(μ1,μ2...μK)T=μ

现在考虑一个有N个独立观测值x1,x2,...xn的数据集D。对应的似然函数的形式为:

p(Dμ)=n=1Nk=1Kμxnkk=k=1Kμ(nxnk)k=k=1Kμmkk

为了找到的最大似然解,我们需要关于 μk最大化 lnp(Dμ),并且要限制μk的和必须等于1。这可以通过拉格朗日乘数实现,即最大化:

k=1Kmklnμk+λ(k=1Kμk1)

令关于μk导数为0,得到:

μk=mkλ

将结果代入 μk 的限制条件 kμk=1 中,解得 λ=N,于是我们得到最大似然解:

μMLk=mkN

它是N次观测中,xk=1 的观测所占的⽐例。

2、狄利克雷分布

由上述可知,多项式分布的共轭先验为:

p(μα)k=1Kμαk1k

其中0μk1kμk=1。这⾥, α1,α2,...αk 是分布的参数, α表⽰ (α1,α2,...αk)T 。注意,由于加和的限制,{μk}空间上的分布被限制在K-1维的单纯形(simplex)当中。

概率的归一化形式为:

Dir(μα)=Γ(α0)Γ(α0)...Γ(αk)k=1Kμαk1k

这被称为狄利克雷分布,其中 α0=Kk=1αk

OpenCV2.2求解多项式方程的根

最近一直在编写C++的算法程序,因为以前使用过OpenCV,觉得OpenCV当中的矩阵运算做的很不错,所以就拿来用用。         这两天遇到了一个难题,就是多项式方程的根的求解,因为自己比较懒...

最简单单变量多项式回归

机器学习课程一般从线性回归开始,可以由线性回归思想解决单变量多项式的拟合问题,本文章使用最小二乘法实现了PRML书籍中的第一个实例,对于训练集trainSet以及标签label为训练样本,使用orde...

教女友学习机器学习0X01——多变量线性回归、特征缩放与多项式回归

基于Andrew Ng在Coursera上的机器学习的课程,介绍了多变量线性回归、特征缩放与多项式回归...

c++primer笔记--2.2变量

1 变量提供一个具名的,可供程序操作的存储空间。 2 c++中每个变量都有其数据类型,数据类型决定着变量所占内存空间大小和布局方式,该空间能存储的值的范围,以及变量能参与的运算。 3 变量定义:类...

概率数理统计--2.2 多维随机变量

2.2.1 离散型随机向量的分布 设X=(X1, X2,,,,,Xn)为一n维向量,其每个分量,即X1,...... ,Xn,都是一维随机变量,则称X是一个n维随机向量或n维随机变量。 多...
  • lqblqb
  • lqblqb
  • 2013年03月07日 11:27
  • 584

c++学习(2.2)变量

2.2.1 变量定义变量定义的基本形式是:首先是类型说明符, 随后紧跟着一个或者多个变量名组成的列标, 其中变量名以逗号分隔, 最后以分号结束。 列表中, 每个变量名的类型都有特定的类型说明符决定。定...

Spark2.2 广播变量broadcast原理及源码剖析

实例首先先来看一看broadcast的使用代码: val factor = List[Int](1,2,3); val factorBroadcast = sc.broadcast(fa...

2.2变量及变量的作用域

1.变更的概念    变量就是系统为程序分配的一块内存单元,用来存储各种类型的数据。根据所存储的数据类型的不同,有各种不同类型的变量。变量名代表这块内存中的数据。2.java的变量类型3.变量字节大小...

2.2常量与变量

对于基本数据类型量,按其值是否可变又分为常量和变量两种。 在程序执行过程中,其值不发生改变的量称为常量,其值可变的量称为变量。 它们可与数据类型结合起来分类,例如,可分为整型常量、整型变量、浮...

多项式的简单运算

  • 2017年12月13日 10:11
  • 581KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:2.2 多项式变量
举报原因:
原因补充:

(最多只允许输入30个字)