线性回归、正态分布、
(图上的似然 应该就只是概率而已)
x不是随机变量, w、b都不是随机变量， ϵ \epsilon ϵ 是随机变量， 所以y也是随机变量
注意如果画y大约是: 横坐标x 纵坐标y， w T x + b w^Tx+b wTx+b是一条直线，在此直线的每个点是一个正太分布 ϵ \epsilon ϵ的钟形最高点 (该正太分布是与y轴平行的)
求解优化步骤:
- 模型 y = w T x + b + ϵ y=w^Tx+b+\epsilon y=wTx+b+ϵ 认为y是随机变量(认为y是概率分布)， 即给定任意一y 该分布能给出该y值的概率
- 以该模型为前提，算出数据集中每个真实<x,y> 的y所得到的概率,
- 整个数据集的y概率取得最大值时 的w、b即是模型的解
上文中还描述了以下两种方式是等价的
- 随机变量y的概率分布 y = w T x + b + ϵ y=w^Tx+b+\epsilon y=wTx+b+ϵ 、 ϵ N ( 0 , σ ) \epsilon ~ \Nu(0,\sigma) ϵ N(0,σ), 最大化整个数据集的y概率(最大化似然)
- 线性回归模型 y = w T x + b y=w^Tx+b y=wTx+b, 最小化均方误差 Σ ( ( y − y ˊ ) 2 ) \Sigma((y- ý)^2) Σ((y−yˊ)2)
…
判别模型 和 生成模型 比较 (Discriminative vs Generative )
- 判别模型 表达的是 左图中的 分界线，
- 生成模型 表达的是 蓝色区域、红色区域 （比如用多个高斯分布组合出右图：蓝色高概率区域、红色高概率区域）
析取 、合取
- 合取 conjunction
- 析取 disjunction
pytorch 概率图 mnist例子
读书笔记: 概率图模型：原理与技术
《智能系统的概率推理 》 （ Probabilistic Reasoning in Intelligent Systems) (Pearl 1988）
条件概率的作用 （条件概率的用法、条件概率的动机）
猜测: 所以 P(α) 叫 先验(先前已经存在的经验α 比如来自历史数据),
而 P(β|α) 叫做 后验(已知α后 变更了的β)
条件分布与边缘分布 通常 不同
P(α|β)…了解事件β为真改变了α的概率
随机变量独立性的陈述时关于随机变量所有可能值的一个通用的量化
…
频率派 比较 bayes派
machine learning study
google search key word: machine learning study path
artemis15 Machine-Learning-Study-Path
余弦距离 不是严格定义的 距离
距离定义 需要符合 以下三条公理
- 正定性
- 对称性
- 三角不等式
以下为简化式子，
使用单位圆上的 余弦距离cosdist
使用单位圆上的 欧氏距离 ∣ ∣ A − B ∣ ∣ ||A-B|| ∣∣A−B∣∣
单位圆上余弦距离cosdist定义
c o s d i s t ( A , B ) = 1 2 ∣ ∣ A − B ∣ ∣ 2 cosdist(A,B)=\frac{1} {2} ||A-B||^2 cosdist(A,B)=21∣∣A−B∣∣2
单位圆上余弦距离cosdist 符合 正定性、对称性，但不符合 三角不等式
单位圆上余弦距离cosdist不符合 三角不等式 等价描述:
若方程 c o s d i s t ( A , B ) + c o s d i s t ( B , C ) < c o s d i s t ( A , C ) cosdist(A,B)+cosdist(B,C)<cosdist(A,C) cosdist(A,B)+cosdist(B,C)<cosdist(A,C)有解，则cosdist不符合 距离公理中的三角不等式
上一行 等价于以下描述 :
若 ∣ ∣ A − B ∣ ∣ + ∣ ∣ B − C ∣ ∣ > = ∣ ∣ A − C ∣ ∣ ||A-B||+||B-C||>=||A-C|| ∣∣A−B∣∣+∣∣B−C∣∣>=∣∣A−C∣∣, 则 ∣ ∣ A − B ∣ ∣ 2 + ∣ ∣ B − C ∣ ∣ 2 < ∣ ∣ A − C ∣ ∣ 2 ||A-B||^2+||B-C||^2<||A-C||^2 ∣∣A−B∣∣2+∣∣B−C∣∣2<∣∣A−C∣∣2 有解
令 ||A-B||=x, ||B-C||=y , ||A-C||=z, x、y、z均为大于0的实数， 上一行 等价于以下描述:
若 x + y > = z x+y>=z x+y>=z , 则 x 2 + y 2 < z 2 x^2+y^2<z^2 x2+y2<z2 有解
证:
x 2 + y 2 = ( x + y ) 2 − 2 x y x^2+y^2=(x+y)^2-2xy x2+y2=(x+y)2−2xy, 带入 x + y > = z x+y>=z x+y>=z , 得
x 2 + y 2 > = z 2 − 2 x y x^2+y^2>=z^2-2xy x2+y2>=z2−2xy , 此式 与 目标式子 x 2 + y 2 < z 2 x^2+y^2<z^2 x2+y2<z2 并不矛盾， 可见 目标式子 x 2 + y 2 < z 2 x^2+y^2<z^2 x2+y2<z2 有解
一路回推，可见 余弦距离cosdist不符合 三角不等式
超参数调优（调参）
自动机器学习工具全景图：精选22种框架，解放炼丹师
从Google Visor到Microsoft NNI再到Advisor调参服务接口发展史
24万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
