机器学习
文章平均质量分 62
机器学习
micklongen
micklongen
展开
-
机器学习 --- 概率图 - 其他
机器学习 — 概率图 - 近似推理近似推理BP算法的能量最小化解释基于图切法的近似推理算法确定性近似(变分推断)随机近似(MCMC)机器学习 - 概率图 - 学习参数学习贝叶斯网络中的最大似然估计结构学习贝叶斯网络基于约束的结构学习基于得分的结构学习...原创 2022-01-06 10:10:34 · 326 阅读 · 0 评论 -
机器学习 --- 概率图 - 精确推理
问题边缘概率最大后验概率状态求归一化因子变量消元法基本思想逐步从联合概率中消除变量,求解边缘概率变量消除的顺序:最有消元顺序是NP难问题可以通过一些启发式的规则优化,如最少临接点算法边缘概率Sum Product VE最大后验概率状态(MAP)max-sum elimination应用求边缘概率求条件概率团树传播算法与变量消元法对比相同点本质上相同,只是从不同的角度出发不同点变量消元法把全局概率推理转化成原创 2022-01-05 21:01:19 · 469 阅读 · 0 评论 -
机器学习 --- 概率图 - 表示 - 动态模型
概述本质上是有向图与有向图对比添加了时间维度(序列化?)xi之间不独立同分布马尔科夫过程隐马尔可夫模型(HMM)概述隐马尔可夫模型 (Hidden Markov Model) 是一种统计模型,用来描述一个含有隐含未知参数的马尔可夫过程。它是结构最简单的动态贝叶斯网,这是一种著名的有向图模型,主要用于时序数据建模,在语音识别、自然语言处理等领域有广泛应用。组成部分初始状态概率向量π :初始可能的状态,以及每个状态对应的概率状态转移矩阵A观察矩阵Bbi(ot):原创 2022-01-05 20:57:21 · 1939 阅读 · 0 评论 -
机器学习 --- 概率图 - 表示 - 无向图
马尔可夫网络/马尔可夫随机场概述我们已经知道,有向图模型,又称作贝叶斯网络,但在有些情况下,强制对某些结点之间的边增加方向是不合适的。使用没有方向的无向边,形成了无向图模型(Undirected Graphical Model,UGM), 又被称为马尔可夫随机场或者马尔可夫网络(Markov Random Field, MRF or Markov network)。马尔可夫随机场:马尔科夫随机场是具有马尔科夫特性的随机拿种地打比方,如果任何一块地里种的庄稼的种类仅仅与它邻近的地里种的庄稼的种类有关原创 2022-01-05 20:53:31 · 477 阅读 · 0 评论 -
机器学习 --- 概率图 - 表示 - 有向图
贝叶斯方法概述生成模型:贝叶斯公式模型假设:条件独立性预测准侧:后验概率最大频率派观点频率派把需要推断的参数θ看做是固定的未知常数,即概率虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;比如往台球桌上扔一个球,这个球落会落在何处呢?如果是不偏不倚的把球抛出去,那么此球落在台球桌上的任一位置都有着相同的机会,即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布原创 2022-01-05 20:50:03 · 531 阅读 · 2 评论 -
机器学习 --- 概率图 - 概述
简述概念概率图模型是用图来表示变量概率依赖关系的理论,结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。概率图模型在机器学习的诸多场景中都有着广泛的应用。朴素贝叶斯模型、最大熵模型、主题模型马尔科夫随机场、条件随机场隐马尔科夫模型、多元高斯模型Kalman滤波、粒子滤波、变分推理等当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。历史历史上,曾经有来自不同学科的学者尝试使用图的形式表示高维分布的原创 2022-01-05 20:46:23 · 1716 阅读 · 0 评论 -
机器学习 --- 无监督学习
C. 聚类算法 概要 距离:包括曼哈顿距离、欧拉距离等等 相似系数:主要有夹角余弦和相关系数 核函数:核函数的功能就是把数据从低维空间投影(project)到高维空间去 DTW 层次化聚类算法:该主要有两种路径:agglomerative和divisive,也可以理解为自下而上法(bottom-up)和自上而下法(top-down)自下而上算法流程:1. 将每个对象看作一...原创 2019-05-04 01:16:40 · 4392 阅读 · 0 评论 -
机器学习 --- 半监督学习
机器学习 - 半监督学习概述难点数据打标成本太高应用场景一小部分标签数据,大部分是无标签数据算法分类Transductive learning: 无标签数据是测试数据Inductive learning: 无标签数据不是测试数据具体算法生成式模型(贝叶斯)通过不断的调整 概率值、均值、方差,来逐步获取更好的结果\n参见k-means特点Soft label低密度分割(数据集中,分类明显,非黑即白)Self-training步骤第一步原创 2021-10-23 21:46:04 · 271 阅读 · 0 评论 -
机器学习 --- 可解释性
机器学习 - 可解释性概述观点Goal of ML Explanation != you completely know how the ML model work.Goal of ML Explanation is make people(your customers, your boss, yourself) comfortable.针对不同的人,可能需要不同的解释\nPersonalized explanation in the future.平衡点在模型的 可解释性 和 模型原创 2021-10-23 22:00:11 · 114 阅读 · 0 评论 -
机器学习 --- 异常检测
机器学习 - 异常检测概述目标判断预测的数据,跟训练数据的相似程度应用场景金融欺诈行为:正常刷卡行为 VS 盗刷网络入侵检测癌细胞检测二分类模型困难异常数据无法穷尽异常数据很少有标签数据流程输入输出类别可信度(可能是 0 ~ 1 的浮点数)阈值设置通过设置阈值,判断数据是否异常阈值的设定基于实际情况而定算法神经网络算法评估验证数据:数据,以及标注该数据是否正常(不是具体的分类)优化点通过对抗神经网络原创 2021-10-23 21:55:13 · 244 阅读 · 0 评论 -
机器学习 --- 监督学习 - 生成模型VS判别模型
机器学习 - 监督学习 - 生成模型VS判别模型判别模型概念判别模型就是直接学习条件概率分布P(y|x)判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。基本思想有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。算法逻辑回归决策树支持向量机(SVM)条件随机场(CRF)最近邻一般的神经网络优点判别方法直接学习的是决策函数Y=f(X)或者条件概率分布P(Y|X)直接面对预测,往往学习的准确率原创 2021-11-11 21:03:27 · 188 阅读 · 0 评论 -
机器学习 --- 监督学习
C. 监督算法 数据 离散型 连续性 分类算法 k近邻算法kNN 贝叶斯 朴素贝叶斯算法 拉普拉斯平滑:为了避免属性携带的信息被训练集中未曾出现过的属性值所干扰。 半朴素贝叶斯分类器 Bayesian Belief Network(BBN) 线性分类 Logistic回归算法 二分类 多分类 一种改进方式是通过多...原创 2019-05-04 01:16:24 · 5390 阅读 · 0 评论 -
机器学习 --- 攻防(如何欺骗ML 和 如何防御攻击)
机器学习 - 攻防(如何欺骗ML 和 如何防御攻击)攻击 机器学习模型无目标攻击通过添加噪音,使得训练的结果远离目标有目标的攻击通过添加噪音,使得训练的结果离错误的目标越近越好比如说:垃圾邮件被判断非垃圾邮件限制不要被发现:输入的噪音尽可能的小衡量算法L2 - normalL - infinity核心思想通过梯度下降方法,把噪音作为参数进行调参算法白盒攻击:有模型和模型参数FGSM:只在意偏移方向,不在意大小黑盒攻击:不知道模型和模型参原创 2021-10-23 22:04:14 · 203 阅读 · 0 评论