![](https://img-blog.csdnimg.cn/20200219143622848.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
机器学习
紫薯真好吃
制定计划,不拖沓并且持之以恒~
展开
-
信息量、熵、 交叉熵、 联合熵、 条件熵 、KL散度 、JS散度
信息量信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。“太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话,信息量为0。“吐鲁番下中雨了”(吐鲁番年平均降水量日仅6天)这条信息比较有价值,为什么呢,因为按统计来看吐鲁番明天不下雨的概率为98%(1-6/300),对于吐鲁番下不下雨...转载 2020-04-21 19:34:59 · 324 阅读 · 0 评论 -
监督学习和无监督学习、生成模型和判别模型
机器学习分为:监督学习、无监督学习、强化学习监督学习监督学习是输入 ** 数据和标签** 进行训练学习,数据分为训练集和测试集。训练集用于训练模型,测试集用于验证模型的好坏。监督学习就像学生在学习时已知题目和答案,去学习分析如何解题一样,下次遇到一样的或者类似的题目就会做了。监督学习包括:决策树KNN(K近邻算法)LDA(线性判别分析)投影+KNN等分类算法可进行分类Ba...转载 2020-04-08 11:58:51 · 2187 阅读 · 0 评论 -
交叉熵
1、交叉熵的定义:在信息论中,交叉熵是表示两个概率分布p,q,其中p表示真实分布,q表示非真实分布,在相同的一组事件中,其中,用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中,我们很难理解交叉熵的定义。下面举个例子来描述一下:假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布。假如,按照真实分布p来衡量识别一个样本所需要的编码长度的期望为:但是,...转载 2020-04-06 16:25:59 · 4841 阅读 · 0 评论 -
Cross-Entropy Loss 与Accuracy的数值关系
转载 2020-03-30 15:40:53 · 428 阅读 · 0 评论 -
信息量与信息熵
信息量信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。“太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话,信息量为0。“吐鲁番下中雨了”(吐鲁番年平均降水量日仅6天)这条信息比较有价值,为什么呢,因为按统计来看吐鲁番明天不下雨的概率为98%(1-6/300),对于吐鲁番下不下雨...转载 2020-03-26 12:14:17 · 757 阅读 · 0 评论 -
二元变量问题——极大似然估计和使用Beta分布的贝叶斯估计
考虑⼀个⼆元随机变量x ∈ {0, 1}。例如,x可能描述了扔硬币的结果,x = 1表示“正⾯”,x = 0表示反⾯,对某个特定的硬币(确定了参数μ)硬币正面朝上的概率为: x的概率分布为伯努利分布:给定数据集规模N的条件下,x = 1的观测出现的数量m的概率分布。 这 被 称 为 ⼆ 项 分 布,写为:假设我们有一个x的观测值的数据集D = {x1, . . ....原创 2020-03-11 18:22:33 · 2383 阅读 · 1 评论 -
极大似然估计详解
极大似然估计原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大。总结:极大似然估计利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。即MLE的目标是找出一组参数(模型中的参数),使得模型产出观察数据的概率最大...转载 2020-03-11 09:51:25 · 12276 阅读 · 0 评论 -
贝叶斯分析——分布之分布(beta分布)
参考:http://blog.sciencenet.cn/blog-677221-1049350.html贝叶斯与逆概率问题对于“白球黑球”的概率问题。概率问题可以正向计算,也能反推回去。(1)盒子里有10个球,黑白两种颜色,如果我们知道10个球中5白5黑,那么,从中随机取出一个球,这个球是黑球的概率是多大?(2)假设我们预先并不知道盒子里黑球白球数目的比例,只知道总共是10个球,...转载 2020-03-10 12:31:47 · 7994 阅读 · 0 评论 -
k-d树最近邻搜索算法原理与伪代码
k-d树最近邻搜索算法伪代码:'''输入:k-d树根节点root,要查询的结点target输出:k-d树中距离target最近的结点nearest_node'''search(root, target):## 1. 进行二叉查找,建立搜索路径,直到找到一个叶结点 #二分查找target结点应该落在哪个区域 cur_node = root while cu...原创 2020-03-03 14:47:51 · 1593 阅读 · 0 评论 -
李航《统计学习方法》CART算法学习笔记,难点分析解读
1.CART生成(1)回归树的生成使用平方误差最小化准则(2)分类树的生成使用基尼指数最小化准则2. CART 剪枝所以[αi,α(i+1))范围内,都应该对Tt进行剪枝CART剪枝理解(转自:https://blog.csdn.net/wqtltm/article/details/82597334):1.这里的剪枝和前面讲的决策树剪枝不同的地方就是...原创 2020-02-29 20:42:42 · 422 阅读 · 0 评论 -
李航《统计学习方法》学习笔记——ch2感知机
2.感知机定义:感知机(perceptron)是二分类线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1+1+1和−1-1−1二值,属于判别模型。给定一个数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\{ (x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}T={(x1,y1),(x2,y2),⋯,(xN,yN)} ...原创 2020-02-25 18:50:12 · 192 阅读 · 0 评论 -
李航《统计学习方法》学习笔记——ch1统计学习概论
1. 统计学习概论1.1. 概念定义统计学习假设数据存在一定统计规律,计算机基于数据构建概率统计模型,并运用模型对数据进行预测与分析一门学科。主要内容监督学习(supervised learning)、非监督学习(unsupervised learning)、半监督学习(semi-supervised learning)、强化学习(reinforcement learnin)等。...原创 2020-02-24 14:07:49 · 265 阅读 · 0 评论 -
频率学派与贝叶斯学派
频率学派与贝叶斯学派贝叶斯学派与频率学派是当今数理统计的两大学派。对于样本分布F(X,θ)F(X,\theta)F(X,θ),我们要对其中的未知θ\thetaθ进行估计,让我们来看看频率学派(也称古典学派)和贝叶斯学派是如何做的:频率学派(1)频率学派把需要推断的参数θ\thetaθ看作是固定的未知常数,即对于一批样本,其分布F(X,θ)F(X,\theta)F(X,θ)是确定的,只不过...原创 2020-02-24 14:04:56 · 530 阅读 · 0 评论 -
k-近邻算法实例
版权声明:(谢厂节的博客)博主文章绝大部分非原创,转载望留链接。 https://blog.csdn.net/xundh/article/details/73611249本文内容来自《机器学习实战》中国工信出版集团 人民邮电出版社一、简介简单地说,k-近邻算法采用测量不同特征值之间的距离方法进来分类特点:优点:精度高、对异常值不敏感、无数据输入假定 缺点:计算复杂度高、空间复杂...转载 2018-09-09 13:22:39 · 11149 阅读 · 0 评论