小小何先生的学习之旅

文章目录PAC学习模型定义 Generalization error ：定义 Empirical error ：Learning axisaligned rectanglesPAC learningGuarantees for finite hypothesis sets — consistent caseGuarantees for finite hypothesis sets — inconsistent caseGeneralities参考  当在设计一个算法的时候：怎么样才能学习地更有效率？

文章目录Unified FrameworkStatistics求解Proof of Termination参考  机器学习中大部分问题考虑的输入都是一个向量，输出是另外一个向量。而现实生活中的问题往往比这复杂地多，输出可能是一个sequence，list，tree或者bounding box。如何处理这种结构化的数据呢？而这种结构化的数据在现实生活中又比比皆是。想语音辨识(Speech recognition，输入一个声音信号，输出一段文本)，翻译(Translation，输入一段文本，输出一段文本)，目

  排序学习一般被认为是supervised learning中的一个特例，谈到supervised learning其loss function一般表示为如下形式：minθ1N∑i=1NL(yi,fθ(xi))\text{min}_{\theta} \frac{1}{N} \sum_{i=1}^{N} \mathcal{L}\left( y_{i}, f_{\theta}(x_{i})\ri...

  对推荐系统还没有直观理解的同学可以参考之前所写的文章：TODO  协同过滤(Collaborative Filtering)是当前推荐系统最为流行的一种方法，就是说我们不只是基于内容进行推荐，我们还基于一些用户之间的协同行为去给用户做推荐，或者称之为个性化推荐。  推荐系统本身和信息检索( information retrieval)具有很强的相关性，甚至被认为是一种能力更强的信息检索，与...

  正在学，把网上优质文章整理了一下。  我们经常利用贝叶斯公式求posterior distribution P(Z∣X)P(Z | X)P(Z∣X)P(Z∣X)=p(X,Z)∫zp(X,Z=z)dzP(Z | X)=\frac{p(X, Z)}{\int_{z} p(X, Z=z) d z}P(Z∣X)=∫z​p(X,Z=z)dzp(X,Z)​  但posterior distribut...

文章目录指数家族伯努利分布转指数家族高斯分布转指数家族指数家族的性质最大熵模型最大似然求解最大熵似然法参考  了解最大熵模型之前，我们需要先了解一个和最大熵模型相伴的概念，指数家族。指数家族  指数家族是一个包含我们常见的概率分布的分布族。不管是离散概率分布的代表伯努利分布还是连续概率分布的代表高斯分布，它们都属于指数家族。将其抽象到指数家族这一类会有一些性质，利于求解部分问题。指数家族的基本公式形式为：p(x∣θ)=h(x)exp⁡(θTϕ(x)−A(θ))p(x \mid \theta)=h(x

  支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的 ，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够 推广应用到函数拟合等其他机器学习问题中。  1963年，Vapnik在解决模式识别问题时提出了支持向量方法，这种方法从训练集中选择一 组特征子集，使得对特征子集的划分等价于对整个数据集的划分，这组特征子集就被称为 ...

  相似性度量是机器学习中一个非常基础的概念：是评定两个事物之间相似程度的一种度量，尤其是在聚类、推荐算法中尤为重要。其本质就是一种量化标准。  相似性度量的方法有很多，主要包括以下几种：欧式距离  欧式距离是一种经常使用的一种度量方法，主要描述为以下数学形式：  两个nnn维向量α(x11,x12,⋯ ,x1n)\alpha (x_{11}, x_{12}, \cdots ,x_{1n}...

  在《战国策·齐策三》中有这么一句话：“物以类聚，人以群分”，用于比喻同类的东西常聚在一起，志同道合的人相聚成群，反之就分开。而所谓的科学，不过是把我们日常的生活经验，大自然的规律用数学的语言描述出来罢了。在机器学习中也有这么一类算法，聚类算法，借鉴的就是“物以类聚，人以群分”的思想。  想想人在生活中是如何做到“聚类”的。我们通常会跟自己很像的人在一起玩，比如同龄人、有共同爱好的人，相同的社...

  中国有句老古话，叫“三个臭皮匠顶个诸葛亮”，说的是人多力量大，可也有句成语叫“乌合之众”。在机器学习中也有一类算法，将这两种思想融合起来，它就是集成学习，算法将不同的学习器融合在一起。  在集成学习中，算法不要求每个学习器性能最好，但是期望它们对问题具有不同的看法，Good But Different (好而不同)。  如果在分类问题上描述的话，所表示的就是具有不同的划分能力，对于一些样本...

  本节证明并未从集成学习源头开始，如若对集成学习还不是很清楚的同学，参考文章：经典机器学习系列之【集成学习】AdaBoost算法证明  本文以周志华西瓜书推导过程为例，以“加性模型”（additive model）进行解析：  将基学习器ht(x)h_{t}(\boldsymbol{x})ht​(x)线性组合，则基学习器的线性组合表示为如下H(x)H(\boldsymbol{x})H(x)...

我的微信公众号名称：深度学习先进智能决策微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！...

我的微信公众号名称：深度学习与先进智能决策微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！  这节主要来详细说一下神经网络。从神经网络定义到M-P模型再扩展到单层感知机、多层前馈神经网络、再到深层神经网络。(本文有一些概念省略了，若有写得不清楚的地方，我...

我的微信公众号名称：深度学习与先进智能决策微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！线性模型基本概念  线性模型(Linear Model)是在假设特征满足线性关系，给定一些数据，需要用这些数据训练一个模型，并用此模型进行预测。但这个模型是属性的...

我的微信公众号名称：深度学习与先进智能决策微信公众号ID：MultiAgent1024公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！  线性判别分析，英文名称Linear Discriminant Analysis(LDA)是一种经典的线性学习方法。本文针对二分类问题，从直观理解，对其数学建模，...

贝叶斯决策、概率估计本文主要来源于：东北大学 信息科学与工程学院 人工智能与机器人研究所 陈东岳教授的 模式识别课程笔记。Introduction  将未知的东西，进行正确的类别划分，叫做classification。怎么用有效的数字、符号来表示你的未知的东西呢？我们将其称之为feature，它能够有效表达未知物品，或者说所需要分类的物品的有效信息。大量的特征组成特征向量 {x1,x2...