小哲的博客

深度优先搜索一般用于树或者图的遍历，其他有分支的（如二维矩阵）也适用。它的原理是从初始点开始，一直沿着同一个分支遍历，直到该分支结束，然后回溯到上一级继续沿着一个分支走到底，如此往复，直到所有的节点都有被访问到。...

平衡二叉树（Balanced Binary Tree），具有以下性质：它是一棵空树或它的左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。

对完全二叉树最重要的定义就是**叶子节点只能出现在最下层和次下层**，所以我们想到可以**使用队列辅助进行层次遍历**——从上到下遍历所有层，每层从左到右，只有次下层和最下层才有叶子节点，其他层出现叶子节点就意味着不是完全二叉树。...

知识点1：二叉树递归递归是一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法，它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解。因此递归过程，最重要的就是查看能不能讲原本的问题分解为更小的子问题，这是使用递归的关键。而二叉树的递归，则是将某个节点的左子树、右子树看成一颗完整的树，那么对于子树的访问或者操作就是对于原树的访问或者操作的子问题，因此可以自我调用函数不断进入子树。知识点2：二叉搜索树二叉搜索树是一种特殊的二叉树，**它的每个节点值大于它的左子节点，且

概率模型有时既含有观测变量( observable variable),又含有隐变量或潜在变量( (latent variable)。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或者贝叶斯估计法估计模型参数。但是当模型含有隐变量时，就不能用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。将观测数据表示为 Y=(Y1,Y2,⋯ ,Yn)TY=\left(Y_{1}, Y_{2}, \cdots, Y_{n}\right)^{\mathrm{

（1）介绍boosting方法的思路和代表性的boosting算法AdaBoost（2）通过训练误差分析探讨AdaBoost为什么能提高学习精度（3）从前向分布加法模型的角度解释AdaBoost（4）最后叙述boosting方法更具体的实例——boosting tree（提升树）boosting基本思路：**boosting基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。**实际上就是“三个臭皮匠，顶个诸葛亮”的道理。强可学习：在概

非线性支持向量机，其主要特点是利用核技巧（kernel trick）。如果能用一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。非线性问题往往不好求解，所以希望能用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题。通过求解线性问题来求解原问题。设原空间为X⊂R2，x=(x(1),x(2))T∈X\mathcal{X}⊂R^2，x=(x^{(1)},x^{(2)})^T\in \mathcal{X}X⊂R2，x=(x(1),x(2))T∈X，新空间为Z⊂

`支持向量机（support vector machines, SVM）`是 一种二类分类模型。它的基本模型是`定义在特征空间上的间隔最大的线性分类器`，间隔最大使它有别于感知机；支持向量机还包括`核技巧`，这使它成为实质上的`非线性分类器`。 支持向量机的学习策略就是`间隔最大化`，可形式化为一个求解`凸二次规划（convex quadratic programming）`的问题，也等价于正则化的`合页损失函数的最小化问题`。支持向量机的学习算法是求解凸二次规划的最优化算法。...

逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。...

Image Caption: 图像描述，又称为图像标注，就是从给定的图像生成一段描述文字。图像描述是深度学习中十分有趣的一个研究方向，也是计算机视觉的一个关键目标。 对于图像描述的任务，神经网络不仅要了解图中有哪些对象，对象之间的关系，还要使用自然语言来描述这些对象的关系。...

决策树（decision tree）是一种基本的分类与回归方法。主要优点是模型具有可读性，分类速度快。决策树的学习通常包括三个步骤：特征选择、决策树的生成和决策树的剪枝。

统计学习方法学习笔记：朴素贝叶斯法1. 朴素贝叶斯的学习与分类1.1 基本方法朴素贝叶斯法(Naive Bayes)是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入xxx，利用贝叶斯定理求出后验概率最大的yyy。1. 朴素贝叶斯的学习与分类1.1 基本方法设输入空间......

风格迁移中有两类图片：一类是`风格图片`，通常是一些艺术家的作品，往往具有明显的艺术家风格，包括色彩、线条、轮廓等；另一类是`内容图片`，这些图片往往来自现实世界，如个人摄影等。利用风格迁移能够将内容图片转换成具有艺术家风格的图片。...

`自然语言处理（Natural Language Processing, NLP）`是人工智能和语言学领域的分支学科，涉及研究方向宽泛，包括机器翻译、句法分析、信息检索等。 这里回顾两个基本概念：**词向量（word vector）**和**循环神经网络（Recurrent Neural Network，RNN）**。...

AttributeError: module 'signal' has no attribute 'SIGALRM'

数据抽样和模型验证方法、超参数调优以及过拟合和欠拟合问题是最简单也是最直接的验证方法，它将原始的样本集合随机划分成和两部分。

机器学习问题中，通常将特征表示为向量的形式，所以在分析两个特征向量之间的相似性时，常使用`余弦相似度`来表示。余弦相似度的取值范围为[ -1, 1 ]，相同的两个向量之间的相似度为1，将1减去余弦相似度即为`余弦距离`。因此，余弦距离的取值范围为[0, 2]，相同的两个向量余弦距离为0。...

评价指标的局限性问题1：准确率的局限性问题2：精确率与召回率的权衡问题3：平方根误差的“意外”参考资料评价指标是针对将相同的数据，输入不同的算法模型，或者输入不同参数的同一种算法模型，而给出这个算法或者参数好坏的定量指标。在模型评估过程中，往往需要使用多种不同的指标进行评估，在诸多的评价指标中，大部分指标只能片面的反应模型的一部分性能，如果不能合理的运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。本文将详细介绍机器学习分类任务的常用评价指标：准确率（Accuracy）、精确率（Prec

首先简要介绍一下与的概念：判别模型在深度学习乃至机器学习领域取得了巨大成功，其本质是将样本的特征向量映射成对应的label；而生成模型由于需要大量的先验知识去对真实世界进行建模，且先验分布的选择直接影响模型的性能，因此此前人们更多关注于判别模型方法。生成式对抗网络（Generative Adversarial Networks，GANs）是蒙特利尔大学的Goodfellow Ian于2014年提出的一种生成模型， 在之后引起了业内人士的广泛关注与研究。GANs的主要框架包括两个部分：和两个部分。生成器用来合

使用visdom时出现“ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接”问题