XuJiuInChina的博客

无监督学习引入文章目录一、引入二、概念三、聚类3.1 概念3.2 距离计算3.3 应用场景一、引入在实际工作中，我们经常会遇到这样一类问题：给机器输入大量的特征数据，并期望机器通过学习找到数据中存在的某种共性特征或者结构，抑或是数据之间存在的某种关联。例如，视频网站根据用户的观看行为对用户进行分组从而建立不同的推荐策略，或是寻找视频播放是否流畅与用户是否退订之间的关系等。这类问题被称作是 非监督学习 问题，它并不是像有监督学习那样希望预测某种输出结果。相比较于监督学习，非监督学习的输入数据没有标签信

基于原型的聚类方法文章目录一、概念二、K-Means2.1 算法流程2.2 超参数2.3 特性2.4 解析2.5 K-Means++2.6 Python实现三、K-Mediods3.1 概念3.2 算法对比四、特性一、概念  原型”是指样本空间中具有代表性的点。  原型聚类假设聚类结构可以通过一组原型刻画，这一方法在实际聚类任务中最为常用，理解起来也较简单；通常算法先对原型进行初始化，然后对原型进行迭代更新求解。采用不同的原型表示，不同的求解方式，即会产生不同的聚类算法。最经典的原型聚类算法即：

基于原型的聚类方法文章目录一、概念二、K-Means2.1 算法流程2.2 超参数2.3 特性2.4 解析2.5 K-Means++2.6 Python实现三、K-Mediods3.1 概念3.2 算法对比四、特性一、概念  原型”是指样本空间中具有代表性的点。  原型聚类假设聚类结构可以通过一组原型刻画，这一方法在实际聚类任务中最为常用，理解起来也较简单；通常算法先对原型进行初始化，然后对原型进行迭代更新求解。采用不同的原型表示，不同的求解方式，即会产生不同的聚类算法。最经典的原型聚类算法即：

GBDT一、概念文章目录一、概念二、算法原理2.1 原理2.2 算法流程2.3 目标函数2.4 梯度提升于梯度下降三、Python实现四、XGBoost4.1 概念4.2 区别与联系四、小结  GBDT(Gradient  Boosting  Decision  Tree)GBDT(Gradient \; Boosting \; Decision \;Tree)GBDT(GradientBoostingDecisionTree) 梯度提升决策树，是 Gradient  BoostingGradient

自适应增强一、概念AdaBoostAdaBoostAdaBoost 是 Boosting  MethodBoosting \; MethodBoostingMethod 类继承算法的典型代表，其全称是 Adaptive  BoostingAdaptive \; BoostingAdaptiveBoosting，即自适应增强。它与 Bagging  MethodBagging \; MethodBaggingMethod 类算法不同的是：它不是通过随机抽样产生每个基模型的训练集，而是通过调整训练集中每个样

随机森林文章目录一、概念二、构建2.1 影响随机森林分类性能的主要因素2.2 算法流程2.3 OOB2.4 算法特性三、Python实现一、概念  随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。  随机森林（Random  ForestRandom \; ForestRandomForest，简称 RFRFRF )是 BaggingBaggingBagging 的一个扩展变体。RFRFRF 在以决策树为基学习器构建 BaggingBaggingBagging

集成学习引入文章目录一、概念二、集成学习策略三、Bagging四、Boosting一、概念  面对一个机器学习问题，通常有两种策略。一种是研发人员尝试各种模型，选择其中表现最好的模型做重点调参优化。这种策略类似于比赛，通过强强竞争来选拔最优的运动员，并逐步提高成绩。另一种重要的策略是集各家之长，如同君主广泛的听取众多谋臣的建议，然后综合考虑，得到最终决策。后一种策略的核心，是将多个分类器的结果统一成一个最终的决策。使用这类策略的机器学习方法统称为集成学习。其中每个单独的分类器称为基分类器。#merm

朴素贝叶斯文章目录一、概念二、贝叶斯分类方法2.1 预测2.2 训练2.3 独立性假设2.4 特性三、高斯朴素贝叶斯3.1 引入3.2 Python实现四、多项式朴素贝叶斯五、伯努利朴素贝叶斯一、概念  朴素贝叶斯是应用贝叶斯定理进行有监督学习的一种分类模型。在该模型中，将贝叶斯定理公式 P(A∣B)=P(A)P(B∣A)P(B)P(A | B) = \frac{P(A) P(B|A)}{P(B)}P(A∣B)=P(B)P(A)P(B∣A)​ 中的事件 AAA 看成分类标签，事件 BBB 看出数据特征

决策树是一种非常成熟的算法，它是一种自上而下，对样本数据进行树形分类的过程，本文讲解了决策树的常见算法即在数学建模竞赛的应用。

任何灰度图像都可以看作是地形表面，其中高强度的表示峰和丘陵，而低强度的表示山谷。用不同颜色的水（标签）填充每个孤立的山谷（局部最小值）。水位上升取决于附近的峰值（梯度），来自不同山谷的水将开始融合，为避免这种情况，需要在水合并前建立障碍，继续填补水和建立障碍的工作，直到所有的山峰都在水下。

Gensim入门文章目录Gensim入门介绍从字符串到向量主题和转换转换接口文档相似度的计算介绍  Gensim 是 Python 的一个三方库，旨在从文档中自动提取语义主题，以及处理原始的非结构化数字文本（纯文本）  在Gensim 的算法，比如Word2Vec，FastText，潜在语义分析（LSI，LSA，SEE，LSIModel)，隐含狄利克雷分布（LDA）等，自动训练文档，检查统计共生模式发现的文件的语义结构，这些算法是无监督的，这意味着不需要人工输入。  一旦找到这些统计模式，任何纯文

SVM 是基于统计学习理论的一种机器学习方法。简单地说，就是将数据单元表示在多维空间中，然后在这个空间中对数据做划分的算法。

逻辑回归是一种很容易实现的分类模型，但仅在线性可分类上表现不错。是一种应用广泛的 二分类模型，而且可以利用 OVR 技术扩展到多元分类。

降维是对事物的特征进行压缩和筛选，该项任务相对比较抽象。如果没有特定领域知识，无法预先决定采用哪些数据，比如在人脸识别任务中，如果直接使用图像的原始像素信息，数据的维度会非常高，通常会利用降维技术对图像进行处理，保留下最具有区分度的像素组合。

特征的质量决定模型的上限

类别数据不均衡是分类任务中存在的经典问题，一般在数据清洗环节进行处理。不均衡简单来说，在数据集中，一类样本的数据量明显远大于其他样本类别数据量。

Garbage in, garbage out.

为了消除数据特征之间的量纲影响，我们需要对特征进行`归一化处理`，使得不同指标之间具有可比性。例如，分析一个人的身高和体重对健康的影响，如果使用 米(m) 和 千克(kg) 作为单位，那么分析出来的结果显然会倾向于数值差别比较大的体重特征，想要得到更为准确的结果，就需要进行 `特征归一化` 处理，使得各指标处于同一数值量级，以便进行分析。同时，`特征归一化`可提高模型精度和模型收敛速度，是预处理的重要环节之一，特征归一化又叫`特征缩放`。

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。

图像处理文章目录图像处理一、图像平滑1. 图像过滤2. 图像模糊2.1 平均2.2 高斯模糊2.2.1 基本原理2.2.2 cv.GussianBlur(src, dst, ksize, sigmaX, sigmaY)2.3 中位模糊2.4 双边滤波二、图像形态学1. 侵蚀2. 扩张3. 运算3.1 开运算3.2 闭运算3.3 形态学梯度3.1.1 基本梯度3.1.2 内部/外部/方向梯度3.4 顶帽3.5 黑帽4.结构元素三、图像梯度1. Sobel 和 Scharr 算子2. Laplacian算