AI不错哟-CSDN博客

原创机器学习—优化器与正则化

优化器在介绍各类优化器之前，我们先来看一下经典的优化算法。经典的优化算法可以分为直接法和迭代法两大类。直接法就是直接对损失函数求导找出损失函数的全局最小值，但是这种方法具有两个局限性，首先损失函数必须是凸函数，其次损失函数倒数等于0的时候必须有闭式解，比如求解线性回归时，涉及到的矩阵的逆，可有些时候矩阵是不存在逆的，因此就无法求解，而且当数据维度较大时，矩阵的逆运算十分复杂会占用较大的内存，因此直接法通常不会被应用在实际应用中。在深度学习中，迭代法往往被应用与对参数的更新。迭代法希望找到一个更好的估

2020-08-18 00:29:08 1434

原创机器学习—Kmeans与GMM

说到无监督学习，在上一篇文章中，我们提到了PCA，这里我们再简单的说一下聚类算法：Kmeans与混合高斯模型（GMM）K-meansK-means算法算是机器学习中最简单的算法之一了，但他却是应用最广泛、最普遍、最经典的聚类算法。原因在于实现简单，可理解性强。先说一下K-means的工作步骤：随机初始化K个类中心。计算所有样本点到K个中心的欧式距离，并根据每个样本点到达聚类中心的最小欧氏距离对样本点进行类别划分。然后更新计算每一类的聚类中心重复2-3步骤直到算法收敛。K-means算法

2020-08-16 23:46:06 1267

原创机器学习—PCA和LDA

本篇文章介绍一下机器学习中最为常见的数据降维技术PCA和LDA，随着深度学神经网络的发展PCA和LDA的应用几乎越来越少了，尤其是LDA，但是这两种降维的思想还是值得我们学习的。PCA主成分分析（PCA）是一种无监督学习的降维方法，其主要思想非常非常简单，即寻找一组正交基对原始数据进行线性变换，使变换后的数据在某一个正交基方向上方差最大，从而尽最大可能地将原始数据投影到该方向上，如下图。那么，我们如何找到这组正交基呢？别急，在寻找正交基之前，我们还需要对数据进行中心化预处理，将所有数据搬移到坐标原

2020-08-16 20:24:58 401

原创机器学习—隐马尔科夫模型HMM

本文简单的对HMM做一下笔记。概率图模型：是一种以图（Graph）为表示的工具，来表达变量间相关关系的概率模型。在概率图模型中，一个节点表示一个随机变量或者一组随机变量，而节点之间的边则表示变量之间概率的相关关系。边可以是有向的，也可以是无向的。概率模型大致分为：有向图模型（贝叶斯网络）：用有向无环图表示变量间的依赖关系；无向图模型（马尔可夫网）：用无向图表示变量间的相关关系。HMM 就是贝叶斯网络的一种——虽然它的名字里有和“马尔可夫网”一样的“马尔可夫”。对变量序列建模的贝叶斯网络又叫做动态贝

2020-08-14 23:54:42 1014

原创机器学习—SVM

支持向量机（SVM）如果没学过SVM的话那就等于没有学过机器学习。SVM作为机器学习中最经典的算法之一在2012年之前曾叱咤风云，可以说除了集成算法或深度学习之外是一个最好的分类器。SVM的类型有三种，即线性可分支持向量机、软间隔支持向量机以及非线性支持向量机。由于本文是对算法进行概括，因此手推支持向量机的任务这里就不描述了，感兴趣的话大家可以自己拿笔在纸上划拉划拉~~！线性可分支持向量机（硬间隔支持向量机），即样本数据是线性可分的，如图所示。换句话说SVM总能找到一个超平面是距离超平面最近的样本

2020-08-14 00:06:46 1365

原创机器学习—逻辑回归和决策树

本篇文章记录一下在机器学习中的各个模型的优缺点：Logistic Regression逻辑回归作为机器学习中的“baseline”在实际当中经常被用到，Logistic Regression（LR）是一个二分类的分类器，其本质是在线性归回的基础上添加一个sigmoid激活函数，其输出值可以认为是判别当前样本属于正例的概率值。在LR分类器中，参数θ是我们需要确定的唯一参数，因此，可以通过样本来估计每个类别的概率，并使用极大似然估计的方法对参数进行似然估计，从而确定LR模型的参数。LR的优点：模型简单

2020-08-13 19:15:37 1619

原创机器学习—模型评估

参考《百面机器学习》准确率在机器学习中，准确率（Accuracy）是一个比较常见的模型评估指标，通过准确率，我们可以大致判断模型的性能如何，但是，准确率确有一定的局限性。试想有100个样本，其中有90个都是正样本，只有10个是负样本，然后有一个分类器将所有的结果都预测成了正类，那么，我们得到的准确率便是90%，可是对于负样本来说，预测正确的个数却是0个。那么这个分类器的性能算好吗？当然不算。即便是具有90%的正确率，但是在样本集中数据的分布是严重不均衡的（实际项目中绝大多数情况的数据都是不均衡的），因此

2020-08-02 21:04:40 1034

原创机器学习—特征工程

此博客只为记录自身学习，参考《百面机器学习》对于一个机器学习问题，数据和特征往往决定了结果的上限，而模型和算法的选择及优化则是在逐步接近这个上限。特征归一化为了避免不同特征之间量纲的影响，我们需要对特征进行归一化处理。对于不同的特征而言，其量纲的变化范围是不同的，有的特征数量级很大，因此不同样本之间的特征差异也很大，但是有的样本可能数量级很小，那么对与这类样本的特征差异也很小。如果不做归一化处理，那么机器学习算法会认为数量级较大的特征更重要，而数量级较小的特征却不重要。但是，这合理吗？？？因此，我们需

2020-07-30 20:46:03 700

原创深度学习NLP之word2vec

word2vec词向量模型介绍word2vec是一种考虑词与词之间相关性的词向量模型，它可以将意思相近的词投影到一个高维空间，生成一个距离相近高维的向量（通常是50-300维），如下图所示（图片来自于）。从图中可以看出King与Man的余弦距离较为相近，而King与Woman之间的距离较远。word2vec的最大优势就是将意思相近的词编码成距离相近的高维向量，使编码具有语义特征。标题...

2020-07-12 17:16:20 836

原创 (python -m spacy download en_core_web_smdownload en_core_web_sm 安装失败error10014问题)

(python -m spacy download en_core_web_smdownload en_core_web_sm 安装失败error10014问题)具体原因我还没明白，不过应该是跟网络有关。于是我我搜索了一下spacy手动下载的包，有一个大神提供了新版本的spacy_en的下载资源https://blog.csdn.net/hjzgj263446/article/details/103527952，手动安装后问题解决。欢迎使用Markdown编辑器你好！这是你第一次使用 Markdow

2020-07-11 18:26:29 2374

cy925777075的博客