ML
文章平均质量分 96
小简铺子
小白NLPer,学习中......
展开
-
TensorFlow实现多层感知机及可视化训练过程中的数据记录
说明(what)本篇博客主要有2个目的,第一,记录学习使用TensorFlow的操作流程;第二,将TensorFlow训练数据模型过程中的参数数据进行可视化记录。具体操作(how)实例描述1.使用TensorFlow搭建一个3层的神经网络(输入层,隐藏层,输出层)的模型训练经典的MNIST数据集,从而来预测手写体数字。 2.训练过程中使用TensorBoard来可视化训练...原创 2018-03-02 16:43:55 · 4602 阅读 · 0 评论 -
机器学习中你需要了解的各种熵
1前言信息熵是信息论和机器学习中非常重要的概念,信息是一个很抽象的概念,如何量化信息呢?香农提出了‘信息熵’概念来解决了这个问题。本篇博客主要是详细记录信息熵中的一些概念 (自信息,熵,交叉熵,相对熵,互信息,决策树中相关的熵),以方便自己日后回顾,所以不免从书上或者各篇博客中收集了素材,但是本着尊重原创,后面都列出了参考链接,在此也感谢参考链接上的作者。2各种熵的详细介绍2.1自信息自...原创 2018-09-28 16:11:38 · 1583 阅读 · 0 评论 -
机器学习算法——感知机&支持向量机
1前言本篇博客主要详细介绍两种具有一定相似性的机器学习算法——感知机Perceptron和支持向量机SVM,该两种算法都是在特征空间中寻找划分平面从而对数据集进行划分的思想,但寻找划分平面的算法不同。划分平面的定义也有差距。本篇博客主要叙述思路为算法模型,代价函数,学习算法,最后的算法模型使用实例介绍。 这两种机器学习的算法的实例都是基于Titanic数据集,关于数据集的特征工程部分就不具体...原创 2018-05-11 11:20:56 · 7272 阅读 · 0 评论 -
决策树相关算法——XGBoost原理分析及实例实现(三)
1前言本篇博客作为前两篇XGBoost的原理与分析的续作三,主要记录的是使用XGBoost对kaggle中的初级赛题Titanic: Machine Learning from Disaster进行预测的实例,以此来加深自己对XGBoost库的使用。 前两篇XGBoost原理分析如下,本篇实例地址为Github 决策树相关算法——XGBoost原理分析及实例实现(一) 决策树相关算法...原创 2018-05-04 16:27:46 · 4328 阅读 · 0 评论 -
决策树相关算法——XGBoost原理分析及实例实现(二)
1前言本篇博客主要记录的是XGBoost在构建决策树结构时,知道如何评定划分点的好坏的情况下,如何遍历查找出该树结构的切分点。前篇博客决策树相关算法——XGBoost原理分析及实例实现(一)介绍的是贪心查找算法,逐步遍历特征和特征取值,比较切分前后的平方误差的大小,获得最佳切分点。本篇主要介绍的是近视查找算法和稀疏感知的划分查找。 2要说的话我们知道决策树中的ID3算法和C4.5...原创 2018-05-04 16:21:53 · 1190 阅读 · 0 评论 -
决策树相关算法——XGBoost原理分析及实例实现(一)
1.前言本篇博客主要叙述的是提升方法中的XGBoost,而XGBoost本身包含的技术点及算法优化太多,且网上已经有很多原理性的相关介绍了,但是笔者还是希望自己亲身走一遍XGBoost的原理理解过程,以此来更熟练的使用XGBoost。话不多说,此篇主要叙述基于CART决策树的XGBoost的代价函数的优化过程(即该模型的参数求解过程)。 前篇博客决策树相关算法——Boosting之Adabo...原创 2018-05-04 16:18:12 · 2040 阅读 · 0 评论 -
机器学习算法——逻辑斯谛回归模型&最大熵模型
1前言本篇博客主要记录两个分类模型(逻辑斯谛回归模型和最大熵模型)原理及模型的代码实现,将这两个模型放一块的原因是这两个模型都是对数线性模型,都是由条件概率分布表示P(Y|X). 这两种机器学习的算法的实例都是基于Titanic数据集,关于数据集的特征工程部分就不具体介绍,笔者在其他博文中已经详细描述了,此篇博客将直接使用已经经过特征工程处理后的数据集进行模型训练。2逻辑斯谛回归模型...原创 2018-05-17 11:16:10 · 1448 阅读 · 0 评论 -
决策树相关算法——Boosting之Adaboost&GBDT详细说明与实现
前言 本篇博客主要记录的是集成学习中的Boosting提升算法的相关实现,主要分为以下四个部分,Boosting的提出,Boosting经典算法Adaboost的分析与实现,Adaboost算法的特例提升树的分析,梯度提升算法GBDT的提出原因及分析。 Github实现代码地址 补充: 对于机器学习类的算法,一般包括三个部分:算法模型(即定义的预测的输出表达式一般有逻辑回归、线性回...原创 2018-04-19 09:46:54 · 2588 阅读 · 2 评论 -
决策树相关算法——ID3、C4.5的详细说明及实现
前言本篇博客记录的是使用python实现两个个决策树相关的算法模型—— ID3、C4.5。其中训练模型使用的数据集是Adult。尽管Sklearn包中都有这些算法的实现,但是自身根据算法思路实现一遍也是美滋滋的,其中酸甜自知(话说可以提高一定的代码编写能力和调试程序的能力),GitHub详细代码实现地址。1.实现前期准备工作 —— what1.1决策树的主要思想 决策树...原创 2018-04-02 22:08:57 · 10925 阅读 · 1 评论 -
决策树相关算法——Bagging之基于CART的随机森林详细说明与实现
1 前言1.1 本篇博客主要记录的是基于CART决策树实现的随机森林算法,主要是从以下四个方面介绍: CART决策树的构建思想;集成学习中的Bagging思想;基于CART决策树的随机森林代码实现;随机森林不易过拟合的分析。(其中不易过拟合并不是说随机森林不会过拟合) 1.2 本篇博客之前的一篇博客决策树相关算法——ID3、C4.5的详细说明及实现详细的记录了决策树的思想,概念及相关公式的详...原创 2018-04-05 13:41:57 · 4244 阅读 · 2 评论 -
机器学习中的LR 与 SVM 相同和不同
1.前言本篇博客是转载自LR 与 SVM 的相同和不同,在此感谢此篇博客的作者。笔者重新排版了一下,以方便日后自己回顾。2.SVM与LR的相同点的问题问题1:为什么将LR和SVM放在一起来进行比较?第一,LR和SVM都是分类算法。看到这里很多人就不会认同了,因为在很大一部分人眼里,LR是回归算法。我是非常不赞同这一点的,因为我认为判断一个算法是分类还是回归算法的唯一标准就是样本labe...转载 2018-09-28 16:51:11 · 558 阅读 · 0 评论