机器学习
ProQianXiao
这个作者很懒,什么都没留下…
展开
-
深入浅出回归树算法
回归树之前的博客介绍了决策树算法在分类问题上面的应用,有提到ID3算法,C4.5算法和CART算法,其中CART(Classification And Regression Tree)分类回归树既可以用于分类,也可以用于回归,当用于分类的时候,CART树中每个叶子结点代表一个类别,在回归问题中,CART树中每个叶子结点代表一个预测值,其是连续的。这里针对CART在回归问题上面的应用,进行简单介绍。CART分类和回归的异同点相同点:1、构造的树均为二叉树。2、所有落在同一叶子结点上面的输入具.原创 2020-05-25 16:43:34 · 1513 阅读 · 0 评论 -
深入浅出决策树算法(三)
决策树在上一篇博客中,介绍了决策树的构建过程,以及为了预防过拟合进行的剪枝操作和数据缺失值处理,这篇博客简单以代码的形式展示如何应用决策树,主要是应用Python中的机器学习库sklearn。代码如下:'''使用决策树模型完成分类问题'''# 用于数据处理和分析的工具包import pandas as pd# 引入用于数据预处理和特征工程的工具包from sklearn import preprocessing# import 决策树工具包from sklearn import原创 2020-05-22 17:14:41 · 520 阅读 · 0 评论 -
深入浅出决策树算法(二)
决策树在上一篇博客中,介绍了常见的决策树算法ID3,C4.5,CART选择特征的方式,这篇博客我们介绍决策树的构建过程。决策树的构建通过上一篇博客的介绍,我们知道了当数据的特征维度很高的时候,如何正确安排特征的使用顺序;这篇博客,具体来描述决策树的构建过程。如下图所示:决策树将第一个使用的特征作为根节点,该特征的取值为根节点生成若干分支;之后的过程就是“分而治之”的过程,自根...原创 2020-05-20 11:12:10 · 527 阅读 · 0 评论 -
深入浅出决策树算法(一)
决策树树模型是机器学习领域最基础、逻辑最简单的一类机器学习算法,主要有决策树(解决分类问题),回归树(解决回归问题)。这里首先介绍决策树的原理和代表性的算法。原理决策树,顾名思义需要构建树的结构来进行决策(分类);其实决策树的工作过程和人的思考过程是比较类似的,如下图所示:人类在决策过程中,会基于一系列的判别标准,来对某一事务做出最终的决定。决策树正是基于这一思想,在对数据进行...原创 2020-04-25 17:54:38 · 1366 阅读 · 0 评论 -
机器学习 —— 李宏毅机器学习笔记(六)—— 逻辑回归
逻辑回归上一篇博客,分析了生成模型 + 贝叶斯概率公式对分类问题进行求解的过程,实际上就是在寻找参数w和b的过程,这次介绍的逻辑回归算法直接对参数w和b进行求解,不考虑数据的生成模型。首先,对于逻辑回归,我们的定义是:逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。这里面其实包含了5个点,1:逻辑回归的假设 2:逻辑回归的...原创 2020-03-23 11:10:03 · 601 阅读 · 0 评论 -
机器学习 —— 李宏毅机器学习笔记(五)—— 概率生成模型
概率生成模型概率生成模型,简称生成模型(Generative Model),是概率统计和机器学习中的一类重要模型,指一系列用于随机生成可观测数据的模型。生成模型的应用十分广泛,可以用来不同的数据进行建模,比如图像、文本、声音等。比如图像生成,我们将图像表示为一个随机向量X,其中每一维都表示一个像素值。假设自然场景的图像都服从一个未知的分布pr(x),希望通过一些观测样本来估计其分布。也就是说...原创 2020-03-19 11:40:06 · 6736 阅读 · 1 评论 -
机器学习 —— 李宏毅机器学习笔记(四)—— 梯度下降
梯度下降在第二篇博客中已经简单介绍过梯度下降算法,梯度下降算法是机器学习领域最广为人知、用途最广的优化算法,用来确定模型的参数(包括随机梯度下降SGD,Momentum,Adam等)。首先回顾一下梯度下降的计算过程:梯度下降中常用技巧(Tips)一、调整学习率如上图左边部分所示,假设我们的loss曲线是图中黑色曲线,从曲线左边端点作为起始点,使用不同的学习率进行参数的更新...原创 2020-03-16 13:33:09 · 1434 阅读 · 0 评论 -
机器学习 —— 李宏毅机器学习笔记(三)—— 偏差和方差
偏差和方差这篇博客介绍机器学习中误差(error)的来源,知道我们的模型中产生的误差来自于哪一部分,才能更好地进行模型的调整。一般来说,误差的来源有两部分:偏差(bias)和方差(variance)。偏差和方差——用来衡量模型泛化能力的工具,所以我的理解是在测试集上面根据偏差和方差来对模型进行一个评估。回顾之前回归问题中的例子,简单模型对于数据的拟合能力比较差,在训练集和测试集上面效果均不...原创 2020-03-10 22:30:00 · 502 阅读 · 0 评论 -
机器学习 —— 李宏毅机器学习笔记(二)—— 回归问题
回归问题 机器学习笔记的第二篇博客,来介绍机器学习中最基础的回归任务,上一篇博客中有提到回归任务和分类任务的差别在于,回归任务中模型的输出是一个具体的数值,而分类任务中模型的输出是某一类别。其实,许多问题我们都可以视为回归问题:...原创 2020-03-06 18:13:18 · 577 阅读 · 0 评论 -
机器学习 —— 李宏毅机器学习笔记(一)—— 机器学习介绍
专栏开篇:如今AI大放异彩,有人称其为“第四次工业革命”,人工智能的概念和应用已经逐渐渗入我们的生活,其中机器学习作为人工智能领域的关键技术,获得了越来越多的关注。开此专栏记录自己学习机器学习的过程,也借写博客的方式督促自己的学习,目前的规划是首先学习李宏毅老师的机器学习视频课程,之后进行机器学习实战项目的学习,所以本专栏前半部分以基础知识为主,后半部分以具体项目为主,也希望大家可以留言多多交...原创 2020-03-03 16:27:12 · 424 阅读 · 0 评论