qq_35175666的博客

吴恩达机器学习笔记（一）初识机器学习一、什么是机器学习二、监督学习三、无监督学习一、什么是机器学习第一种定义：“the field of study that gives computers the ability to learn without being explicitly programmed.”第二种定义：“A computer program is said to lear...

吴恩达机器学习笔记（十五）推荐系统

吴恩达机器学习笔记（十六）大规模机器学习

吴恩达机器学习笔记（十七）照片OCR（光学字符识别）

吴恩达机器学习笔记（八）神经网络的反向传播算法一、代价函数（Cost Function）二、反向传播算法（Back Propagation Algorithm）三、理解反向传播（Back Propagation Intuition）四、使用注意：展开参数五、梯度检测六、随机初始化七、组合到一起八、自动驾驶本文章是笔者根据Coursera上吴恩达教授的机器学习课程来整理的笔记。如果是初学者，建议大...

吴恩达机器学习笔记（九）应用机器学习的建议

目录一、机器学习的一些概念1、有监督2、无监督3、泛化能力4、过拟合和欠拟合5、交叉验证二、线性回归的原理三、线性回归的损失函数、代价函数、目标函数1、损失函数2、代价函数3、目标函数四、优化方法1、梯度下降法2、牛顿法3、拟牛顿法五、线性回归的评价指标六、sklearn参数详解一、机器学习的一些概念计算机程序利用经验 E...

目录1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3. 回归树原理4.决策树防止过拟合手段5. 模型评估6. sklearn参数详解，Python绘制决策树1. 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）熵：信息是很抽象的概念，一直都无法估计信息量，直到194...

目录1. 集成学习概念2. 个体学习器概念3. boosting和bagging4. 结合策略(平均法，投票法，学习法)5. 随机森林思想6. 随机森林的推广　　 6.1 extra trees　　6.2 Totally Random Trees Embedding　　6.3 Isolation Forest7. 随机森林的优缺点8. sklear...

算法原理XGBoost（eXtreme Gradient Boosting）是工业界逐渐风靡的基于GradientBoosting算法的一个优化的版本，可以给预测模型带来能力的提升。其算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落...

目录1、逻辑回归与线性回归的联系与区别2、逻辑回归的原理3、逻辑回归损失函数推导及优化4、 正则化与模型评估指标5、逻辑回归的优缺点6、样本不均衡问题解决办法7、sklearn参数1、逻辑回归与线性回归的联系与区别联系：逻辑回归与线性回归都属于广义线性回归模型。逻辑回归往往是解决二元0/1分类问题的，之所以叫“回归”因为其本质还是线性回归。可以认为逻辑回...

吴恩达机器学习笔记（十四）异常检测

吴恩达机器学习笔记（十三）降维

吴恩达机器学习笔记（十二）无监督学习

吴恩达机器学习笔记（二）单变量线性回归一、模型描述二、代价函数三、梯度下降四、线性回归的梯度下降一、模型描述To establish notation for future use, we’ll use x(i) to denote the “input” variables (living area in this example), also called input features, ...

吴恩达机器学习笔记（三）机器学习中的数学知识

吴恩达机器学习笔记（五）正则化本文章是笔者根据Coursera上吴恩达教授的机器学习课程来整理的笔记。如果是初学者，建议大家首先观看吴恩达教授的课程视频，然后再来看博文的要点总结。两者一起食用，效果更佳。...

吴恩达机器学习笔记（四）多变量线性回归一、多维特征（Multiple Features）二、多元梯度下降法三、多元梯度下降法实操——特征缩放(Feature Scaling)四、多元梯度下降法实操——学习率（Learning Rate）一、多维特征（Multiple Features）之前讲过的房价预测问题是单一特征的，现在赋予其更多的特征，如下图：多元线性回归模型：二、多元梯度下降...

吴恩达机器学习笔记（五）Logistic回归一、分类问题二、假设陈述三、决策界限四、代价函数五、简化代价函数与梯度下降六、高级优化七、多元分类：一堆多本文章是笔者根据Coursera上吴恩达教授的机器学习课程来整理的笔记。如果是初学者，建议大家首先观看吴恩达教授的课程视频，然后再来看博文的要点总结。两者一起食用，效果更佳。一、分类问题首先介绍二分类问题，后续再介绍多分类。把线性回归用于分类...

吴恩达机器学习笔记（七）神经网络一、非线性假设(Non-linear Hypotheses)二、神经元和大脑(Neurons and Brain)本文章是笔者根据Coursera上吴恩达教授的机器学习课程来整理的笔记。如果是初学者，建议大家首先观看吴恩达教授的课程视频，然后再来看博文的要点总结。两者一起食用，效果更佳。一、非线性假设(Non-linear Hypotheses)我们已经学习了...

吴恩达机器学习笔记（十）机器学习系统设计一、确定执行的优先级二、误差分析三、不对称性分类的误差评估四、精确度和召回率的权衡五、机器学习数据本文章是笔者根据Coursera上吴恩达教授的机器学习课程来整理的笔记。如果是初学者，建议大家首先观看吴恩达教授的课程视频，然后再来看博文的要点总结。两者一起食用，效果更佳。一、确定执行的优先级二、误差分析三、不对称性分类的误差评估四、精确度和召回率...

1.GBDT(Gradient Boosting Decision Tree)思想　　Boosting :　　给定初始训练数据，由此训练出第一个基学习器；　　根据基学习器的表现对样本进行调整，在之前学习器做错的样本上投入更多关注；　　用调整后的样本，训练下一个基学习器；　　重复上述过程 T 次，将 T 个学习器加权结合。　　Gradient boosting　　　 Gradi...