- 博客(9)
- 收藏
- 关注
RSS订阅原创 集成学习
集成学习前言一、基本原理1. 方法分类2. 特点二、集成学习的方法1. Boosting1.1 算法原理1.2 Adaboost算法1.3 GBDT算法2. Bagging2.1 Bootstrap2.2 算法原理2.3 随机森林3. Stacking总结1. Bagging和Boosting的区别2. 决策树与这些算法框架进行结合所得到的新的算法前言在监督学习算法中，我们希望训练得到的模型...
2019-11-14 19:34:39
654
原创 决策树
决策树前言一、工作原理1. 定义2. 优缺点3. 结构4. 决策树与条件概率分布二、决策树训练过程1. 训练策略2. 特征选择2.1 信息增益2.1.1 定义2.1.2 条件熵和信息增益3. 决策树的生成3.1 ID3算法3.2 C4.5算法3.3 CART算法3.4 小结4. 决策树的剪枝总结1.ID3没有考虑连续特征2.ID3采用信息增益大的特征优先建立决策树的节点。在相同条件下，取值...
2019-11-13 01:11:56
2205
原创 支持向量机
支持向量机前言一、简介二、线性可分支持向量机三、非线性支持向量机和核函数前言前面的文章已经介绍过线性回归模型和逻辑回归模型。如上图，两种线性分类器都可以将两类样本分开，显然我们可以画更多的线把样本分开。既然有不止一个可行的线性分类器，那么那个分类器是最好的？本文将针对这个问题进行简单的解答。一、简介支持向量机(SVM) 也是一种二分类模型，它的目标是寻找一个分类超平面，它不仅能正确...
2019-11-12 01:46:33
436
原创 数据特征
数据特征前言一、离散化1. 离散化的原因2. 离散化的优势二、归一化1. 线性函数归一化2. 零均值归一化3. 归一化的优势补充前言特征工程是通过对原始数据的处理和加工，将原始数据属性通过处理转换为数据特征的过程，属性是数据本身具有的维度，特征是数据中所呈现出来的某一种重要的特性，通常是通过属性的计算，组合或转换得到的。比如主成分分析就是将大量的数据属性转换为少数几个特征的过程。某种程度而言...
2019-11-11 12:45:27
1365
原创 逻辑回归算法
逻辑回归算法前言一、逻辑回归与线性回归的联系与区别1. 逻辑回归2. 线性回归3. 联系和区别二、逻辑回归算法原理1. 逻辑回归的模型假设2. 如何估计参数3. 极大似然法3.1 什么是极大似然3.2 极大似然与逻辑回归问题4. 逻辑回归问题中的梯度下降算法三、多元回归分类四、正则化前言以前听说过什么逻辑回归算法但是一直不知道是个什么东东，所以呢，今天特意去查了一下相关资料，然后将我所理解的...
2019-11-11 01:07:35
342
原创 过拟合
过拟合一、三种梯度下降的拟合二、过拟合问题1. 过拟合产生的原因2. 过拟合的解决方法3. 正则化方法3.1 范数3.2 L1正则和L2正则一、三种梯度下降的拟合导入必要的模块import numpy as npimport osimport matplotlib.pyplot as plt%matplotlib inline定义绘图函数np.random.seed(...
2019-11-07 23:00:27
192
原创 凸集和凸优化
凸集和凸优化一、 凸集1. 凸集与仿射集的关系2. 凸集相关概念二、凸函数1. 定义2. 性质3. 凸函数举例4. 海森矩阵与泰勒展开式4.1 定理4.2 二元泰勒展开4.2 多元泰勒展开三、凸优化1. 凸优化问题的基本形式2. 借助拉格朗日函数做优化一、 凸集1. 凸集与仿射集的关系说道凸集，就不得不提到仿射集的概念。仿射集：通过集合C中任意两个不同点的直线仍在集合C内，则称集合C...
2019-11-07 00:27:49
986
原创 关于梯度算法
关于梯度算法前言数据准备批量梯度下降前言关于梯度算法相关知识上篇文章已经做过简单的介绍，本篇文章对于梯度算法如何用Python代码实现做一下详细介绍。数据准备首先先导入我们需要的几个包import numpy as npimport osimport matplotlib.pyplot as plt%matplotlib inline为了便于保存我们所绘制的图片，创建...
2019-11-06 22:44:17
343
原创 机器学习入门
机器学习入门一、认识机器学习1. 定义2. 分类2.1 有监督学习2.1.1 分类问题2.1.2 回归问题2.2 无监督学习二、机器学习基本流程机器学习三要素：1. 模型：2. 策略：3. 算法：梯度下降算法：批量梯度下降BGD：随机梯度下降SGD：小批量梯度下降MBGD：梯度下降调优：一、认识机器学习1. 定义机器学习（Machine Learning）简称ML，是为了解决任务T，而设计...
2019-11-05 01:27:14
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人