机器学习
小鸡杂毛
这个作者很懒,什么都没留下…
展开
-
集成学习
一、简介集成学习(Ensemble Learning)通过构建并结合多个学习器来完成学习任务,有时也被称为多分类学习器系统(multi-classifier system).集成算法主要包括三大种类型,分别为:· Bagging【并行】个体学习器之间不存在强依赖关系、可同时生成的并行化方法· Boosting【串行】个体学习器间存在强依赖关系、必须串行生成序列化方法· Stac...原创 2019-07-04 14:06:42 · 150 阅读 · 0 评论 -
深度学习day01【李宏毅】
深度学习day01一、梯度下降法1.1 Adagrad1.2 Stochastic Gradient Descent1.3 Feature Scaling二、Logitstic Regression2.1 Logistic Regression为什么不用平方误差2.2 Softmax2.3 Limitation of Logistic Regression三、Deep Learning一、梯度下...原创 2019-08-03 11:49:08 · 139 阅读 · 0 评论 -
评价分类结果
评价分类结果一、混淆矩阵 Confusion Matrix1.1 精准率1.2 召回率二、混淆矩阵的实现2.1 TN2.2 FP2.3 FN2.4 TP2.5 混淆矩阵2.6 精确率 precision_score2.7 召回率2.8 scikit-learn中的confusion_matrix三、F1 score四、Precision-Recall之间的平衡五、ROC曲线六、多分类中的ROC曲线...原创 2019-07-17 16:52:52 · 665 阅读 · 0 评论 -
逻辑回归
逻辑回归一、什么是逻辑回归?二、决策边界三、多项式中的逻辑回归四、逻辑回归中使用正则化一、什么是逻辑回归?逻辑回归假设样本服从伯努利分布,利用极大似然估计,运用梯度下降法进行求解,从而达到将样本二分类的目的。求导得minJ(θ)import numpy as npimport matplotlib.pyplot as pltdef sigmoid(...原创 2019-07-17 13:50:14 · 321 阅读 · 1 评论 -
多项式回归与泛化
多项式与泛化)一、多项式回归二、关于PolynomialFeatures三、Pipeline【管道?】四、过拟合和欠拟合4.1 原始数据集4.2 使用线性回归训练数据4.3 使用多项式回归五、train_test_split六、学习曲线七、验证数据集和交叉验证(Cross Validation)7.1使用交叉验证7.2 网格搜索7.3 留一法 LOO-CV八、偏差与方差九、模型正则化9.1 岭回归...原创 2019-07-16 20:04:11 · 245 阅读 · 0 评论 -
集成学习
集成学习一、集成学习的简单实现1.1 导入数据1.2 分割数据1.3 逻辑回归训练1.4 SVM 训练1.5 决策树训练1.6 简单集成1.7 使用voting classifier二、Soft Voting三、集成学习3.1 Bagging3.2 OOB3.3 n_jobs3.4 Bootstrap_features四、随机森林五、Extra-Trees【极其随机树】六、Ada Boosting...原创 2019-07-18 16:43:46 · 185 阅读 · 0 评论 -
决策树【补充】
决策树一、代码实现二、什么是决策树2.1 如何去构建决策树?三、信息熵3.1 二类信息熵绘制四、基尼系数五、CART5.1 导入数据集5.2 导入决策树算法,进行训练数据5.3 绘制决策边界,不限制其参数5.4 生成的决策树最大深度为2 max_depth=25.5 最小样本分割点【样本至少有10个才分割】 min_samples_split=105.6 叶子节点至少为65.7 最多四个叶子节点六...原创 2019-07-18 14:56:01 · 523 阅读 · 0 评论 -
支持向量机(SVM)
支持向量机 Support Vector Machine一、什么是支持向量机二、Max(margin)三、Soft Margin SVM四、实际使用SVM4.1 导入相关模块和数据集4.2 绘制原始数据散点图4.3 对数据进行标准化处理4.4 C = 1e9 训练模型4.5 绘制决策边界4.6 C=0.014.7 绘制Soft Margin SVM 决策边界4.7.1 C=1e94.7.2 C=0...原创 2019-07-18 13:12:21 · 304 阅读 · 0 评论 -
主成分分析
主成分分析一、简介二、问题三、主成分分析法一、简介一个非监督的机器学习算法主要用于数据的降维通过降维,可以发现更便于人类理解的特征其他特征:可视化;去噪从二维降到一维二、问题保留原有样本的特征?如何找到这个让样本间距最大的轴如何定义样本间间距使用方差三、主成分分析法第一步:将样例的均值归为0所有的样本减去样本的均值得到的新样本的均值为0...原创 2019-07-16 00:32:47 · 356 阅读 · 0 评论 -
梯度下降法
梯度下降法一、简介二、梯度下降法实现2.1 求出斜率【求导】2.2 theta对应的y值2.3 梯度下降法过程三、封装函数四、多元线性回归中的梯度下降法4.1 定义函数4.2 定义δJ4.3 定义梯度下降一、简介不是一个机器学习算法是一种基于搜索的最优化方法作用:最小化一个损失函数梯度上升法:最大化一个效用函数并不是所有函数都有唯一的极值点解决方案多次运行,随机化初始...原创 2019-07-15 13:00:51 · 189 阅读 · 0 评论 -
线性回归实现
线性回归实现一、实现简单线性回归1.1 简单线性回归1.2 绘制数据散点图1.3 封装简单线性回归1.4 向量化实现简单线性回归1.4.1 向量化实现性能测试二、线性回归算法的评测2.1 均方误差MSE2.2 均方根误差RMSE2.3 平均绝对误差MAE2.4 案例2.4.1 MSE运用2.4.2 RMSE运用2.4.3 MAE运用2.4.4 定义测算函数2.5 scikit-learn中调用2....原创 2019-07-14 14:59:42 · 497 阅读 · 0 评论 -
KNN算法(K近邻算法) and 网格搜索 and 归一化
KNN算法K近邻算法一、KNN基础# 导入库import numpy as npimport matplotlib.pyplot as plt# 特征值及目标值raw_data_x = [[3.54,2.54], [4.52,7.36], [1.34,3.36], [2.28,2.86], ...原创 2019-07-13 23:03:11 · 1649 阅读 · 1 评论 -
聚类算法专题
聚类算法)一、聚类算法简介二、K-means算法2.1 算法原理2.2 K-means算法流程2.3 算法原理2.4 K-means算法总结2.5 K-means算法案例三、算法效果衡量标准3.1 SSE值:误差平方和3.2 K值确定3.3 轮廓系数法(Silhouette Coefficient)3.4 Calinski-Harabasz Index(CH系数)3.5 总结3.5.1 肘部法3....转载 2019-07-28 20:34:50 · 532 阅读 · 0 评论