机器学习
机器学习
Clark_Xu
重新出发,拥抱变化
展开
-
对数几率回归(Logistic Regression)分析与实践
目录1 对数几率回归原理分析1.1 引入1.2 损失函数1.3 求最优解2 对数几率回归实践Logistic回归的一般过程Logistic回归的优缺点Logistic回归算法描述(改进的随机梯度下降)《机器学习实战》第五章代码解析 5-1 Logistic回归梯度上升优化方法5-2 画出数据集和Logistic回归最佳拟合直线的函数...原创 2018-11-07 16:31:25 · 10482 阅读 · 2 评论 -
朴素贝叶斯分类算法分析与实践
1.分析1.1 背景意义: KNN和分类决策树都是要求分类器能够给出实例明确属于哪一类?但很多时候我们没法判断准确是哪一类时候,这时候起码能够给出最优可能的那一类和有多大概率属于该类。朴素贝叶斯分类算法就可以干这事。1.2 原理 首先概述整个朴素贝叶斯分类算法:对于给定的训练数据集,首先基于“特征条件独立假设”学习输入输出的联合概率分布;然后基于此模型...原创 2018-11-11 19:58:50 · 1653 阅读 · 0 评论 -
决策树(一)分析与实践
1.分析1.1 背景和意义: 相信很多人都玩过一个网络上传的游戏,脑海里面想一个名人的名字,然后出若干多道问题,比如男的女的,国外的国内的,你只能答是或不是,最后给出你想的那个名人是谁。只要不是很偏的应该都能想出来,一般人觉得很震惊,其实这只是一种简单机器算法——决策树的应用而已。 决策树简单易懂,符合人的处理问题的方式,用在专家系统中甚至可以匹敌在当前领域具有...原创 2018-11-11 20:36:13 · 1653 阅读 · 0 评论 -
k-近邻(KNN)分析与实践
1.分析1.1 原理存在一个训练样本集,样本集中每个数据都有标签(可以知道它是属于哪一个分类)当我们输入一个没有标签的样本新数据,通过算法来将新数据的每个特征与样本集中的数据对应的特征进行比较,然后提取特征最相似的数据(最近邻)的分类标签,因为我们一般选取前k个最相似的,所以叫k-近邻算法。通常k是不大于20的整数,最后,选择k个最相似的数据中出现次数最多的分类,作为新数据的分类。1....原创 2018-11-11 20:55:14 · 626 阅读 · 0 评论 -
决策树(二)分析与实践
目录1 分析1.1 背景:1.2 定义1.3 原理:CART如何选择分裂的属性?如何进行树的剪枝来防止过拟合对于含有空值的数据,此时应该怎么构建树。2.实践:(《机器学习实战》第九章代码解析)CART算法的实现(运用到预剪枝)后剪枝算法实现参考1 分析1.1 背景: 线性回归的模型一般都要拟合所有的样本点,但当数据拥有众多特征,并...原创 2018-11-16 12:20:39 · 334 阅读 · 0 评论 -
sklearn下对于二分类和多类分类问题的评估方法总结
目录二分类:多分类:一、什么是多类分类?二、如何处理多类分类?三、代码实践:评估指标:混淆矩阵,accuracy,precision,f1-score,AUC,ROC,P-R(不能用)1.混淆矩阵:2. accuracy,precision,reacall,f1-score:3. ROC图和AUC值:4 . 多类分类问题不能用P-R曲线5.其他评...原创 2019-08-16 17:10:15 · 19349 阅读 · 6 评论