机器学习
文章平均质量分 87
DivinerShi
博客
展开
-
K近邻算法(KNN)推导分析
Knn和kd树介绍author:DivinerShiKNN算法优点: 直观,简单,可以用来做分类也可以用来做回归 可用于非线性分类,训练时间复杂度为O(n) 准确度高,对数据没有假设,对outier不敏感。 缺点: 计算量大,样本不平衡问题难处理,需要大量的内存 算法解释: 给定一个数据集,对新的输入样本,在数据集中找到与新的输入样本距离最近的k个样本,将这k个样本中最多数属于原创 2017-09-28 14:54:32 · 2736 阅读 · 1 评论 -
朴素贝叶斯算法推导分析
Author: DivinerShi 朴树贝叶斯方法其实就是一个根据先验求后验的过程。比如有一堆橘子,其中大部分青皮的,光滑的,小个的橘子比较酸,大部分黄皮的,粗糙的,大个的橘子比较甜。那么现在现在来了一个青皮的,光滑的,大个的橘子,我们就可以根据之前的先验知识,去计算这个橘子是酸的还是甜的概率,并将概率最大的作为它的预测的酸甜度。用数学描述:即通过先验条件概率分布来计算后验概率分布 是总类别的原创 2017-09-28 21:56:51 · 955 阅读 · 0 评论 -
支持向量机(SVM)算法推导
Author: DivinerShi线性回归可以简单理解为去找到一条线,使得这条线可以区分不同类的数据。那么SVM就是去找到所有可行的线中,最优的那条。什么叫最优?就是距离两类数据都最远的那条分割线。优点: 可用于线性和非线性分类,也可以用于回归 低泛化误差,容易解释 计算复杂度较低 缺点: 对参数和核函数的选择比较敏感 原始SVM只擅长处理二分类问题。线性可分支持向量机给定线性可分训练原创 2017-09-29 20:41:56 · 1012 阅读 · 0 评论 -
Xgboost算法推导及分析
Author: DivinerShi Xgboost其实就是gbdt的一个改进版本,但是因为效果好,工程建设完善,所以经常和传统的gbdt分开讲。 Boost思想的话是每一步产生一个弱预测模型(如决策树),并加权累加到总模型中,经典的算法有如Adaboost。提升的理论意义:如果一个问题存在弱分类器,则可以通过提升的办法得到强分类器。这里,如果每一步的弱预测模型生成都是依赖损失函数的梯度方向,则原创 2017-10-21 14:51:03 · 8483 阅读 · 6 评论 -
决策树算法推导分析
**Author:**DivinerShi优点:输入数据可以不做归一化,数据清洗阶段可以相对少做许多工作;对缺失值不敏感,可以处理不相关特征数据;效率高,速度快。 缺点:连续性特征往往需要离散化;处理特征关联性比较强的数据表现得不是很好; 可参考:http://blog.csdn.net/keepreder/article/details/47168383决策树模型就是利用树形结构来按特征对数据原创 2017-09-29 13:30:59 · 1276 阅读 · 0 评论 -
Mac下单机安装pyspark,更改python编译器为anaconda的编译器,并且配置pycharm
本人习惯用pycharm开发,并且喜欢notebook以及anaconda自带的各种库,开发起来方便很多,所以在安装好spark后,修改了默认的python编译器到anaconda下,可以在notebook和pycharm中使用spark,全部安装完成花了点时间,所以记录一下。1、下载并安装pycharm,这个自己下载吧:https://www.jetbrains.com/pycharm/,安...原创 2018-05-10 22:55:43 · 3627 阅读 · 1 评论 -
逻辑回归(LR)算法推导分析
逻辑回归逻辑回归是一个简单的分类算法。之前介绍过线性回归:https://blog.csdn.net/sxf1061926959/article/details/66976356线性回归是最基本的回归模型,建议了解逻辑回归前可以先了解下线性回归。其实如果只是想单纯的解决问题,线性回归也可以用于解决二分类问题,只需要对输出的值设定一个阈值即可实现;但是线性回归在计算误差的时候,起...原创 2018-11-08 23:17:08 · 574 阅读 · 0 评论 -
线性回归理解(附纯python实现)
作者:DivinerShi 线性回归是机器学习中最基本的一个算法,但是那些所谓的效果很好的算法也无非是从这些基础算法慢慢演变而来。高中时候的数学老师给我讲过一个乔峰的故事,我今天再添油加醋的给你们说下。天龙八部中,乔峰在聚贤庄大战江湖群雄这个算是经典了,当时各路武林豪杰纷纷使出自家的看门绝学,什么易筋经啊,九阴真经啊,葵花点穴手啊等等,但统统都被乔峰一拳KO,直接秒杀,竟无一人是其敌手,那乔峰用的原创 2017-03-27 20:44:40 · 46288 阅读 · 10 评论