![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Mechine Learning之KNN
海棠依旧xx
这个作者很懒,什么都没留下…
展开
-
1.1 KNN算法学习——KNN算法的原理及简单实现
原理:如图已有分类基础上若新来了点该如何分类?根据离得最近的点中找最近的k个点以这几个点的类别(label)进行投票以最后比例确定新的点类别的更大可能性本质:如果两个样本足够的相似的话他们就有更高的可能性属于同一类别实现:例如图示为肿瘤时间与大小对于肿瘤的分类的影响,蓝色为恶性肿瘤,红色为良性肿瘤,当新来一个数据时(绿色数据点)如何判断它的类别?编程实现预测:KNN实现过程#求预测点到最近k个点的...原创 2018-03-08 22:32:23 · 656 阅读 · 0 评论 -
1.8 KNN算法学习——数据归一化处理解决量纲不同的问题
多个特征时,其中某个特征数量级较大,其他较小时最后的分类结果会被该特征所主导,而弱化了其他特征的影响,这是因为各个特征的量纲不同所致,需要将数据进行归一化解决方案:将所有的数据映射到同一尺度#归一化方式一:最值归一化把所有的数据映射到0~1之间适用于有明显的边界,受outlier极端值影响较大,比如收入的分布#归一化方式二:均值-方差归一化把所有数据归一到均值为0方差为1的分布中归一化实现过程...原创 2018-03-12 00:01:25 · 11580 阅读 · 0 评论 -
1.7 KNN算法学习——网格搜索超参数
网格搜索参数:定义参数param_grid=[ { 'weights':['uniform'], 'n_neighbors':[i for i in range(1,11)] }, { 'weights':['distance'], 'n_neighbors':[i for i in range(1,11)],...原创 2018-03-11 22:34:29 · 1902 阅读 · 0 评论 -
1.6 KNN算法学习——KNN算法中超参数的探索
寻找最好的k在KNN算法中,k需要提前指定,那么k取多少为最优值?此处通过for循环创建多个分类器进行比较分类准确率代码搜索:验证的结果为k=4时准确率最高,这个过程即所谓调参的过程,寻找最好的超参数的值注:如果找到的最优值在边界上,很有可能最好值在搜索范围之外,所以应该再往上(下)调整范围以寻找最优的值,因为不同参数决定了不同的准确率,他们之间呈连续型变换的。KNN中其他超参数权重weight(...原创 2018-03-11 20:55:56 · 2867 阅读 · 0 评论 -
1.5 KNN算法学习——KNN算法分类模型的实现与分类准确度评估
训练集分割成训练集与测试集,代码封装import numpy as npdef train_test_split(X,y,test_ratio=0.2,seed=None): """将数据X与y按照test_ratio分割成X_train,X_test,y_train,y_test""" assert X.shape[0] == y.shape[0], "the size of...原创 2018-03-11 12:24:37 · 10317 阅读 · 0 评论 -
1.4 KNN算法学习——KNN算法的实现与封装
封装代码实现import numpy as npfrom math import sqrtfrom collections import Counterdef kNN_classfy(k,X_train,y_train,x): assert 1 <= k <=X_train.shape[0],"k must be valid" assert X_train.s...原创 2018-03-10 21:55:49 · 375 阅读 · 0 评论 -
1.3 KNN算法学习——模型评估与选择
训练得到的模型如果很差在放到真实世界中会造成损失并且真实环境难以拿到真实的label,所以需要测试模型的泛化能力从而进行并进而做出改进。评估方法一 :留出法#训练集与测试集分离分割...原创 2018-03-09 01:21:14 · 1863 阅读 · 0 评论 -
1.2 KNN算法学习——使用scikit-learn中的KNN模型实现
注:X_train,y_train,x数据同上一篇《KNN学习笔记之KNN算法原理及简单实现》中的训练数据和测试数据值原创 2018-03-08 23:25:47 · 612 阅读 · 0 评论 -
2.9 线性回归算法学习——kNN模型解决回归问题及网格搜索最优参数
模型引入from sklearn.neighbors import KNeighborsRegressor实例化对象knn_reg=KNeighborsRegressor()训练数据集knn_reg.fit(X_train,y_train)查看评估的成绩knn_reg.score(X_test,y_test)运行结果网格搜索参数:from sklearn.model_selection impor...原创 2018-03-13 02:04:53 · 2662 阅读 · 0 评论