机器学习实战笔记-KNN

最新推荐文章于 2022-04-17 19:44:32 发布
最新推荐文章于 2022-04-17 19:44:32 发布
阅读量97 收藏
点赞数
分类专栏： 机器学习算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/angel_hben/article/details/87697173
版权

1、K近邻
优点：分类精度高、对异常值不敏感
缺点：计算量大，空间复杂度高
数值型和标称型数据
2、建模步骤
数据归一化：因计算距离，特征之间需无差别（特别注意点）
计算待测样本点与所有样本的距离，选取前k个，选取多数所占的类别
3、改进约会网站的配对结果
特征是人的特征，标签（喜欢，一般喜欢，不喜欢）
根据分类器，输入某个人的相应特征，可以判断出自己对他的情感状态，是否符合预期标准
4、手写识别系统
非图片类：每张图为一个矩阵，是由‘0’和‘1’构成，‘1’所在位置勾勒出数字1,2,3，，，9
图片标签是图片对应数字
5、模型
输入：
dataset：样本
label：标签
输出：待预测样本的预测标签

Bingoyear
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习实战笔记 - KNN(k-NearestNeighbor)K-邻近算法
杨鑫newlife的专栏
03-18 426
1.KNN算法是采用测量不同特征值之间的距离方法进行分类。2.优缺点：     优点：精度高，对异常值不敏感，无数据输入假定。     缺点：计算复杂度大，空间复杂度高。     使用数据范围：数值型和标准型3.工作原理：     存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与...
机器学习实战--KNN 算法 笔记
木琦
11-07 3494
print "the total error rate is: %f"%(errorCount/float(numTestVecs)) /* 错误率 /*最后得出结果 5%的错误率 机器学习实战书上算的2.4% /* 在不改变其他值的前提下 改变hoRatio的值 [0.05,0.1,0.2,0.3,0.4,0.5，0.9]对应的错误率[2%,5%,8%,8%,7%,6%,7%] 9:在测试结束，我们力求得出一个对于未来的约会预测函数，在我们输入飞行里程数，玩视频游戏的百分比和冰激凌公升数，我们希望
机器学习实战中怎样使用kNN模块
小知的博客
10-03 1825
首先建立一个kNN.py的项目文件（记住这里有个特殊情况，文件名必须为kNN.py，否则后面导入 import kNN 会出错的 ） from numpy import * import operator def createDataSet(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A','A','B...
KNN算法实现问题记录
erinapple的博客
08-17 525
执行排序操作会使用到operator运算符模块，因此需要在开始的时候导入 1import kNN。报错：only 2 non-keyword arguments accepted。 问题所在：貌似是粗心少写了两个中括号    本来是array([[1.0,1.1],[1.0，1.0],[0,0],[0,0.1]])，结果少写了最外面的两个中括号 2，shape函数是numpy.co
机器学习实战4--KNN
FUXI_Willard
04-17 408
本系列博客基于温州大学黄海广博士的机器学习课程的笔记，小伙伴们想更详细学习黄博士课程请移步到黄博士的Github、或者机器学习初学者公众号，现在在中国慕课也是可以学习的，内容包括机器学习、深度学习及Python编程，matplotlib、numpy、pandas、sklearn等，资料很详细，要系统学习请移步哦！笔者的博客只是笔记，内容不会十分详细，甚至会有些少错误！ KNN理论内容：KNN理论基础. 1.概述 kkk近邻法是基本且简单的分类与回归方法。kkk近邻法的基本做法是：对给定的训练实例点和
机器学习实战--KNN
进击的码力的博客
10-21 155
按照机器学习实战这本书学习的，本人小白。 之前没有接触过python，所以会穿插自己对于python语法的学习。 所用ide为Pycharm社区版，win，python3.6 如书：首先在KNN.py中增加如下代码 from numpy import* import operator def creatDataSet(): group =array([[1.0,1.1],[1.0,1.0...
机器学习实战笔记--kNN
sinat_26230689的博客
05-10 684
本文为《机器学习实战》学习笔记 1. 相关数据类型&函数介绍SciPy 基于Python生态系统提供了数学运算、科学和工程的开源软件，主要包括基本N维数组包NumPy，科学计算基本库SciPy library， 用于2D绘图的Matplotlib，交互式控制台IPython，用于符号数学Sympy，用于数据结构和分析的pandas。1.1 NumPyNumPy是python科学计算的基础包。包括强
机器学习实战笔记--kNN.py模块导入
sunpingblue的博客
05-10 3916
我使用的是Python自带的IDLE写的代码在kNN.py增加如下代码from numpy import *import operatordef createDataSet(): group = array([1.0,1.1],[1.0,1.0],[0,0],[0,0.1]) labels = ['A','A','B','B'] return group,labels保存这个py文件之后>&...
机器学习实战笔记--KNN近邻算法
sinat_38998284的博客
08-09 202
KNN近邻算法伪代码： 对未知类别属性的数据集中的每个点依次执行以下操作：  (1) 计算已知类别数据集中的点与当前点之间的距离；  (2) 按照距离递增次序排序；  (3) 选取与当前点距离最小的k个点；  (4) 确定前k个点所在类别的出现频率；  (5) 返回前k个点出现频率最高的类别作为当前点的预测分类。 import tensorflow as tf import operator...
《机器学习实战》kNN学习笔记（一）
01-20
《机器学习实战》中的k-近邻(kNN)算法是一种基于实例的学习方法，它通过比较新样本与已知类别样本的距离来决定新样本的类别。本文主要探讨kNN算法的基本概念、优缺点以及一般流程，并提供一个简单的Python实现示例。...
机器学习实战笔记4——主成分分析
01-21
1、机器学习导论 8、稀疏表示 2、KNN及其实现 9、核方法 3、K-means聚类 10、高斯混合模型 4、主成分分析 11、嵌入学习 5、线性判别分析 12、强化学习 6、贝叶斯方法 13、PageRank 7、逻辑回归 14、深度学习 ...
机器学习实战之K最近邻(KNN)分类算法学习笔记代码及文件.zip
最新发布
04-18
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构，从而不断改善...
机器学习笔记，案例数据等
08-22
在这个“机器学习笔记，案例数据等”的压缩包中，我们可以期待找到一系列关于Python机器学习的学习资料，包括算法理论、实践案例以及可能的数据集。 首先，Python作为一门开发语言，因其简洁明了的语法和丰富的科学...
机器学习&深度学习资料笔记&基本算法实现&资源整理.zip
03-03
工具 | 书籍 | 课程 | 比赛 | 框架 ---------|---------------|-------------|-------- |--------- Scikit-learn| 机器学习实战 | 机器学习/Andrew Ng | Kaggle | Keras ★ XGBoost | 集体智慧编程 | Deep Learning/...
由极大似然估计推导损失函数——线性回归
跨过一座座山
03-07 2211
一般的线性回归是由(x1,x2,...,xn)(x_1,x_2,...,x_n)(x1​,x2​,...,xn​)预测yyy，损失函数采用均方差函数MSE=1m∑i=1n∥y^2−y2∥2MSE=\frac{1}{m}\sum_{i=1}^{n}\left\|\hat{y} ^2-y^2\right\|^2MSE=m1​∑i=1n​∥∥​y^​2−y2∥∥​2。 想象输入同样的X，预测值y^2\h...
Power Iteration算法-Hessian矩阵特征值
跨过一座座山
02-23 1228
利用幂迭代法，计算黑塞矩阵的特征值。上图中V是随意选的与WiW_iWi​同维度的向量，利用1-n代梯度gig_igi​，H为黑塞阵。最后i=n时， Hv=d(gv)dWn=d(gnTv)dWn Hv=\frac{d(gv)}{dW_n}=\frac{d(g_{n}^{T}v)}{dW_n}Hv=dWn​d(gv)​=dWn​d(gnT​v)​ v=Hv∣∣Hv∣∣ v=\frac{Hv}{||H...
由极大似然估计推导损失函数——Logistic回归
跨过一座座山
08-03 1191
1、损失函数推导 假定yyy服从于Bernoulli分布，也即 f(y)=py(1−p)1−y f(y)=p^y(1-p)^{1-y} f(y)=py(1−p)1−y 其中y=0,1 参照李航《统计学习方法》第二版p93解法，易得对数似然函数为 L(w)=∑i=1N[yi(wxi)−log(1+exp(wxi))] L(w)=\sum_{i=1}^{N}[y_i(wx_i)-log(1+exp(wx_i))] L(w)=i=1∑N​[yi​(wxi​)−log(1+exp(wxi​))] 所以，lo
机器学习实战笔记-Logistic回归
跨过一座座山
02-19 910
1、Logistics回归优缺点 优点：计算简单 缺点：容易欠拟合，分类精度不高 2、梯度上升法：求最大值 梯度下降法：求最小值 3、list转化为matrix更易于计算 datamatrix=mat(datalist) m,n=shape(datamatrix) weights=ones((n,1)) h = sigmoid(dataMatrixweights)# (100,1) error =...
机器学习实战：KNN算法解析与应用
"该资源是一份关于机器学习中KNN算法的PPT，主要涵盖了KNN的基本概念、距离度量方法、算法优缺点、手动实现以及使用sklearn库的实现方式，并通过一个约会网站配对效果的应用案例进行讲解。这份资料属于头歌人工智能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值