[2] Python KNN用于约会网站的配对效果

继续学习机器学习实战

今天主要学习的是Python从txt文件读取数据，处理数据（归一化处理），分析数据（画图），测试算法，使用算法（预测分类的结果）

首先在网上下载了书的源代码（只是为了拿到测试用的数据）

首先插入今天新加的代码：

from numpy import *
import operator 
def classify0(inX, dataset,labels,k):
    # 计算输入数据和已有所有数据的距离
    dataSetSize=dataset.shape[0]
    diffMat=tile(inX,(dataSetSize,1))-dataset
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1) #没有axis参数表示全部相加，axis＝0表示按列相加，axis＝1表示按照行的方向相加
    distances=sqDistances**0.5
    
    #排序
    sortedDistIndex=distances.argsort()  #argsort将数据从小到大排列，并返回其索引值
    # 选择距离最小的k个点
    classCount={} #字典类型
    
    for i in range(k):
        votelabel=labels[sortedDistIndex[i]]
        classCount[votelabel]=classCount.get(votelabel,0)+1
    sortedClasscount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    
    return sortedClasscount[0][0] 

# 读取txt文件中的数据
def file2matrix(filename):
    fr=open(filename)
    arrayOLines=fr.readlines() #读取每行
    numberOfLines=len(arrayOLines)
    returnMat=zeros((numberOfLines,3))
    classLabelVector=[]
    index=0
    
    for line in arrayOLines:
        line=line.strip()  #去掉每行头尾空白
        listFromLine=line.split('\t') #用tab字符将整行数据分割成一个元素列表
        returnMat[index,:]=listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index+=1
    return returnMat,classLabelVector

# 对数据进行归一化处理
def autoNorm(dataSet):
    minvalue=dataSet.min(0) #0是从列中取得最小值
    maxvalue=dataSet.max(0)
    ranges=maxvalue-minvalue
    normDataSet=zeros(shape(dataSet))
    m=dataSet.shape[0]
    normDataSet=dataSet-tile(minvalue,(m,1))
    normDataSet= normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minvalue

# 用错误率测试算法,这里选择了10%做测试数据集，90%做训练集
def datingClassTest():
    hoRatio=0.10
    datingDataset,datingLabels=file2matrix('datingTestSet2.txt')
    normMat,ranges,minValue=autoNorm(datingDataset)
    m=normMat.shape[0]
    numTestVecs=int(m*hoRatio)
    errorCount=0.0
    
    for i in range(numTestVecs):
        classifyResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],\
                                 datingLabels[numTestVecs:m],3) #分类
        print( "分类结果:%d,真实的类别：%d" %(classifyResult, datingLabels[i]))
        if (classifyResult!=datingLabels[i]): errorCount+=1.0
    print ("总的错误率是%f" %(errorCount/float(numTestVecs)))
# 预测新输入的数据的分类情况  
def classfyPerson():
    resultList=['not at all','in small doses','in large doses']
    percentTats=float(input("玩视频游戏时间百分比（0-100）"))
    ffMiles=float(input("每年获取的飞行常客里程数"))
    iceCream=float(input("每周消费的冰淇淋公升数"))
    datingData,datingLabels=file2matrix('datingTestSet2.txt')
    normData,ranges,minvalue=autoNorm(datingData)
    inArr=array([percentTats, ffMiles,iceCream])
    inArrNorm=(inArr-minvalue)/ranges
    classfyResult=classify0(inArrNorm,normData,datingLabels,3)
    print("你喜欢与这个人约会的可能性：%s" %(resultList[classfyResult-1]))

有了第一个简单KNN的铺垫，对算法的理解倒是没有问题，这里主要学习的是整个算法从处理数据、测试算法到使用算法的过程。

同样地，对于python小白来说，简单梳理一下今天碰到的新问题，方便以后查阅，也加深自己的理解。

• 读取文件中的数据

　　file对象用open来创建，三种读取的函数,现有一个txt文件

　　file.read([size])

　　

fr=open('1.txt')
>>> fr.read()
'34 56\n78 rr\nToday is Tuesday.'

　　参数是读取的字节，包括空格和'\n'

　　

fr=open('1.txt')
>>> fr.read(10)
'34 56\n78 r'

　　另外一种读取函数是file.readline([size]),读取整行，包括'\n'

　　

fr=open('1.txt')
>>> fr.readline()
'34 56\n'

　　默认读取第一行，这是对象还在，可以继续读取

fr.readline(4)
'78 r'

　　还有一种读取是file.readlines()

　　用于读取所有行(直到结束符 EOF)并返回列表，该列表可以由 Python 的 for... in ... 结构进行处理。 如果碰到结束符 EOF 则返回空字符串。

如果碰到结束符 EOF 则返回空字符串。

fr=open('1.txt')
>>> fr.readlines()
['34 56\n', '78 rr\n', 'Today is Tuesday.']

>>> fr=open('1.txt')
for line in fr.readlines():
    line=line.strip()
    print("数据：%s" %(line))

    
数据：34 56
数据：78 rr
数据：Today is Tuesday.

　　这样就可以根据实际的使用需求选择合适的读取方法了。

• strip

　　用于移除字符串头尾指定的字符（默认为空格）。

　　

str1 = "  1.txt   "
>>> print(str1.strip())
1.txt

　　也可以指定字符

str2="000034560000"
>>> print(str2.strip('0'))
3456

• split

　　 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则仅分隔 num 个子字符串

　　

str.split(str="", num=string.count(str)).

　　str -- 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等。

　　

str3 = "Line1-abcdef \nLine2-abc \nLine4-abcd"
>>> print(str3.split())
['Line1-abcdef', 'Line2-abc', 'Line4-abcd']

print(str3.split(' ',1))
['Line1-abcdef', '\nLine2-abc \nLine4-abcd']

• input

Python3.x 中 input() 函数接受一个标准输入数据，返回为 string 类型。

Python2.x 中 input() 相等于 eval(raw_input(prompt)) ，用来获取控制台的输入。

raw_input() 将所有输入作为字符串看待，返回字符串类型。而 input() 在对待纯数字输入时具有自己的特性，它返回所输入的数字的类型（ int, float ）。

注意：python3 里 input() 默认接收到的是 str 类型。

>>> a=input("input:")
input:123
>>> type(a)
<class 'str'>

 

转载于:https://www.cnblogs.com/mzhourr/p/8799372.html