数据挖掘作业

第4章 算法设计

4.1 实现方式1：欧式距离

实验原理如下图：

图 1 实验原理

4.1.1 步骤1：数据预处理

这一部分对应实验代码1的preprocess函数，首选将文本大写转为小写，然后利用正则表达式去除标点符号，接下来使用nltk包去除句子中的停用词，比如the、a等。经过以上去除一些冗余信息和无关特征，有利于提高模型准确率。

4.2.2 步骤2：获取文档单词列表

实现函数为get_words,主要步骤为读取文档内容，然后行读取句子，将句子按空格分词，最后进行去重，返回单词列表。

4.2.3 步骤三：获取单词词频矩阵

这块分为两部分，一个是为文档单词词频设计的get_Xdw，一个是为查询语句设计的get_Yw,主要步骤是通过get_wors获取文本中的单词列表，然后遍历列表中每一个单词，统计文本中含有该单词的个数。

4.2.4 步骤四:计算查询语句与文档的欧式距离

给定一个查询语句，通过get_Yw获取单词词频矩阵，然后遍历所有的文档，利用下图公式，计算查询语句与文档之间的欧式距离，最后结果按从大到小进行排序。

图2 欧氏距离公式

第5章 程序实现

5.1 实验代码1 计算query与document之间的欧式距离(Euclidean Metric)

# -*- coding: utf-8 -*-
# @Time    : 2018/4/10 15:11
# @Author  : quincyqiang
# @File    : main.py
import os
import math
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
import matplotlib.pyplot as plt
import numpy as np
# pre-process
def preprocess(words=None):
    print("text propressing..")
    # lower 大写转小写
    words=[word.lower() for word in words]
    # 去除标点符号
    words=[word.replace('[^\w\s]','') for word in words]
    # 去除停用词
    stop=stopwords.words('english')
    temp=[]
    for word in words:
        if word not in stop:
            temp.append(word)
    # 提取词干
    st=PorterStemmer()
    words=[st.stem(word) for word in words]
    return words

# get word list
def get_words():
    words=[]
    for txt in os.listdir('data'):
        with open('data/'+txt,'r') as txt_file:
            for line in txt_file.readlines():
                if line!='\n':
                    for word in line.split():
                        words.append(word)
    new_words=list(set(words))
    # print(new_words)
    new_words=preprocess(new_words)
    return new_words

# get X-dw(document word vector)
def get_Xdw():
    Xdw=[]
    words=get_words()
    # print(words)
    # print(len(words))
    for txt in os.listdir('data'):
        with open('data/'+txt,'r') as txt_file:
            content=txt_file.read()
            Xdw.append((txt,[content.count(word) for word in words]))
    # print(Xdw[0],len(Xdw))
    return Xdw

# get Yw(query word vector)
def get_Yw(sentence):
    words=get_words()
    sentence_words=sentence.split()
    sentence_words=preprocess(sentence_words)
    sentence=' '.join(sentence_words)

    Yw=[sentence.count(word) for word in words]
    # print(Yw)
    return Yw

def evaluate(sentence):
    scores=[]
    Yw=get_Yw(sentence)
    Xdw=get_Xdw()
    for X in Xdw:
        sum=0
        for data in zip(X[1],Yw):
            sum+=(data[0]-data[1])*(data[0]-data[1])
        score=math.sqrt(sum)
        scores.append(round(score,2))
    result=[]
    for data in zip(os.listdir('data'),scores):
        result.append(data)
    result.sort(key=lambda result:result[-1],reverse=True)
    print(result)
    return result
# evaluate('awarded  as a mathematician about approximate measure')
result=evaluate('awarded as a statistician about data model and inference')

x=np.linspace(1,13,13)
y=np.array([score[1] for score in result])

plt.plot(x,y)
plt.show()

第六章 实现结果

6.1 实验结果1:

给定查询语句“awarded as a statistician about data model and inference”，得出如下结果，欧氏距离最小的为'leobrieman.txt'。

图3 查询结果

图4 查询语句与文档相似曲线