knn聚类还是分类_机器学习之KNN检测恶意流量

背景

任何智能活动的都可以称为人工智能，而机器学习(Machine Learning)属于人工智能的一个分支，深度学习(Deep Learning)则是机器学习的分支。近年来，随着基础设施的完善，海量大数据的积累，机器学习方法理论越来越成熟，算力的大幅度提升，互联网企业也越来越愿意增大在AI领域的投入，AI的优势在于处理海量数据提取捕获其中有用信息上发挥着非常重要的作用，如OCR领域图片鉴黄、自然语言处理方面的恶意言论捕获、风控领域画像、推荐系统等。

概念

算法分类	解决什么问题
分类算法	是什么
回归算法	是多少
聚类算法	怎么分
数据降维	怎么压
强化学习	怎么做

目的

通过机器学习的方式识别恶意流量

特征工程

使用sklearn的TFIDF、2ngram进行分词

什么是TF-IDF

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。

词频(TF) = 某个词在文章中的出现次数

逆文档频率(IDF) = log(语料库的文档总数/包含该词的文档总数+1)

公式：TF-IDF = TF * IDF

举例：假设一篇文章中由1万个词组成，其中“跨站脚本”，“web”，“安全”，“攻击”几个词各出现100次，那么他们对应的词频TF就是 TF = 100/10000 = 0.01。

语料库中