27、机器学习概述

1、什么是机器学习：通数据自动分析获取规律（模型），利用规律进行对未知数据进行预测
2、为什么要机器学习：解放生产力、解决专业问题、提供社会便利
3、机器学习的数据大多数以文件格式，numpy释放GIL锁，实现真正的多线程，数据由特征值和目标值组成
4、特征工程：通过将原始数据转化为更好地代表预测模型潜在问题的特征过程，提高对未知数据预测的准确性。特征工程的意义直接影响模型的预测结果。

from sklearn.feature_extraction import DictVectorizer

def DictVect():
    dict=DictVectorizer(sparse=True)###True为纵表，false为横表
    data=dict.fit_transform([{'city': '北京','temperature': 100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature': 30}])
    print(data)
    print(dict.get_feature_names())###获取字段名称
    print(dict.inverse_transform(data))###获取转化后的逆操作
    return None
if __name__=='__main__':
    DictVect()

from sklearn.feature_extraction.text import CountVectorizer
def countvect():
    cv=CountVectorizer()##统计每个单词出现的次数，单个字母不统计
    data=cv.fit_transform(["人生 苦短，我 喜欢 python", "人生漫长，不用 python"])
    print(data)
    print(cv.get_feature_names())
    print(data.toarray())
    return None

if __name__=='__main__':
    countvect()

from sklearn.feature_extraction.text import CountVectorizer
import jieba

def cutword():
    ###生成由词组成的迭代器
    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")

    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")

    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")
    ###将迭代器转化为列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)
    ###将列表转化为字符串
    c1=' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    return c1,c2,c3
def countvect():
    c1,c2,c3=cutword()
    cv=CountVectorizer()
    data=cv.fit_transform([c1,c2,c3])
    print(cv.get_feature_names())
    print(data.toarray())
    return None


if __name__=='__main__':
    countvect()

tf-idf：tf为词的频率=指定词数/文档总次数，idf逆文档频率=log(总文档数/出现该词的文档数)，tf*idf为该词重要度。主要思想是：如果某个词或短语在一篇文章中出现的概率高，
并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分
能力，适合用来分类

from sklearn.feature_extraction.text import TfidfVectorizer
import jieba

def cutword():
    ###生成由词组成的迭代器
    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。")

    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")

    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")
    ###将迭代器转化为列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)
    ###将列表转化为字符串
    c1=' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    return c1,c2,c3
def tfidfvect():
    c1,c2,c3=cutword()
    tfidf=TfidfVectorizer()###获取词的tfidf
    data=tfidf.fit_transform([c1,c2,c3])
    print(tfidf.get_feature_names())
    print(data.toarray())
    return None


if __name__=='__main__':
    tfidfvect()