【机器学习】特征工程和文本特征提取

一、特征工程是什么

特征工程是将原始数据转换未更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的预测的准确性。

二、数据集

结构：特征值+目标值

举例：房价预测

注：有些数据集可以没有目标值

三、机器学习工作流程

四、scikit-learn库介绍

● python语言的机器学习工具

● scikit-learn包括许多知名的机器学习算法的实现

● scikit-learn文档完善，容易上手，丰富的API，使其在学术界颇受欢迎

五、字典特征抽取

作用：对字典数据进行特征值化。

类：sklearn.feature_extraction.DictVectorizer

● DictVectorizer(sparse=True,...)

    ● 返回词频矩阵

    ● DictVectorizer.fit_transform(X)

        ● X：字典或者包含字典的迭代器

        ● 返回值：返回sparse矩阵

    ● DictVectorizer.inverse_transform(X)

       ● X：array数组或者sparse矩阵

       ● 返回值：返抓换之前数据格式

    ● DictVectorizer.get_feature_names()

       ● 返回类别名称

    ● DictVectorizer.transform(X)

       ● 按照原来的标准转换

代码例子：

from sklearn.feature_extraction import DictVectorizer


def main():
    # 字典数据抽取对象
    dic = DictVectorizer()
    # 分析字典特征并转换成sparse矩阵
    data = dic.fit_transform([{'city': '北京', 'temperature': 100},
                        {'city': '