机器学习笔记02：特征工程

最新推荐文章于 2024-09-27 15:51:17 发布
最新推荐文章于 2024-09-27 15:51:17 发布
阅读量355 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fafagege11520/article/details/109442690
版权

机器学习笔记02：特征工程

文章目录

1. 特征工程定义

  1. 定义：提高预测效果。是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的模型准确性。
  2. 工具：scikit-learn库

2. 数据的特征抽取：

针对非连续型数据、对文本进行特征值化。
API：sklearn.feature_extraction

1. 字典特征抽取：
import sklearn
from sklearn.feature_extraction import DictVectorizer

def dictvec():
    # 字典数据抽取
    # 实例化
    dict = DictVectorizer()
    
    #调用fit_transform
    data = dict.fit_transform([{'city':'北京','temperature':100},{'city':'上海','temperature':60},{'city':'河北','temperature':30}])
    
    print(data)
    
    return None


if __name__ == "__main__":
    dictvec()

在这里插入图片描述
这个是sparse矩阵：节约内存，方便读取处理。把它转换为数组，就是在dict = DictVectorizer(sparse = False)
在这里插入图片描述

    print(dict.get_feature_names())

在这里插入图片描述
One-hot编码：避免因为12345678出现的优先级问题，所以只有数字1。

2. 文本特征抽取：
import sklearn
from sklearn.feature_extraction.text import CountVectorizer

def countvec():
    cv = CountVectorizer()
    data = cv.fit_transform(['life is short,i klike python','life is too long,i dislike python'])
    
    print(cv.get_feature_names())
    
    print(data.toarray()) # 把sparse矩阵换成数组

    
    
    return None

if __name__ == "__main__":
    countvec()

在这里插入图片描述
统计文章中所有的词，重复的只统计一次，单个字母并不统计（因为它对文章主题没影响）。
对每个词统计出现的次数。
中文文本怎么办？

import sklearn
from sklearn.feature_extraction.text import CountVectorizer

def countvec():
    cv = CountVectorizer()
    data = cv.fit_transform(['life is short,i klike python','life is too long,i dislike python'])
    data = cv.fit_transform(['人生苦短,我喜欢python','人生漫长,不用python'])
    print(cv.get_feature_names())
    
    print(data.toarray()) # 把sparse矩阵换成数组

    
    
    return None

if __name__ == "__main__":
    countvec()

在这里插入图片描述
在这里插入图片描述
所以中文要进行分词处理：jieba分词

import sklearn
import jieba
from sklearn.feature_extraction.text import CountVectorizer

def cutword():
    con1 = jieba.cut('水利部、国家发展改革委1日公布，三峡工程日前完成整体竣工验收全部程序。根据验收结论，三峡工程建设任务全面完成')
    con2 = jieba.cut('工程质量满足规程规范和设计要求、总体优良，运行持续保持良好状态，防洪、发电、航运、水资源利用等综合效益全面发挥')
    con3 = jieba.cut('三峡工程是迄今为止世界上规模最大的水利枢纽工程和综合效益最广泛的水电工程。')


    
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    
    return c1,c2,c3

def countvec():
#     cv = CountVectorizer()
#     data = cv.fit_transform(['life is short,i klike python','life is too long,i dislike python'])
#     data = cv.fit_transform(['人生 苦短,我 喜欢 python','人生 漫长,不用python'])
    
    # 中文分词
    c1,c2,c3 = cutword()
    print(c1,c2,c3)
    
    data = cv.fit_transform([c1,c2,c3])
    
    print(cv.get_feature_names())
    
    print(data.toarray()) # 把sparse矩阵换成数组

    
    
    return None

if __name__ == "__main__":
    countvec()

在这里插入图片描述

3. tf-df分析问题
  1. 每篇文章都会出现的词语：‘我’‘可以‘‘能够’。。。。。
  2. tfidf：避免了1的发生。tf * idf：重要性程度
  3. TF：term frequency 词的频率
  4. IDF：inverse document frequency 逆文档频率：log（总文档数量/该词出现的文档数量）
import sklearn
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer

def cutword():
    con1 = jieba.cut('水利部、国家发展改革委1日公布，三峡工程日前完成整体竣工验收全部程序。根据验收结论，三峡工程建设任务全面完成')
    con2 = jieba.cut('工程质量满足规程规范和设计要求、总体优良，运行持续保持良好状态，防洪、发电、航运、水资源利用等综合效益全面发挥')
    con3 = jieba.cut('三峡工程是迄今为止世界上规模最大的水利枢纽工程和综合效益最广泛的水电工程。')


    
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    
    return c1,c2,c3

def tfidfvec():

    tf = TfidfVectorizer()
    
    # 中文分词
    c1,c2,c3 = cutword()
    
    data = tf.fit_transform([c1,c2,c3])
    
    print(tf.get_feature_names())
    
    print(data.toarray()) # 把sparse矩阵换成数组

    
    
    return None

if __name__ == "__main__":
    tfidfvec()

在这里插入图片描述

3.特征预处理

通过特定的统计方法，将数据转换成算法要求的数据。
API：sklearn.preprocessing模块

1.特征处理的方法：
1.数值型数据：标准缩放：
  1. 归一化：
    1. 特点：通过对原始数据进行变换把数据映射到默认为[0,1]之间。
    2. 公式：
      在这里插入图片描述
      在这里插入图片描述
      注：作用于每一列，max为一列的最大值，min为一列的最小值,那么X’’为最终结果，mx，mi分别为指定区间值默认mx为1,mi为0
    3. 目的：多个特征值同等重要的时候，使某一个特征不会对结果造成更大的影响。
    4. 缺点：易受异常点影响，鲁棒性较差，只适合传统精确小数据场景，一般不用。
    5. 鲁棒性：反应稳定性的一个词。
import sklearn
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler


def mm():
    # 归一化处理
    mm = MinMaxScaler(feature_range=(2,3))
    data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])
    
    print(data)   
    return None

if __name__ == "__main__":
    mm()

在这里插入图片描述

  1. 标准化：适合目前嘈杂的大数据的现状
    1. 特点：通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内。
    2. 公式：在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
    3. 方差：数据分散方差较大，数据集中方差较小。
    4. 对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然
      会发生改变
    5. 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对
      于平均值的影响并不大，从而方差改变较小。
import sklearn
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler


def stand():
    # 标准化缩放
    std = StandardScaler()
    data = std.fit_transform([[1.,-1.,3.],[2.,4.,2.],[4.,6.,-1.]])
    
    print(data)
    
    return None


if __name__ == "__main__":
    stand()

在这里插入图片描述

  1. 缺失值处理：删除或插补（按列）。
    np.nan是float类型
import sklearn
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import Imputer
import numpy as np


def im():
    # 缺失值处理
    im = Imputer(missing_values = 'NaN',strategy = 'mean',axis = 0) # 0是列
    data = im.fit_transform([[1,2],[np.nan,3],[7,6]])
    
    print(data)
    
    return None


if __name__ == "__main__":
    im()

在这里插入图片描述

2.类别型数据：

见字典

3.事件类型：

后面结合具体案例再学习。

4.数据降维：

  1. 维度：指的是特征的数量，不是数组的维度。
1. 特征选择：
  1. 特征选择：
    是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。
    1. 原因：
      冗余：部分特征的相关度高，容易消耗计算性能
      噪声：部分特征对预测结果有负影响
    2. 主要方法：
      Filter(过滤式):Variance（方差）Threshold
      Embedded(嵌入式)：正则化、决策树
      神经网络
    3. Filter(过滤式)：从方差大小考虑
import sklearn
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler
from sklearn.feature_selection import VarianceThreshold

def var():
    var = VarianceThreshold(threshold=0.0)
    
    data = var.fit_transform([[0,2,0,3],[0,1,4,3],[0,1,1,3]])
    
    print(data)
    
    return None
    
    
if __name__ == "__main__":
    var()

在这里插入图片描述

2. 主成分分析PCA---->降维：
  1. PCA：当特征数量达到上百之后，考虑数据的简化。不仅仅是删除数据，还会更改数据。
  2. 目的：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
  3. 高维度数据容易出现的问题：特征之间通常是线性相关的
  4. 在这里插入图片描述
  5. 原理没必要掌握比较难。
# 主成分分析
import sklearn
from sklearn.decomposition import PCA

def pca():
    
    pca = PCA(n_components=0.9) # 这个参数可以是整数也可以是百分数
    
    data = pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])
    
    print(data)
    
    return None



if __name__ == "__main__":
    pca()

在这里插入图片描述

  1. 案例：
#案例1：想把用户分为几个类别
import sklearn
from sklearn.decomposition import PCA
import numpy as np
import pandas as pd

# 读取四张表的数据
prior = pd.read_csv('/data/ins')
products = pd.
orders = 
aisles = 

# 合并到一张表
_mg = pd.merge(prior,products,on = ['products_id','products_id'])
_mg = pd.merge(_mg,orders,on = ['order_id','order_id'])
mt = pd.merge(_mg,aisles,on = ['aisle_id','aisle_id'])

# 交叉表(特殊的分组工具)
cross = pd.crosstab(mt['user_id'],mt['aisles'])

#进行主成分分析
pca = PCA(n_components=0.9)
data = pca.fit_transform(cross)
3. 特征选择和主成分分析的比较：

5.需要明确的几点问题：

  1. 算法是核心，数据和计算是基础。
  2. 找准定位：自己是应用还是创造~

6.机器学习基础

1. 数据类型

离散型数据（分类）和连续型数据（回归）。（字面意思较好理解）

2.机器学习算法分类
  1. 监督学习：有特征值+目标值
    分类 k-近邻算法、贝叶斯分类、决策树与
    随机森林、逻辑回归、神经网络
    回归 线性回归、岭回归
    标注 隐马尔可夫模型 (不做要求)
  2. 非监督学习：只有特征值
    聚类 k-means
  3. 开发流程：
    1. 数据：公司本身就有、合作过来的、购买的数据
    2. 建立模型：明确问题做什么
    3. 数据的基本处理：pd处理缺失值、合并表等等
    4. 特征工程：对特征进行处理
    5. 找到合适的算法进行预测
    6. 模型评估：判定效果
    7. 上线使用，以API形式提供
fafagege11520
关注
专栏目录
sklearn机器学习笔记：数据预处理与特征工程.pdf
07-10
在机器学习领域，数据预处理和特征工程是至关重要的步骤，它们对模型的性能和准确性起着决定性作用。sklearn库提供了丰富的工具用于这两部分的工作。以下是对这两个主题的详细探讨。 首先，数据预处理的目标是将...
2023年全国职业院校技能大赛-赛题第10套-GZ033 大数据应用开发
君逍遥o
05-24 2393
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
2022年大数据技能大赛国赛（模块C，D）
weixin_54412689的博客
10-18 4412
2022年大数据技能大赛国赛（模块C，D）
什么是特征工程？
学习与分享人工智能技术
09-27 1109
本文详细介绍了特征工程的概念、常见方法以及应用实例。
layui 数据表格初始化 指定字段默认排序 initSort
qq_36636312的博客
06-30 2935
1，图示： 2，代码： 方法一： initSort:initSort var tableLeft; var initSort=(tableLeft&&tableLeft.initSort)?tableLeft.initSort:{"field":"updated","type":"desc"}; console.log(initSort); if(initSort.type === 'asc'){ //升序 data =
幸福感数据分析与预测
花与花
02-24 4656
文章目录前言 前言 “你幸福吗”，“我姓福”。努力的意义究其根本就是为了获取幸福感，让自己愉悦。当阴雨连绵之后的太阳你会觉得幸福，拿到第一份工资会觉得幸福，与幸福感相关的因素成千上万、因人而异，每个人对幸福感都有自己的衡量标准，影响幸福感的因素主要会是什么呢，什么样的人幸福感更强呢？ 我们研究的问题是：影响幸福感的因素有什么？什么样的人幸福感更强？ ...
第一章 特征工程
weixin_51221144的博客
11-04 598
文章目录前言一、特征工程是什么？二、数据类型1.结构化数据2.非结构化数据为什么要进行特征归一化最常用的方法主要有以下两种：如何处理分类型特征?总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、特征工程是什么？ 特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用的过程。 特征工程，顾名思
机器学习笔记及工程源代码
11-01
《机器学习笔记及工程源代码》是一份涵盖了多种机器学习算法和实践应用的资源集合，主要涉及线性回归、逻辑回归、决策树、支持向量机（SVM）以及Word2Vec模型等内容，并包含了相应的源代码，便于学习者深入理解和...
机器学习资料、笔记及代码.zip
最新发布
10-22
本资源为机器学习相关的pdf资料，课堂笔记、...内容包括：机器学习大纲视图、机器学习介绍、特征工程、各种分类算法 非常实在、非常系统、非常详细、纯干货无废话，特此奉献。 知识搜集整理不易，请多支持，祝您成功。
黑马python机器学习入门笔记
08-21
《黑马Python机器学习入门笔记》是一份针对初学者编写的指南，旨在帮助读者掌握Python语言在机器学习领域的基本应用。这份笔记将带你踏入这个充满无限可能的领域，通过Python这门易学且强大的编程语言，开启你的数据...
C++特征工程学习笔记.md
08-24
### C++特征工程学习笔记 #### 1. 特征工程概述 特征工程（Feature Engineering）是机器学习项目中至关重要的一步，它涉及到从原始数据中选择、转换和创建特征，目的是为了使这些特征能够更好地匹配机器学习算法，...
Layui表格利用后端重载排序，前端第一页排序颠倒
Xyl199712201的博客
06-23 634
Layui表格利用后端重载排序，前端第一页排序颠倒
冒泡排序
qq_44978057的博客
09-11 257
冒泡排序是所有排序算法中最简单，最基本的一种。思路就是交换排序，通过相邻数据的交换来达到排序的目的。对n个数进行排序，无论其是否有序，都要进行n-1步的中间排序。 平均速度为o(n^2),最坏速度o(n^2) 代码实现： #include<stdio.h> #include<string.h> #include<stdlib.h> void BubbleSort...
在elementUI中sort-orders排序，默认为三种，怎么改成两种
milijiangjun的博客
09-17 5890
在 table表单中添加sort-change事件, :sort-orders="[‘ascending’, ‘descending’]" <el-table-column prop="pubDate" label="出版日期" width="150px" sortable='custom' :sort-orders="['ascending', 'descending']" show-overflow-tooltip></el-table-column> 这里 我们这样写 但是有
机器学习及数据挖掘：幸福感预测
qq_27334315的博客
09-27 3518
利用深度学习框架进行幸福感预测 题目来源于天池比赛中的幸福感预测问题。 一. 软件结构与软件实现方式 1.1 软件结构 软件结构(Software Structure)是指一种层次表况，由软件组成成分构造软件的过程、方法和表示。软件结构主要包括程序结构和文档结构。程序结构有两层含义，一是指程序的数据结构和控制结构；另一是指由比程序低一级的程序单位（模块）组成程序的过程、方法和表示。本文对软件结构的...
天池新人赛幸福感数据分析+预测
热门推荐
小白的python成长历程
03-18 1万+
天池新人赛幸福感预测赛题链接https://tianchi.aliyun.com/competition/entrance/231702/introduction 本文将按以下几个步骤描述，数据分析的流程： 提出问题，给出分析目的； 数据清洗与处理； 数据分析及可视化； 建立模型及预测分析； 分析结果. 1.提出问题，给出分析目的 幸福感是一个古老而深刻的话题，是人类世代追求的...
python数据分析实例--探寻幸福感(numpy/pandas/sklearn)
lzykevin的博客
12-07 2229
本文数据来源为天池实验室挖掘幸福感项目。本文对数据集进行探索性分析后，进行了一系列的数据预处理工作，并针对预处理后的数据进行建模调参，最终得到优化后模型的拟合结果。本文的目的一是通过对该数据的处理和建模，预测影响幸福感的影响因素；二是通过该过程建立一个较为通用的分析建模模版，快速运用到其他项目当中。 # -*- coding: utf-8 -*- """ 探寻幸福感 Created on 20...
【视频】KMEANS均值聚类和层次聚类：R语言分析生活幸福指数可视化|数据分享
大数据部落
06-10 480
聚类是将总体或数据点划分为多个组的任务，以使同一组中的数据点与同一组中的其他数据点更相似，而与其他组中的数据点不相似。它基本上是基于它们之间的相似性和相异性的对象的集合。在本项目中，我将使用世界幸福报告中的数据（查看文末了解数据获取方式）来探索亚洲22个国家或地区，并通过查看每个国家的阶梯得分，社会支持，健康的期望寿命，自由选择生活，慷慨，对腐败的看法以及人均GDP，来探索亚洲22个国家的相似和不同之处。我将使用两种聚类方法，即k均值和层次聚类，以及轮廓分析来验证每种聚类方法。KMEANS均值聚类和层次聚类
layui列表拖动排序_【WEB前端开辟】layui table模块对表格数据处理后的排序题目...
weixin_39715460的博客
12-19 412
运用layui table过程当中，将某一列的数据花样举行转换，或许将0/1状况改成是/否，或许将数字改成星星评分显现的时刻都邑碰到一个题目，我的表格数据转换成其他情势，同时设置了sort:true，此时，点击排序按钮以后，该列数据就消逝了。怎样处理呢？只须要设置一个目的table的sort排序从新向服务端发送要求即可。table.on('sort(这里是table的id)', function(...
"百面机器学习训练营第三期作业笔记整理：特征工程和非监督学习
本次任务的主题是机器学习的非监督学习方法以及特征工程和模型评估。在日常数据的训练中，通常会缺乏标注好的数据，这就需要使用非监督学习的方法来处理没有标签信息的输入数据。 非监督学习是机器学习的一种方法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值