数据导入与预处理-第6章-02数据变换

已于 2024-03-22 15:28:31 修改
阅读量2.1k 收藏 7
点赞数 2
分类专栏： 数据导入与预处理课程配套资源HM 文章标签： 数据挖掘 算法 机器学习
于 2022-10-13 17:43:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38139250/article/details/127299272
版权

数据导入与预处理-第6章-02数据变换

2 数据变换

主要是对数据进行规范化的操作，将数据转换成“适当的”格式，以适用于挖掘任务及算法的需要。

2.1 数据变换方法（6.2.1 ）

数据变换的常见处理方式包括：

数据标准化处理
数据离散化处理
数据泛化处理

在对数据进行分析或挖掘之前，数据必须满足一定的条件:

比如方差分析时要求数据具有正态性、方差齐性、独立性、无偏性，需进行诸如平方根、对数、平方根反正弦操作，实现从一种形式到另一种“适当”形式的变换，以适用于分析或挖掘的需求，这一过程就是数据变换。

数据变换主要是从数据中找到特征表示，通过一些转换方法减少有效变量的数目或找到数据的不变式，常见的操作可以分为数据标准化处理、数据离散化处理和数据泛化处理三类。

2.1.1 数据标准化处理

数据标准化处理是将数据按照一定的比例缩放，使之投射到一个比较小的特定区间。
最小-最大标准化(规范化)
最小-最大规范化：也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0,1]之间。
转换函数如：
在这里插入图片描述
其中 max为样本数据的最大值，min为样本数据的最小值。max-min为极差。
以一个例子说明标准化的计算过程。
在这里插入图片描述

均值标准化(规范化)
零-均值规范化:也叫标准差标准化，经过处理的数据的平均数为0，标准差为1。转化函数为：
在这里插入图片描述
其中 x ‾ \overline{x} x为原始数据的均值， σ \sigma σ为原始数据的标准差。

小数定标标准化(规范化)
小数定标规范化:通过移动属性值的小数位数，将属性值映射到[-1，1]之间，移动的小数位数取决于属性值绝对值的最大值。转化函数为：移动数据的小数点，使数据映射到[-1,1]。
转换函数如下：
x ∗ = x 1 0 k x^{\ast }=\dfrac{x}{10^{k}} x∗=10kx​

2.1.2 数据离散化处理

一些数据挖掘算法，特别是某些分类算法，要求数据是分类属性形式，如ID3算法、Apriori算法等。这样，常常需要将连续属性变换成分类属性，即连续属性离散化。
数据离散化处理一般是在数据的取值范围内设定若干个离散的划分点，将取值范围划分为若干离散化的区间，分别用不同的符号或整数值代表落在每个子区间的数值。
连续属性变换成分类属性涉及两个子任务：决定需要多少个分类变量，以及确定如何将连续属性值映射到这些分类值。

等宽法
等宽法将属性的值域从最小值到最大值划分成具有相同宽度的区间，具体划分多少个区间由数据本身的特点决定，或者由具有业务经验的用户指定
等频法
等频法将相同数量的值划分到每个区间，保证每个区间的数量基本一致。
等宽法和等频法虽然简单，但是都需要人为地规定划分区间的个数。等宽法会不均匀地将属性值分到各个区间，导致有些区间包含较多数据，有些区间包含较少数据，不利于挖掘后期决策模型的建立。

2.1.3 数据泛化处理（分层）

数据泛化处理指用高层次概念取代低层次概念的数据。例如，年龄是一个低层次的概念，它经过泛化处理后会变成诸如青年、中年等高层次的概念。

本文介绍的Pandas中关于数据变换的基本操作包括轴向旋转（6.2.2小节）、分组与聚合（6.2.3小节）、哑变量处理（6.2.4小节）和面元划分（6.2.5小节）。

2.2 轴向旋转（6.2.2 ）

掌握pivot()和melt()方法的用法，可以熟练地使用这些方法实现轴向旋转操作

2.2.1 pivot方法

pivot()方法用于将DataFrame类对象的某一列数据转换为列索引，也叫透视方法。官网中对pivot()函数的描述如下：

Reshape data (produce a “pivot” table) based on column values. Uses unique values from specified index / columns to form axes of the resulting DataFrame. This function does not support data aggregation, multiple values will result in a MultiIndex in the columns.
基于列值重塑数据(生成一个“透视”表)。使用来自指定索引/列的唯一值来形成结果DataFrame的轴。此函数不支持数据聚合，多个值将导致列中的MultiIndex。

pivot()函数如下：

DataFrame.pivot(index=None, columns=None, values=None)

index：表示新生成对象的行索引，若未指定说明使用现有对象的行索引。
columns：表示新生成对象的列索引。
values ：表示填充新生成对象的值。

要想了解pivot()函数，可以先了解下pivot_table()函数。pivot_table()函数是pivot()函数的泛化，pivot_table函数允许值的聚合。
pivot_table透视的过程如下图：
在这里插入图片描述

假设某商店记录了5月和6月活动期间不同品牌手机的促销价格，保存到以日期、商品名称、价格为列标题的表格中，若对该表格的商品名称列进行轴向旋转操作，即将商品名称一列的唯一值变换成列索引，将出售日期一列的唯一值变换成行索引。
在这里插入图片描述
示例代码如下：

构建DataFrame:

import pandas as pd
df_obj =  pd.DataFrame({'商品名称': ['荣耀9X','小米6x','OPPO A1',
                                    '荣耀9X','小米6x','OPPO A1'],
                        '出售日期': ['5月25日', '5月25日','5月25日',
                                        '6月18日','6月18日', '6月18日'],
                          '价格(元)': [999, 1399, 1399, 800, 1200, 1250]})
df_obj

输出为：
在这里插入图片描述
将出售日期一列的唯一数据变换为行索引，商品一列的唯一数据变换为列索引：

# 将出售日期一列的唯一数据变换为行索引，商品一列的唯一数据变换为列索引
new_df = df_obj.pivot(index='出售日期', columns='商品名称',values='价格(元)')
new_df

输出为：
在这里插入图片描述

2.2.2 melt方法

melt()是pivot()的逆操作方法，用于将DataFrame类对象的列索引转换为一行数据。

DataFrame.melt(id_vars=None, value_vars=None, var_name=None, 
         value_name='value', col_level=None, ignore_index=True)

id_vars：表示无需被转换的列索引。
value_vars：表示待转换的列索引，若剩余列都需要转换，则忽略此参数。
var_name：表示自定义的列索引。
value_name：表示自定义的数据所在列的索引。
ignore_index：表示是否忽略索引，默认为True。

示例代码如下：
查看初始数据

new_df

输出为：
在这里插入图片描述
# 将列索引转换为一行数据:

# 将列索引转换为一行数据
new_df.melt(value_name='价格(元)', ignore_index=False)

输出为：
在这里插入图片描述

2.3 分组与聚合(6.2.3 )

分组与聚合是常见的数据变换操作

分组指根据分组条件（一个或多个键）将原数据拆分为若干个组；
聚合指任何能从分组数据生成标量值的变换过程，这一过程中主要对各分组应用同一操作，并把操作后所得的结果整合到一起，生成一组新数据。

在这里插入图片描述

下面通过一个例子说明分组聚合的过程：
在这里插入图片描述

掌握分组与聚合的过程，可以熟练地groupby()、agg()、transfrom()和apply()方法实现分组与聚合操作

2.3.1 分组操作groupby()

2.3.1.1 分组操作

pandas中使用groupby()方法根据键将原数据拆分为若干个分组。

groupby(by=None, axis=0, level=None, as_index=True, sort=True, 
        group_keys=True, squeeze=<object object>, observed=False, dropna=True)

by：表示分组的条件，可以取值为字符串、列表、字典或Series、函数等。
axis：表示分组操作的轴编号，可以是0或1。该参数的默认值为0，代表沿列方向操作。
level：表示标签索引所在的级别，默认为None。
as_index：表示聚合后新数据的索引是否为分组标签的索引，默认为True。
sort：表示是否对分组索引进行排序，默认为True。
group_keys：表示是否显示分组标签的名称，默认为True。

使用pandas的groupby()方法拆分数据后会返回一个GroupBy类的对象，该对象是一个可迭代对象，它里面包含了每个分组的具体信息，但无法直接被显示。
DataFrameGroupBy和SeriesGroupBy都是GroupBy的子类。
若DataFrame类对象调用groupby()方法，会返回一个DataFrameGroupBy类的对象。
若Series类对象调用groupby()方法，会返回一个SeriesGroupBy类的对象。

分组操作案例：
分组初始化

# 分组初始化
import pandas as pd
df_obj = pd.DataFrame({"key":["C", "B", "C", "A", "B", "B", "A", "C", "A"], 
                       "data":[2, 4, 6, 8, 10, 1, 3, 5, 7]})
# 根据key列对df_obj进行分组
groupby_obj = df_obj.groupby(by="key")
groupby_obj

输出为：

在这里插入图片描述GroupBy对象不可查看，可以遍历过去其中数据
遍历DataFrameGroupBy类的对象：

# 遍历DataFrameGroupBy类的对象
for group in groupby_obj:  
    print(group)
    print("-"*10)

输出为：
在这里插入图片描述
通过列表生成器 获取DataFrameGroupBy的数据：

# 通过列表生成器 获取DataFrameGroupBy的数据
result = dict([x for x in groupby_obj])['A'] # 字典中包含多个DataFrame
result

输出为：
在这里插入图片描述
通过groups获取内容

# 查看全部分组内容
df_obj.groupby(["key"]).groups

输出为：
在这里插入图片描述
查看指定分组内容

# 查看指定分组内容
df_obj.groupby(["key"]).get_group(("A"))

输出为：
在这里插入图片描述

2.3.1.2 分组+内置聚合

分组+自定义聚合：

# 分组+自定义聚合
import pandas as pd
df_obj = pd.DataFrame({"key":["C", "B", "C", "A", "B", "B", "A", "C", "A"], 
                       "data":[2, 4, 6, 8, 10, 1, 3, 5, 7]})
print(df_obj)
df_obj[['key','data']].groupby(by="key").max()

输出为：
在这里插入图片描述
分组+内置聚合，取消分组键做索引

# 取消索引 按照上一题要求进行分组，但不使用 key 做为索引
df_obj[['key','data']].groupby(by="key", as_index=False).max()

输出为：
在这里插入图片描述
分组+内置函数+排序

# 排序  分组 聚合后 排序
df_obj[['key','data']].groupby(by="key").max().sort_values('data',ascending=False)

输出为：
在这里插入图片描述
分组+内置函数+频率统计

# 频率 计算不同key，不同data出现的次数
pd.DataFrame(df_obj.groupby("key")['data'].value_counts())

输出为：
在这里插入图片描述

2.3.2 聚合操作 （6.2.3 ）

pandas中可通过多种方式实现聚合操作，除前面介绍过的内置统计方法之外，还包括agg()、transfrom()和apply()方法。
初始化聚合所需的DF：

# 初始化分组DF
import pandas as pd
df_obj = pd.DataFrame({'a': [0, 6, 12, 18, 24, 30],
                       'b': [1, 7, 13, 19, 25, 31],
                       'c': [1, 8, 14, 20, 26, 32],
                       'd': [2, 9, 15, 21, 27, 33],
                       'e': [2, 10, 16, 22, 28, 34],
                       'f': [2, 2, 2, 3, 3, 2]})
df_obj

输出为：
在这里插入图片描述查看DF的值：

# 根据列表对df_obj进行分组，列表中相同元素对应的行会归为一组
groupby_obj = df_obj.groupby(by=['A', 'A', 'B', 'B', 'A', 'B'])
# groupby_obj.groups
print(dict([x for x in groupby_obj]))
print('-'*10)

for (key,value) in dict([x for x in groupby_obj]).items():
    print(key)
    print(value)

输出为：
在这里插入图片描述

2.3.2.1 agg()方法

agg()方法既接收内置统计方法，又接收自定义函数，甚至可以同时运用多个方法或函数，或给各列分配不同的方法或函数，能够对分组应用灵活的聚合操作。

传入自定义函数：

for (key,value) in dict([x for x in groupby_obj]).items():
    print(key)
    print(value)
# 定义求极差的函数
def my_range(arr):
    return arr.max()-arr.min()
groupby_obj.agg(my_range)  # 使用agg()方法聚合分组数据

输出为：
在这里插入图片描述
指定列聚合

# 使用agg()方法聚合分组中指定列的数据
groupby_obj.agg({'a':'max', 'c':'sum', 'e': my_range})

输出为：
在这里插入图片描述

在使用agg方法中，还经常使用重置索引+重命名的方式：

# 初始化分组DF
import pandas as pd
df_obj = pd.DataFrame({'a': [0, 1, 2, 3, 4, 5],
                       'b': [1, 7, 13, 19, 25, 31],
                       'c': [1, 8, 14, 20, 26, 32],
                       'd': [2, 9, 15, 21, 27, 33],
                       'e': [2, 10, 16, 22, 28, 34],
                       'f': [2, 2, 2, 3, 3, 2]})
print(df_obj)

df_obj.groupby(by='f').agg({'a':'count'})

输出为：
在这里插入图片描述

会发现，经过agg聚合后，分组键做了索引，聚合之后的a列的列名为a，这个列名会与原有的列名冲突，换成a_count比较合适，方法如下：

df_obj.groupby(by='f').agg({'a':'count'}).reset_index().rename(columns={'a': 'a_count'})

输出为：
在这里插入图片描述

2.3.2.2 transfrom()方法

transfrom()方法能对分组应用灵活的运算操作，同时可使聚合前与聚合后的数据结构保持一致。

初始化DF

# 初始化分组DF
import pandas as pd
df_obj = pd.DataFrame({'a': [0, 6, 12, 18, 24, 30],
                       'b': [1, 7, 13, 19, 25, 31],
                       'c': [1, 8, 14, 20, 26, 32],
                       'd': [2, 9, 15, 21, 27, 33],
                       'e': [2, 10, 16, 22, 28, 34],
                       'f': [2, 2, 2, 3, 3, 2]})
df_obj

输出为：
在这里插入图片描述

基于transform求最大值：

df_obj['a_max'] = df_obj[['a','f']].groupby(by=['f']).transform('max')
df_obj

输出为：
在这里插入图片描述
如果不提前选取列，会生成同等结果的返回结果：

del df_obj['a_max']
df_obj.groupby(by=['f']).transform('max')

输出如下：
在这里插入图片描述

2.3.2.3 apply()方法

apply()方法既能直接接收内置方法，又可以接收自定义的函数。
与前几种聚合方式相比，使用apply()方法聚合数据的操作更灵活，它可以代替前两种聚合完成基础操作，另外也可以解决一些特殊聚合操作。

apply(func, *args, **kwargs)

func：表示应用于各分组的函数或方法。
*args和**kwargs ：表示传递给func的位置参数或关键字参数。

案例如下：

# 初始化分组DF
import pandas as pd
df_obj = pd.DataFrame({'a': [0, 6, 12, 18, 24, 30],
                       'b': [1, 7, 13, 19, 25, 31],
                       'c': [1, 8, 14, 20, 26, 32],
                       'd': [2, 9, 15, 21, 27, 33],
                       'e': [2, 10, 16, 22, 28, 34],
                       'f': [2, 2, 2, 3, 3, 2]})
print(df_obj)
# 自定义函数，用于计算每个数据除以10的余数
def div_hun(df):
    return df.iloc[:, :] % 10
df_obj.groupby(by=['f']).apply(div_hun)

输出为：
在这里插入图片描述

2.3.2.4 filter()方法

通过filter也可过滤分组后的数据：

# 初始化分组DF
import pandas as pd
df_obj = pd.DataFrame({'a': [0, 6, 12, 18, 24, 30],
                       'b': [1, 7, 13, 19, 25, 31],
                       'c': [1, 8, 14, 20, 26, 32],
                       'd': [2, 9, 15, 21, 27, 33],
                       'e': [2, 10, 16, 22, 28, 34],
                       'f': [2, 2, 2, 3, 3, 2]})

print(df_obj)
df_obj.groupby('f').filter(lambda x: x['a'].max() >26)

输出为：
在这里插入图片描述

2.4 哑变量处理（6.2.4 ）

在数据分析或挖掘中，一些算法模型要求输入以数值类型表示的特征，但代表特征的数据不一定都是数值类型的，其中一部分是类别型的，例如，受教育程度表示方式有大学、研究生、博士等类别，这些类别均为非数值类型的数据。为了将类别类型的数据转换为数值类型的数据，类别类型的数据在被应用之前需要经过“量化”处理，从而转换为哑变量。

什么是哑变量
哑变量又称虚拟变量、名义变量等，它是人为虚设的变量，用来反映某个变量的不同类别，常用的取值为0和1。需要说明的是，0和1并不代表数量的多少，而代表不同的类别。
假设变量“职业”有司机、学生、导游、工人、教师共5个类别，这5个类别分别有0和1两种取值，0代表非此种类别，1代表此种类别。

实现哑变量的方法：
pandas中使用get_dummies()函数对类别数据进行哑变量处理，并在处理后返回一个哑变量矩阵。

get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False,
        columns=None, sparse=False, drop_first=False, dtype=None)

data：表示待处理的类别数据，可以是数组、DataFrame类或Series类对象。
prefix：表示列索引名称的前缀，默认为None。
prefix_sep：表示附加前缀的分隔符，默认为“_”。
columns：表示哑变量处理的列索引名称，默认为None。

初始化数据：

# 初始化DF
import pandas as pd
position_df = pd.DataFrame({'职业': ['工人', '学生', '司机', '教师', '导游']})
position_df

输出为：
在这里插入图片描述

哑变量处理, 并给哑变量添加前缀：

# 哑变量处理, 并给哑变量添加前缀
result = pd.get_dummies(position_df, prefix=['col'])  
result

输出为：
在这里插入图片描述

2.5 面元划分(6.2.5 )

掌握cut()函数的用法，可以熟练地使用过该函数实现面元划分操作
面元划分是指数据被离散化处理，按一定的映射关系划分为相应的面元（可以理解为区间），只适用于连续数据。连续数据又称连续变量，指在一定区间内可以任意取值的数据，该类型数据的特点是数值连续不断，相邻两个数值可作无限分割。

pandas中使用cut()函数能够实现面元划分操作，cut()函数会采用等宽法对连续型数据进行离散化处理。

cut(x, bins, right=True, labels=None, retbins=False, precision=3, 
      include_lowest=False, duplicates='raise', ordered=True)

x：表示面元划分的连续数据，可以取值为一维数组或Series类对象。
bins：表示划分面元的依据。
right：表示右端点是否为闭区间，默认为True。
precision：表示区间标签的精度，默认为3。
include_lowest：表示是否包含区间的左端点，默认为False。

cut()函数会返回一个Categorical类对象，该对象可以被看作一个包含若干个面元名称的数组，通过categories属性可以获取所有的分类，即每个数据对应的面元。

在这里插入图片描述

案例如下：

import pandas as pd
ages = pd.Series([19, 21, 25, 55, 30, 45, 52, 46, 20])
bins = [0, 18, 30, 40, 50, 100]
# 使用cut函数划分年龄区间
cuts = pd.cut(ages, bins)
cuts

输出为：
在这里插入图片描述

IT从业者张某某
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数仓知识10_数据泛化
清平乐的技术专栏
08-19 1612
数据泛化（面向属性的归纳；个性–>一般化） 1.定义 数据泛化：把较低层次的概念层（例如：年龄的数值范围）用较高层次的概念（例如：青年、中年和 老年）替换来汇总数据。或者通过减少维度在设计较少维度的概念空间汇总数据（例如汇总学生组群时，删除生日和电话号码属性） 2.两种泛化方法 (1)基于数据立方体的数据聚集（data focusing)： a.复杂数据类型和聚集 数据仓库和OLAP工具基于...
数据预处理之数据变换
m0_61146002的博客
09-08 2069
数据预处理之数据变换
【数据分析】数据预处理中的数据变换
YYIverson的博客
08-30 3711
目录 数据变换 二值化（Binarization） 离散化（Discretization）（特征分箱） 哑编码（Dummy coding） 标准化（Standardization） 规范化（Normalization） 数据变换 二值化（用于区分的属性） 连续特征离散化（特征分箱） 等宽法（max-min）/x组 等分法 （样本数）/x组 多变量：聚类 哑变量（对...
解决数据泛化问题
最新发布
qq_53951823的博客
04-06 237
泛化问题在机器学习和深度学习中是一个普遍存在的挑战。它指的是模型在训练集上表现良好，但在未见过的测试数据上表现不佳的情况。多训练，增加训练批次，强制解决！由最开始的150epoch增加到450epoch。最近在弄毕业设计，其中就遇到一个很头疼的问题，训练的时候好好的。最后的结果，有用的，强制解决部分数据泛化的问题。这是官方的解释，于是我采取最简单粗暴的方式。首先跟大家解释一下啥叫数据泛化的问题。时隔一年多，再次记录最近遇到的问题。
三十七、数据泛化（面向属性的归纳）
GUANGZHAN的专栏
08-26 2756
1. 数据泛化：面向属性的归纳 从概念上讲，数据立方体可以看做一种多维数据泛化。数据泛化通过把相对低层的值（例如，属性年龄的数值）用较高层概念（例如，青年、中年和老年）替换来汇总数据。 数据特征化的面向属性的归纳 面向属性归纳的有效实现 类比较的面向属性归纳 2 数据特征的面向属性的归纳 2.1 面向属性的归纳的基本步骤 数据聚焦，获得初始数据关系 进行面向属性的归纳 基本操作是数据泛化，对有大量不同的属性，进行一下操作： 属性删除 属性泛化 属性泛化控制 2.2 数据聚焦 目的是获得跟任务
十六、数据变换和数据离散化
GUANGZHAN的专栏
03-12 4040
1.数据归约的概念 数据变换的概念和数据离散化 在数据预处理过程中，不同的数据适合不同的数据挖掘算。数据变换是一种将原始数据变换成较好数据格式的方法，以便作为数据处理前特定数据挖掘算法的输入。 数据离散化是一种数据变换形式。 数据变换策略概述 通过规范化变换数据- 通过分箱离散化 通过直方图分析离散化 通过聚类、决策树和相关分析离散化 标称数据的概念分层产生 2 数据变换策略概述 在数据变换中...
Python----数据预处理代码实例
09-19
在数据分析和机器学习领域，数据预处理是至关重要的一步，它直接影响着模型的性能和预测结果的准确性。本文将深入探讨Python中数据预处理的主要环节，并通过实例代码展示具体操作。 1. **导入标准库**： 在Python...
python数据分析期末复习
06-29
数据分析的流程包括需求分析、数据获取、数据预处理、分析与建模、模型评价与优化和部署六个阶段。需求分析是数据分析的第一步和最重要的步骤，决定了后续的分析方向和方法。数据获取是指根据需求分析的结果提取和...
系统识别 matlab第6章 控制工程类工具箱介绍.docx
11-12
系统辨识工具箱还提供了一个集成的图形用户界面，用户可以通过这个界面选择模型类型，导入和预处理数据，估计模型参数，并进行模型验证。例如，可以使用“Data Views”导入时间域数据，通过“Preprocess”进行数据...
精通Windows.API-函数、接口、编程实例.pdf
01-27
第6章　进程、线程和模块　150 6.1　基本概念　150 6.1.1　应用程序与进程　150 6.1.2　控制台应用程序与图形用户界面应用程序　151 6.1.3　动态链接库、模块　151 6.1.4　线程、纤程与作业　152 6.1.5　权限与...
MATLAB统计分析与应用：40个案例分析.docx
03-01
第三章涵盖了数据预处理，包括平滑处理、标准化变换和极差归一化变换。平滑处理可以使用smooth、smoothts和medfilt1等函数来减少数据的噪声。标准化变换通常用于将数据转换为零均值、单位方差的标准分布，而极差归一...
机器学习-常见的数据预处理
yehui_qy的博客
12-21 1万+
背景常见的数据预处理方法
答案答案答案答案
2302_78380832的博客
07-03 683
D. 数据归约的目的用于帮助从原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性，这样在精简数据集上进行数据挖掘显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果是基本相同。3. 在创建DataFrame时，如果columns参数中指定的列不存在，那么创建的DataFrame对象中的对应列值均为NaN，表示一个不可用的值。在创建DataFrame时，如果columns参数中指定的列不存在，那么创建的DataFrame对象中的对应列值均为NaN，表示一个不可用的值。
数据预处理(六)——数据变换与离散化
shi_jiaye的博客
08-04 5378
主要内容： 数据预处理的必要性 数据清洗 数据集成 数据标准化 数据规约 数据变换与离散化 利用sklearn进行数据预处理 六、数据变换与离散化 在数据预处理过程中，不同的数据适合不同的数据挖掘算法。数据变换是一种将原始数据变换成较好数据格式的方法，以便作为数据处理前特定数据挖掘算法的输入。数据离散化是一种数据变换的形式。 （一）数据变换的策略 1.光滑 数据光滑用于去掉数据中的噪声。常用的数据光滑方法有分箱、回归和聚类等。 2.属性构造 属性构造是通过由给定的属性构造新的属性并添加到属性集中，以.
2.认识数据预处理技术
weixin_57848728的博客
11-29 3536
认识数据预处理技术
python数据预处理—数据清洗、数据集成、数据变换、数据归约
weixin_57501965的博客
09-13 1万+
进行数据分析时，需要预先把进入模型算法的数据进行数据预处理。一般我们接收到的数据很多都是“脏数据”，里面可能包含缺失值、异常值、重复值等；同时有效标签或者特征需要进一步筛选，得到有效数据，最终把原始数据处理成符合相关模型算法的输入标准，从而进行数据分析与预测。
第 10 章 数据聚合与分组操作
Triumph19的博客
08-11 1445
对数据集进行分组并对各组应用一个函数（无论是聚合还是转换），通常是数据分析工作中的重要环节。在将数据集加载、融合、准备好之后，通常就是计算分组统计或生成透视表。pandas提供了一个灵活高效的gruopby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。 关系型数据库和SQL（Structured Query Language，结构化查询语言）能够如此流行的原因之一就是其能够方便地对数据进行连接、过滤、转换和聚合。但是，像SQL这样的查询语言所能执行的分组运算的种类很有限。在本章中你将会.
数据预处理的四个步骤
热门推荐
qq_53724742的博客
10-24 2万+
数据预处理的四个步骤
dubbo泛化处理（转）
web_15534206248的博客
08-15 642
泛接口实现方式主要用于服务器端没有API接口及模型类元的情况，参数及返回值中的所有POJO均用Map表示，通常用于框架集成，比如：实现一个通用的远程服务Mock框架，可通过实现GenericService接口处理所有服务请求。泛接口调用方式主要用于客户端没有API接口及模型类元的情况，参数及返回值中的所有POJO均用Map表示，通常用于框架集成，比如：实现一个通用的服务测试框架，可通过GenericService调用所有服务实现。要解决这种问题，可以新增一种泛化类型。关于泛化，dubbo文档这样描述的。..
解释数据挖掘的各个步骤？（数据导入和预处理、模型建立、模型训练、模型测试、模型调整、数据可视化）
04-29
1. 数据导入和预处理：数据挖掘的第一步是收集数据并将其导入到分析工具中。在该步骤中，数据需要进行清洗和预处理，以便于后续的分析。这包括数据去重、数据筛选、数据变换、数据规范化、缺失值处理等。 2. 模型建立：在数据预处理后，需要选择适合分析目标的模型。常见的模型包括分类模型、回归模型、聚类模型等。该步骤需要根据分析目的和数据特征选择合适的模型。 3. 模型训练：在确定了合适的模型后，需要将数据应用于模型中进行训练。该步骤旨在建立一个能够准确预测或分类的模型。 4. 模型测试：在训练完成后，需要对模型进行测试以评估其准确性和可靠性。在测试阶段，需要使用独立的测试数据集评估模型的性能，并进行模型选择或参数调整。 5. 模型调整：在测试过程中，可能会出现一些错误或不精确的结果。在这种情况下，需要对模型进行调整以提高其准确性。一些常见的模型调整技术包括交叉验证、参数调整和模型重构等。 6. 数据可视化：在该步骤中，可以通过可视化数据来理解数据的特征和模型的结果。数据可视化可以帮助用户更好地理解数据，并从中发现隐藏在数据中的模式和趋势。常见的数据可视化工具包括散点图、直方图、热力图、散点矩阵等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT从业者张某某

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值