【ML】数据预处理

本文介绍了数据预处理的基本步骤,包括导入Python的numpy、pandas和matplotlib库,读取数据,处理缺失值,进行数据明确化(如热编码),数据分割以及数据缩放。特别强调了在处理缺失值时,通常选择填充而不是直接删除。同时,文章提供了Python的完整代码示例,并指出R语言的实现类似。
摘要由CSDN通过智能技术生成

前言

对于数据的预处理,没有固定的步骤。
下文写的仅仅的常规的一些小步骤。
具体的预处理,还需要根据数据以及需求来自行处理。

====================================

Python

STEP1、导入依赖包

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

把np作为numpy的缩写,后面可以直接使用np来调用各种方法。

==>
numpy系统是python的一种开源的数值计算扩展。
这种工具可用来存储和处理大型矩阵,比python自身的嵌套列表结构要高效的多。
你可以理解为凡是和矩阵有关的都用numpy这个库。

==>
matplotlib.pyplot是用来做数据的展示。也就是数据的可视化。

==>
pandas该工具是为了解决数据分析任务而创建的。pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。
pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是使python成为强大而高效的数据分析环境的重要因素之一。

========
选择好这三行代码,敲下shift+return组合键。

如果结果如下,说明库已经导入了。
我们的环境配置也完全没有问题。

如果环境的配置有问题,参考博客:
http://blog.csdn.net/wiki_su/article/details/78404808

STEP2、读取数据

原始数据在云盘,有需要的自行下载吧。
链接:http://pan.baidu.com/s/1eRHXACU
密码:4q8c

Spyder中,设置好文件路径。千万不要忘了。

输入下面的代码。然后选择这行代码,敲下shift+return组合键。

#import dataset
dataset = pd.read_csv('Data.csv')

我们在explorer中会看到我们命名的dataset

dataset

双击打开

根据上面的dataset的那个图我们可以看出,我们的目的是想要通过地区,年龄,薪资来看购买力。

那我们把country,age,salary作为X,purchased作为Y。
得到二者之间的关系,就得到了country,age,salary和purchased之间的某种关系。

Spark数据预处理是指在使用Spark进行数据分析之前对原始数据进行一系列的清洗、转换和整理操作。下面是一些常用的Spark数据预处理操作: 1. 导入Spark包:在开始之前,需要导入Spark相关的包,比如`from pyspark import SparkContext`。 2. 提交脚本:使用命令`spark-submit`来提交Spark脚本。 3. 导入数据:使用`sc.textFile()`函数导入数据,可以指定文件的路径和格式,比如`user_data = sc.textFile('/路径/ml-100k/u.user')`。 4. 查看数据:可以使用`first()`函数查看数据集中的某一条数据,比如`movie_data.first()`。 5. 字段处理:可以使用`map()`函数对每一行数据进行操作,比如将数据按照分隔符进行切割,生成字段。例如,`movie_fields = movie_data.map(lambda lines:lines.split('|'))`。 6. 数据转换:可以使用各种算子来对数据进行转换操作。常见的操作包括计数、加和、去重等。例如,`count()`函数用于计数和加和,`distinct()`函数用于去重,`collect()`函数用于将分散的内容整理成一个数组。 7. 典型问题分析:使用Spark进行数据预处理经常涉及到一些典型问题的分析,比如统计某一职业的人数。可以使用`map()`函数和`reduceByKey()`函数来实现。例如,`count_by_occupation = user_fields.map(lambda fields: (fields,1)).reduceByKey(lambda x,y:x+y).collect()`。 总之,Spark数据预处理是通过使用Spark的API和算子对原始数据进行清洗、转换和整理,为后续的数据分析提供规范化、可靠的数据集。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值