Python学习7 ----Pandas数据预处理实例

已于 2024-01-28 11:19:31 修改
阅读量4.2k 收藏 71
点赞数 6
文章标签： python pandas
于 2019-08-26 17:18:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29893385/article/details/100081419
版权

Pandas数据预处理实例

代码详见https://github.com/RenDong3/Python_Note

1实例背景

该实例使用数据为kaggle经典入门竞赛,泰坦尼克
比赛解析 https://github.com/apachecn/Interview/tree/master/docs/Kaggle/competitions/getting-started/titanic

2 Pandas数据预处理

2.1 读取数据

对于csv数据每一列代表的含义以及详细分析见比赛解析给的网址(在上面哦!!)
在这里插入图片描述

2.2 缺失值统计

观察发现,'Age’列含有大量缺失值,Nan即代表缺失值
在这里插入图片描述
在这里插入图片描述

2.3 平均值计算

如果不对缺失值做预处理,得到结果为nan
在这里插入图片描述
只对有效数据进行计算得到平均值
在这里插入图片描述
使用dropna()丢弃缺失值
在这里插入图片描述

3 列属性之间关联

一般使用pivot_table()得到index和values之间的关联
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4排序操作

对Age进行排序操作,但index不变化
在这里插入图片描述
在这里插入图片描述
对Age进行排序操作,同时index也按照顺序排序
在这里插入图片描述
在这里插入图片描述

5 自定义函数

使用apply()调用自定义函数
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小熊猫Q
关注
  • 6
    点赞
  • 踩
  • 71
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
对pandas进行数据预处理的实例讲解
09-20
下面小编就为大家分享一篇对pandas进行数据预处理的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python—-数据预处理代码实例
01-20
本文实例为大家分享了Python数据预处理的具体代码，供大家参考，具体内容如下 1.导入标准库 import numpy as np import matplotlib.pyplot as plt import pandas as pd 2.导入数据集 dataset = pd.read_csv('data (1).csv') # read_csv：读取csv文件 #创建一个包含所有自变量的矩阵，及因变量的向量 #iloc表示选取数据集的某行某列；逗号之前的表示行，之后的表示列；冒号表示选取全部，没有冒号，则表示选取第几列；values表示选取数据集里的数据。 X = dataset.i
Python数据分析练习（三） 数据预处理
weixin_61667879的博客
06-09 3585
（2） 创建数据框的列名称['sepal_length','sepal_width', 'petal_length', 'petal_width', 'class']# aggfunc:表示Pclass与Fare之间的什么关系，求的是船舱等级与票价的平均值之间的关系，所以aggfunc=np.mean()'name':['小铭','小月','彭岩','刘华','周华','刘华'],'gender':['女','女','男','男','男','男']})
Python----数据预处理
weixin_30457465的博客
03-17 386
导入标准库 import numpy as np import matplotlib.pyplot as plt import pandas as pd 导入数据集 dataset = pd.read_csv('data (1).csv') # read_csv：读取csv文件 #创建一个包含所有自变量的矩阵，及因变量的向量 #iloc表示选取数据集的某行某列；...
Python数据挖掘 数据预处理案例（以航空公司数据为例）
chenjh027的博客
11-21 9593
本文根据航空公司系统的客户基本信息数据（文末提供数据和代码），使用Python分别完成数据清洗、数据集成和数据可视化的操作，并给出了完整代码及图文说明，感兴趣的朋友可以进来详细了解。
22个案例详解Pandas数据分析/预处理时的实用技巧，超简单
AI科技大本营
02-18 2776
作者 | 俊欣来源 |关于数据分析与可视化今天小编打算来讲一讲数据分析方面的内容，整理和总结一下Pandas在数据预处理和数据分析方面的硬核干货，我们大致会说Pandas计算交叉列表Pa...
20 个 Pandas 数据实战案例，干货多多
AI科技大本营
03-03 4031
作者 |俊欣来源 | 关于数据分析与可视化今天我们讲一下pandas当中的数据过滤内容，小编之前也写过也一篇相类似的文章，但是是基于文本数据的过滤，大家有兴趣也可以去查阅一下。下面小编会...
python数据预处理实例-对pandas进行数据预处理的实例讲解
weixin_39676348的博客
11-11 711
参加kaggle数据挖掘比赛，就第一个赛题Titanic的数据，学习相关数据预处理以及模型建立，本博客关注基于pandas进行数据预处理过程。包括数据统计、数据离散化、数据关联性分析引入包和加载数据import pandas as pdimport numpy as nptrain_df =pd.read_csv("../datas/train.csv") # train se...
pandas案例——预处理部分地区数据
CarveStone的博客
01-18 1654
数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。
机器学习数据建模与分析—Numpy和Pandas综合应用案例：北京空气质量
m0_63642362的博客
02-23 2301
Python作为一款面向对象、跨平台并且开源的计算机语言，是机器学习实践的首选工具。入门Python机器学习应从了解并掌握Python的Numpy、Pandas、Matplotlib包开始。学习Python和完成机器学习实践的有效途径是：以特定的机器学习应用场景和数据作为出发点，沿着由浅入深的数据分析脉络，以逐个解决数据分析实际问题为目标，逐步展开对Python的学习和机器学习的实践。
利用PythonPandas进行数据预处理-数据清洗
02-24
数据缺失在大部分数据分析应用中都很常见，Pandas使用浮点值NaN表示浮点和非浮点数组中的缺失数据，他只是一个便于被检测出来的数据而已。Python内置的None值也会被当作NA处理处理NA的方法有四种：dropna,fillna,isnull,notnullis(not)null，这一对方法对对象做出元素级的应用，然后返回一个布尔型数组，一般可用于布尔型索引。dropna，对于一个Series，dropna返回一个仅含非空数据和索引值的Series。问题在于DataFrame的处理方式，因为一旦drop的话，至少要丢掉一行（列）。这里解决方法与前面类似，还是通过一个额外的参数：dropna
python数据分析-数据表读写到pandas
最新发布
10-07
内容概要：用于数据分析，把常见的csv，excel，json，sql等数据表，读写到pandas，用于大数据分析。 适用人群：利用python进行数据分析的初学者，pandas基础学习爱好者，股票财经数据分析 场景类型：学习读取数据表，转换数据类型，python程序样例，读取数据后可用于统计分析，机器学习，AI分析，
Python----数据预处理代码实例
09-19
主要介绍了Python数据预处理，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python-Pandas：Pandas数据处理笔记本
02-18
Python熊猫 在此存储库中，我分享了与Pandas Dataframe Manipulation相关的项目的Jupyter Notebook： 能源市场分析-西班牙 Spotify个人流分析
第三讲 数据预处理[Pandas实践]
09-18
Pandas数据分析 普林大数据学院 普 林 大 数 据 学 院 P R I N C E T E C H S B I G D A T A C O L L E G E 2 3 目录 第一部分 文件读写 第二部分 变量离散化 第三部分 缺失值填补 普林大数据学院 普 林 大 数 据 学 院 P R I N C E T E C H S B I G D A T A C O L L E G E 第四部分 数据标准化 第五部分 数据合并 第六部分 数据组合 第七部分 数字编码 第八部分 OneHot编码 普 林 大 数 据 学 院 P R I N C E T E C H S B I G D A T A C O L L E G E 普林大数据学院 4 数据文件操作——读入数据 • pandas提供了一些用于将表格型数据读取为DataFrame对象的函数， 常用的函数为read_csv和read_table • 函数的选项可以划分为几个大类 • 索引：将一个或多个列当做返回的DataFrame处理，以及是否从文件、用户 获取列名 • 类型推断和数据转换：包括用户定义值的转换、缺失值标记列表等 • 日期解析：包括组合功能，比如将分散在多个列中的日期时间信息组合起来 • 迭代：支持对大文件进行逐块迭代 • 不规整数据问题：跳过一些行、页脚、注释或其他一些不重要的东西 普 林 大 数 据 学 院 P R I N C E T E C H S B I G D A T A C O L L E G E 普林大数据学院 5 文件读写 Pandas提供了一些用于将表格型数据读取位DataFrame对象的函数。 其中最常用的为read_csv和read_table。read_csv 从文件、URL、文件 型对象中加载带分隔符的数据。默认分隔符为逗号。read_table从文件、 URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符 （“\t”） In[19]:df= pd.read_csv('iris.csv') df.head() Out[19]: sepal_len sepal_wh petal_len petal_wh target 0 5.1 3.5 1.4 0.2 0 1 4.9 3.0 1.4 0.2 0 2 4.7 3.2 1.3 0.2 0 3 4.6 3.1 1.5 0.2 0 4 5.0 3.6 1.4 0.2 0
Python数据分析（机器学习）经典案例实战
04-11
购买课程后，添加小助手微信（微信号：csdn500）回复【唐宇迪】进入学习群，获取唐宇迪老师社群答疑使用Python数据分析流行的库Numpy,Pandas,Matplotlib, Scikit-learn结合真实数据集展开可视化特征分析与机器学习建模和评估。每次课程涉及一个完整的案例，基于案例讲解python库的使用以及如何建立机器学习模型，对涉及到的机器学习算法给出通俗易懂的解释，帮助大家掌握经典机器学习算法，并应用在实际的案例中。
机器学习入门30天实战
09-22
购买课程后，可扫码进入学习群，获取唐宇迪老师答疑 系列课程包含Python机器学习库，机器学习经典算法原理推导，基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导，以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理，案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作！具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战，信用卡欺诈检测、决策树与集成算法、支持向量机原理推导、SVM实例与贝叶斯算法、机器学习常规套路与Xgboost算法、神经网络。
pandas数据预处理（Series DataFrame）详解附带案例
THREEFUCT的博客
01-05 2322
Pandas简介： 一个用于统计分析常用Python模块，Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。Pandas的基本功能：以字段为单位的数学运算，灵活处理缺失数据合并、连接等关系型运算 这里我们用pycharm进行学习 pandas在pycharm的安装 安装代码 pip insatall pandas 若下载缓慢，则加上清华源后缀 pip install pandas -i https://py
python数据预处理
Jerry_qqxxw的博客
12-22 857
数据预处理是后续数据分析处理的前提，包括数据探究，缺失值、异常值，重复值等数据处理，数据标准化、归一化处理。
python数据预处理实例
05-25
以下是一个简单的 Python 数据预处理实例： 假设我们有一个名为“customers.csv”的客户数据集，其中包含客户姓名、年龄、性别、购买历史和信用分数等信息。我们想要对该数据集进行一些预处理，以便用于进一步的分析和建模。 1. 导入必要的库 ```python import pandas as pd import numpy as np ``` 2. 读取数据集 ```python data = pd.read_csv('customers.csv') ``` 3. 检查数据质量 ```python # 查看前5行数据 data.head() # 查看数据维度 data.shape # 检查缺失值 data.isnull().sum() # 检查重复值 data.duplicated().sum() # 查看数据类型 data.dtypes ``` 4. 处理缺失值 ```python # 删除缺失值 data.dropna(inplace=True) # 填充缺失值 data.fillna(value=0, inplace=True) ``` 5. 处理重复值 ```python # 删除重复值 data.drop_duplicates(inplace=True) ``` 6. 处理离群值 ```python # 使用箱线图检测离群值 import seaborn as sns sns.boxplot(x=data['age']) # 删除离群值 Q1 = data['age'].quantile(0.25) Q3 = data['age'].quantile(0.75) IQR = Q3 - Q1 data = data[(data['age'] >= Q1 - 1.5*IQR) & (data['age'] <= Q3 + 1.5*IQR)] ``` 7. 处理数据类型 ```python # 转换数据类型 data['age'] = data['age'].astype('int') data['credit_score'] = data['credit_score'].astype('float') # 对分类变量进行编码 from sklearn.preprocessing import LabelEncoder le = LabelEncoder() data['gender'] = le.fit_transform(data['gender']) ``` 8. 特征缩放 ```python # 使用 MinMaxScaler 进行特征缩放 from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data[['age', 'credit_score']] = scaler.fit_transform(data[['age', 'credit_score']]) ``` 以上是一个简单的 Python 数据预处理实例，其中包括数据质量检查、缺失值处理、重复值处理、离群值处理、数据类型处理和特征缩放等常见的预处理步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值