唐宇迪学习笔记2:Python数据分析处理库——pandas

目录

一、Pandas工具包使用

二、数据信息读取与展示

.info:返回当前的信息

.index: 索引

​.coulums :列名。每列第一个是列名,后面是数据。

.types:数据类型

.value :打印列名,结构是数组格式。

创建dataframe结构 

三、索引方法

Pandas索引结构

bool类型的索引

四、groupby函数使用方法

python

groupby

取均值

groupby:统计数据

五、数值运算

求和

平均数

最大最小值

 二元统计

协方差

 相关系数(对角阵,对角线是1)

value_counts(): 统计数有多少个

 bins:划分情况

六、对象操作 

 Series结构的增删改查(Series:一列数据)

查操作:

改操作(.copy防止改错了)

增操作

删操作

 DataFrame结构的增删改查

查操作是类似的

改操作

​增操作

删操作

七、merge合并操作

​ 八、pivot数据透视表

显示设置

美观展示

精度设置:(默认取6位) 

pivot操作 

设置一个数据透视表

九、时间操作

.to_datetime():转换成时间的标准格式

Series():构建时间序列: 

  resample:时间重采样

画图操作

十、apply自定义函数

自定义apply()函数 

 统计每一列的缺失值:

统计不同的船舱等级 

判断年龄 

十一、常规操作

​ sort_values(): 排序

sort_values(by=‘’) :按照哪个列进行排序

 drop_duplications():去除重复id/去除同类项

replace:替换操作

 cut:自定义取数据(对连续值进行离散化)

cut属性值替换

 .isnull():空值判断 

 .fillna():缺值填充(将所有缺失值填充为5)

 定位到缺失值,带有缺失值的样本

十二、字符串操作

lower():小写转换

upper():大写转换

 len():计算字符的长度

 strip():去除空格(lstrip():去左空格;rstrip():去右空格)

replace():替换/字符数据的预处理

split():切分

contains(): 判断是否包含尾缀/前缀/数字/...

get_dummies(): 经常在关联分析时使用 


pandas工具包:把numpy中很多命令整合在了一起。

一、Pandas工具包使用

df:DataFrame (矩阵。行:样本;列:特征)

 .head():可以读取前几条数据,指定前几条都可以(默认前五条)

  .tail():同.head(),可以读取后几条数据。

帮助文档:

二、数据信息读取与展示

.info:返回当前的信息

.index: 索引

.coulums :列名。每列第一个是列名,后面是数据。

.types:数据类型

.value :打印列名,结构是数组格式。

创建dataframe结构 

  • 指定一个字典结构,key:当前列名;value:对应key的值,是list结构。

注:格式对应起来。空值:np.nan

取指定的数据:

 series:dataframe中的一行/列

 

索引我们可以自己指定

        未指定前:

          指定后:

         通过名字定位:

.describe():可以得到数据的基本统计特性 (只有数值数据计算得到的结果。包括计数、均值、方差等)

三、索引方法

Pandas索引结构

  • loc 用label来去定位

可以定位人名、非位置的时候使用loc。传入的是描述。

  • iloc 用position来去定位

传入的是值。

bool类型的索引

用ture或这false来取数

定位到ture的值

 找到男性:

 性别为男性的平均年龄:

四、groupby函数使用方法

eg:找到所有A的data之和

python

groupby

取均值

  

groupby:统计数据

  • 统计数据文件中男女的平均年龄

  • 统计数据文件中不同性别获救的可能性

五、数值运算

与numpy中本质上没有区别。

求和

平均数

最大最小值

 二元统计

协方差

 相关系数(对角阵,对角线是1)

value_counts(): 统计数有多少个

(升序:ascending=true;降序:ascending=false)

 bins:划分情况

六、对象操作 

 Series结构的增删改查(Series:一列数据)

查操作:

改操作(.copy防止改错了)

增操作

删操作

 DataFrame结构的增删改查

查操作是类似的

改操作

增操作

删操作

七、merge合并操作

 

合并:

 默认情况下,会把合并两个表中共有的传入。

为了不丢失数据,(how='outer' :显示所有;how=‘left’:显示左表;how=‘right’:显示右表)

 八、pivot数据透视表

显示设置

pandas API文档:pandas.set_option — pandas 1.4.1 documentation

美观展示

​ 

精度设置:(默认取6位) 

pivot操作 

设置一个数据透视表

每一项花费在每个月的平均是多少,使用pivot(index:想统计的指标;columns:想通知指标的属性;values:按着什么方式统计)

​求和:

​ 统计不同性别在不同船舱等级上的花费 

​求最大:

 把年龄小于18的赋值给Underaged

九、时间操作

.to_datetime():转换成时间的标准格式

Series():构建时间序列: 

​通过时间指出当前数据:

​取月份:

  resample:时间重采样

画图操作

十、apply自定义函数

自定义apply()函数 

优点:可以自己指定当前对那哪个样本执行什么操作。

 统计每一列的缺失值:

统计不同的船舱等级 

判断年龄 

十一、常规操作

 sort_values(): 排序

sort_values(by=‘’) :按照哪个列进行排序

 drop_duplications():去除重复id/去除同类项

replace:替换操作

 cut:自定义取数据(对连续值进行离散化)

cut属性值替换

 .isnull():空值判断 

 .fillna():缺值填充(将所有缺失值填充为5)

 定位到缺失值,带有缺失值的样本

十二、字符串操作

lower():小写转换

upper():大写转换

 len():计算字符的长度

 strip():去除空格(lstrip():去左空格;rstrip():去右空格)

 

replace():替换/字符数据的预处理

split():切分

contains(): 判断是否包含尾缀/前缀/数字/...

get_dummies(): 经常在关联分析时使用

  • 2
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Pandas是一个Python,用于数据处理和分析。在数据分析中,预处理是非常重要的一步,因为它可以帮助我们清洗和转换数据,使其更适合进行分析。Pandas提供了一些强大的预处理功能,包括数据清洗、数据转换、数据重塑和数据合并等。在使用Pandas进行数据分析时,预处理是必不可少的一步。 ### 回答2: 在数据分析中,数据的预处理是一个必要的过程。它的主要目的是清洗数据,准备数据,以便后续分析。在Python中,pandas是一种广泛使用的数据处理pandas可以通过其高效的数据结构和操作方法来清洗和处理数据。在本文中,将介绍pandas处理的一些常见技术。 一、读取数据 在pandas中,使用read_csv()函数读取CSV格式的数据文件,read_excel()函数读取Excel格式的数据文件。它们都有很多选项,可以根据具体文件的格式进行设置。 二、查看数据 在pandas中,使用以下函数来查看数据: 1. head() - 显示数据框的前几行; 2. tail() - 显示数据框的后几行; 3. columns - 显示数据框的列名; 4. shape - 显示数据框的行列数; 5. info() - 显示数据框的基本信息,包括每列的名称、非空值数量和数据类型。 三、数据清洗 在数据清洗中,有以下一些常见的技术: 1. 删除重复行:使用drop_duplicates()函数; 2. 替换空值:使用fillna()函数; 3. 删除空值:使用dropna()函数; 4. 更改数据类型:使用astype()函数。 四、数据准备 在数据准备中,有以下一些常见的技术: 1. 数据合并:使用merge()函数; 2. 数据筛选:使用loc()函数或者iloc()函数; 3. 数据分组:使用groupby()函数; 4. 数据排序:使用sort_values()函数。 五、数据分析数据分析中,有以下一些常见的技术: 1. 数据聚合:使用agg()函数; 2. 统计描述:使用describe()函数; 3. 数据可视化:使用matplotlib或者seaborn。 综上所述,pandas处理数据分析中必不可少的一步。通过使用pandas提供的函数和方法,可以方便地清理和处理数据,使其更容易被分析。 ### 回答3: PandasPython中最强大的数据处理之一,它提供了DataFrame和Series这两种数据结构,可以快速便捷地处理数据。在数据分析过程中,我们往往需要先对数据进行预处理,以便后续的分析。Pandas提供了一系列的方法和函数,可以帮助我们进行数据的预处理。 首先,在进行数据分析之前,我们需要了解自己所面对的数据类型和数据结构。Pandas中的DataFrame结构就是类似于表格的结构,每一行代表一个样本,每一列代表一个属性。Series则是一维的数组结构。通过pandas.read_csv(),我们可以读取CSV格式的数据,并转化为DataFrame结构。 接下来,我们要对数据进行一些基本的处理,例如数据清洗、数据去重、缺失值处理、异常值处理等。在数据清洗过程中,我们往往需要对数据进行一些特殊的处理,例如字符串的分割、合并、替换等操作,Pandas提供了一系列能够对文本进行操作的函数。在数据去重方面,我们可以使用drop_duplicates()函数,它可以去除DataFrame中的重复记录。在处理缺失值时,Pandas提供了一系列的函数,如fillna()函数、dropna()函数,可以方便地将NaN值变为其他有意义的值,或者删除缺失值的行或列。在异常值处理方面,我们可以使用isoutlier()函数来找到数据中的异常值,并进行处理。 在数据预处理完成后,我们可以对数据进行一些统计分析,例如计算小计、计算总计、分位数、极差、方差、标准差等统计指标。我们可以使用describe()函数来获得数据的统计描述,还可以使用groupby()函数来对数据分组,使用agg()函数对每组进行计算统计指标。此外,我们还可以对数据进行排序、丢弃、合并等操作。 总之,Pandas是一个非常强大的Python,可以轻松处理数据预处理和数据处理方面的任务。Pandas作为数据分析和数据处理的基础,使用熟练后可以在数据分析中发挥更大的作用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值