《Python 数据分析》笔记——pandas

最新推荐文章于 2024-10-05 08:57:27 发布
最新推荐文章于 2024-10-05 08:57:27 发布
阅读量108 收藏 1
点赞数 1
文章标签： python 数据结构与算法 数据库
原文链接：http://www.cnblogs.com/yifdu25/p/8411673.html
版权

Pandas

pandas是一个流行的开源Python项目，其名称取panel data(面板数据)与Python data analysis(Python 数据分析)之意。

pandas有两个重要的数据结构：DataFrame和Series

pandas数据结构之DataFrame

pandas的DataFrame数据结构是一种带标签的二维对象，与Excel的电子表格或者关系型数据表非常相似。

可以用下列方式来创建DataFrame：

1.从另一个DataFrame创建DataFrame

2.从具有二维形状的Numpy数组或者数组的复合结构来生成DataFrame

3.类似地，可以用pandas的另一种数据结构Series来创建DataFrame.关于Series，后文介绍

4.DataFrame也可以从类似CSV之类的文件来生成

考察pandas的DataFrame及其各种属性

（1）首先，将数据文件载入DataFrame,并显示其内容：

 
 
 
 
 
 
(2)DataFrame有一个属性，以元组的形式来存放DataFrame的形状数据，这与ndarray非常相似，我们可以查询一个DataFrame的行数
 
 
 
  
 
 
 
 

 
 
(3)下面通过其他属性来考察各列的标题与数据类型
 
 
 
  
 
 
 
 

 
 
(4)pandas的DataFrame带有一个索引，类似于关系型数据库中数据表的主键（primary key）。对于这个索引，我们既可以手动规定，也可以让pandas自动创建。访问索引时，使用相应的属性即可
 
 
 
  
 
 
 
 

 
 
（5）有时我们希望遍历DataFrame的基础数据，如果使用pandas的迭代器，遍历列值的效率可能会很低。更好的解决方案是从基础的Numpy数组中提取这些数值，然后进行相应的处理。不过，pandas的DataFrame的某一个属性可以在这方面为我们提供帮助
 
 
 
  
 
 
 
 

 
 
Pandas数据结构之Series
 
 
pandas的Series数据结构是由不同类型的元素组成的一维数组，该数据结构也具有标签。可以通过下列方式来创建pandas的Series数据结构。
 
 
1.由Python的字典来创建Series
 
 
2.由Numpy数组来创建Series
 
 
3.由单个标量来创建
 
 
创建Series数据结构时，可以向构造函数递交一组轴标签，这些标签通常称为索引，是一个可选参数。默认情况下，如果使用Numpy数组作为输入数据，那么pandas会将索引值从0开始递增。如果传递给构造函数的数据是一个Python字典，那么这个字典的键会经排序后变成相应的索引；如果输入数据是一个标量值，那么就需要由我们来提供相应的索引。索引中的每一个新值都要输入一个标量值。pandas的Series和DataFrame数据类型接口的特征和行为是从Numpy数组和Python字典那里借用来的
 
 
（1）首先，选中输入文件中的第一列，即Country列；然后显示这个对象在局部作用域中的类型
 
 
 
  
 
 
 
 

 
 
(2)pandas的Series数据结构不仅共享了DataFrame的一些属性，还另外提供了与名称有关的一个属性。
 
 
 
  
 
 
 
 

 
 
(3)为了演示Series的切片功能，这里以截取Series变量Country中的最后两个国家为例进行说明
 
 
 
  
 
 
 
 

 
 
(4)Numpy的函数同样适用于pandas的DataFrame和Series数据结构
 
 

 
 
可以在DataFrame、Series和Numpy数组之间进行各种类型的数值运算。
 
 
利用pandas查询数据：
 
 
（1）head()和tail()这两个函数的作用类似于UNIX系统中同名的两个命令，即选取DataFrame的前n和后n个数据记录，其中n是一个整型参数：
 
 
 
  
 
 
 
 

 
 
(3)下面用最近的日期来查询最近一年太阳黑子的相关数据：
 
 
 
  
 
 
 
 

 
 
(4)下面介绍如何通过YYYYMMDD格式的日期字符串来查询日期，具体如下所示：
 
 
 
  
 
 
 
 

 
 
(5)索引列表也可用于查询
 
 
 
  
 
 
 
 

 
 
(6)要想选择标量值，有两种方法，这里给出的是速度明显占优势的第二种方法。它们需要两个整数作为参数，其中第一个整数表示行，第二个整数表示列：
 
 
 
  
 
 
 
 

 
 
(7)查询布尔型变量的方法与SQL的Where子句非常接近
 
 
 
  
 
 
 
 

 
 
利用pandas的DataFrame进行统计计算
 
 
pandas的DataFrame数据结构为我们提供了若干统计函数。
 
 
describe:这个方法将返回描述性统计信息
 
 
count:这个方法将返回非NaN数据项的数量
 
 
mad:这个方法用于计算平均绝对偏差，即类似于标准差的一个有力统计工具
 
 
median:这个方法用于返回中位数
 
 
min：这个方法将返回最小值
 
 
max:这个方法将返回最大值
 
 
mode:这个方法将返回众数
 
 
std:这个方法将返回标准差
 
 
var:这个方法将返回方差
 
 
skew:这个方法用来返回偏态系数，该系数表示的是数据分布的对称程度
 
 
kurt：这个方法将返回峰态系数，该系数用来反映数据分布曲线顶端尖峭或扁平程度
 
 

 
 
利用pandas的DataFrame实现数据聚合
 
 
（1）为Numpy的随机数生成器指定种子，以确保重复运行程序时生成的数据不会走样
 
 
 
  
 
 
 
 

 
 
（2）通过Weather 列为数据分组，然后遍历各组数据
 
 
 
  
 
 
 
 

 
 
（3）变量Weather_group是一种特殊的pandas对象，可由groupby()生成。这个对象为我们提供了聚合函数，下面展示它的使用方法：
 
 
 
  
 
 
 
 

 
 
（4）恰如利用数据库的查询操作那样，也可以针对多列进行分组
 
 

 
 
（5）通过agg()方法，可以对数据组施加一系列的Numpy函数
 
 
 
  
 
 
 
 

 
 
DataFrame的串联与附加操作
 
 
数据库的数据表有内部连接和外部连接两种连接操作类型。实际上，pandas的DataFrame也有类似的操作，因此我们也可以对数据行进行串联和附加。我们将使用前面章节中的DataFrame来练习数据行的串联和附加操作
 
 
函数concat()的作用是串联DataFrame,如可以把一个由3行数据组成的DataFrame与其他数据行串接，以便重建原DataFrame:
 
 
 
  
 
 
 
 

 
 
为了追加数据行，可以使用append()函数：
 
 
 
  
 
 
 
 

 
 
连接DataFrames
 
 
pandas提供的merge()函数或DataFrame的join()实例方法都能实现类似数据库的连接操作功能。默认情况下，join()实例方法会按照索引进行连接，不过，有时不符合我们的要求
 
 
虽然，pandas支持所有的这些连接类型（内部连接、左外连接、右外连接与完全外部连接等操作）
 
 
（1）用merge()函数按照员工编号进行连接处理
 
 
 
  
 
 
 
 

 
 
(2)用join()方法执行连接操作时，需要使用后缀来指示左操作对象和右操作对象：
 
 
 
  
 
 
 
 
这个方法会连接索引值，因此得到的结果与SQL内部连接会有所不同
 
 
（3）用merge()执行内部连接时，更显式的方法如下所示：
 
 
 
  
 
 
 
 
只要稍作修改，就可以变成完全外部连接：
 
 
 
  
 
 
 
 

 
 
处理缺失数据问题
 
 
对于pandas来说，它会把缺失的数值标为NaN，表示None;还有一个类似的符号是NaT,不过它代表的是datetime64型对象。对NaN这个数值进行算数运算时，得到的结果还是NaN。
 
 
pandas的isnull()函数可以帮我们检查缺失的数据，使用方法如下。
 
 
 
  
 
 
 
 

 
 
类似地，可以用DataFrame的notnull()方法来考察非缺失数据：
 
 
 
  
 
 
 
 

 
 
通过fillna()方法，可以用一个标量（如0）来替换缺失数据，尽管有时可以用0替换缺失数据，但是事情并不总是如此
 
 
 
  
 
 
 
 
数据透视表
 
 
数据透视表可以从一个平面文件中指定的行和列中聚合数据，这种聚合操作可以是求和、求平均值、求标准差等运算
 
 
由于pandas API已经为我们提供了顶级pivot_table()函数以及相应的DataFrame方法，所以，只要设置好aggfunc参数，就可以让这个聚合函数来执行Numpy中诸如sum()之类的函数。参数cols用来告诉pandas要对哪些列进行聚合运算。
 
 
 
  
 
 
 

 

转载于:https://www.cnblogs.com/yifdu25/p/8411673.html

                

        

        




    

  


    

      

        

            

              
                
                  weixin_30415113
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
PANDAS缺失数据打卡练习1

				
			

			

				

					laozhujie的博客
				

				

					06-22
					
					1197
					
				

			

		

		

			
				
1 数据读取
由于我上没学，所以上下我是对照来学的，这里笔记注重于语句理解
import pandas as pd
import numpy as np
df = pd.read_csv('E:/data/table_missing.csv')
df.head(15)

read_csv：此句的意思是读取csv格式的表格，
pandas中的调用命令为
a = pd.read_csv('E:/文件名/文件名')

接下来就是pandas中的head命令
head：该命令代表的是显示读取文件中的内容，并且显示文

			
		

	



                

              
                



	

		

			

				
					
Pandas学习（四）Pandas处理丢失数据

				
			

			

				

					cwy的博客
				

				

					01-26
					
					262
					
				

			

		

		

			
				
[转载] (https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/3-4-pd-nan/)
创建含 NaN 的矩阵
有时候我们导入或处理数据, 会产生一些空的或者是 NaN 数据,如何删除或者是填补这些 NaN 数据就是我们今天所要提到的内容.
建立了一个6X4的矩阵数据并且把两个位置置为空.
dates = pd.date_...

			
		

	



                


  
              

                


	

		

			

				
					
pandas笔记-缺失数据

				
			

			

				

					zhangxiaolinxin的博客
				

				

					06-22
					
					264
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
【python】数据分析——Pandas、Series、DataFrame

				
			

			

				

					urge的博客
				

				

					09-25
					
					719
					
				

			

		

		

			
				
Pandas 是一个基于 NumPy 的 Python 数据处理库，提供了高效的数据结构和数据分析工具，使得在处理和分析结构化数据变得更加简单和快速。总之，Pandas 是一个功能强大且灵活的数据处理工具，它使得在 Python 中进行数据清洗、处理和分析变得更加容易和高效。它广泛应用于数据科学、机器学习、金融分析和其他数据相关的领域。

			
		

	



		

			
		



	

		

			

				
					
Python 数据分析 —— Pandas ①

				
			

			

				

					苍夜月明的博客
				

				

					06-04
					
					1564
					
				

			

		

		

			
				
  
Python Data Analysis Library 或 pandas 是基于 numpy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas 提供了大量能使我们快速便捷地处理数据的函数和方法。
  导入库：
  
  
    
Pandas 中有两种常用的基本结构：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构 list也很相近。Series能保存不同种数据类型，字

			
		

	





	

		

			

				
					
Python学习笔记——Pandas

				
			

			

				

					Waitind_的博客
				

				

					04-19
					
					703
					
				

			

		

		

			
				
join ：连接方式，可选值'inner'或者'outer' ,‘outer’ 表示连接两个 DataFrame 的外侧，保留所有原始索引。标签列表，例如 ['a','b','c'] ，返回 a,b,c行（DataFrame 类型）how='inner' #连接左右两个 DataFrame 的 index 中共同出现的行。标签切片，例如[ 'a':'c'] ，返回a行-c行（ DataFrame 类型）整数列表，如[[0,2]],返回的是第1行和第3行（DataFrame 类型）

			
		

	





	

		

			

				
					
python数据分析——pandas学习笔记

				
			

			

				

					图像处理、SLAM、PCL、OpenCV爱好者
				

				

					03-28
					
					1492
					
				

			

		

		

			
				
最近需要对Excel进行一些操作，Pandas无疑是一个很强大的一个工具，搞起来！！

文章目录Pandas简介安装使用生成数据选择部分数据输出设置Value去除 填充  判断Nan合并数据 concat融合数据merge绘出数据plot读取保存数据总结
Pandas简介
pandas是一个构建在Python编程语言之上快速、强大、灵活和易于使用的开源数据分析和操作工具。
pandas官网
pandas文档
安装
pip install pandas

使用
生成数据
（生成的数据data类似于excle.

			
		

	





	

		

			

				
					
Python数据分析个人笔记——Muse

				
			

			

				

					qq_44231732的博客
				

				

					03-16
					
					803
					
				

			

		

		

			
				
搭配Datawhale的数据分析课程的个人学习和总结笔记，希望大家共同学习，共同成长。

			
		

	





	

		

			

				
					
Python数据分析入门笔记2——pandas数据读取

				
			

			

				

					奥特曼打小白的专栏
				

				

					01-27
					
					7454
					
				

			

		

		

			
				
快速入门pandas，认识pandas三大结构Series、DataFrame和Panel中的前两种，知道读取文件，并且按行或者按列有选择性地查找数据。

			
		

	





	

		

			

				
					
Python笔记 —— pandas数据分析+seaborn可视化实例

				
			

			

				

					一纸春秋的博客
				

				

					12-14
					
					1699
					
				

			

		

		

			
				
现在有student.txt和score.txt数据文件，利用pandas求取每个班级的总分前三名的学生。然后将求取后的结果dataframe，利用seaborn完成数据可视化操作
首先导入pandas
import pandas as pd

然后利用pandas读取文件，将数据写入到dataframe里面
stuDF = pd.read_csv("./data/students.txt",names=['id','name','age','gender','clazz'])
scoreDF = pd.r

			
		

	





	

		

			

				
					
python如何提取数据中的年月_Python数据处理笔记——Pandas时间数据提取处理

				
			

			

				

					weixin_39600447的博客
				

				

					12-10
					
					3191
					
				

			

		

		

			
				
做数据分析时，对于有时间数据的数据来源，在时间维度上的剖析必不可少比如：在一天的销售时间内，哪些时间段是高峰是否与星期有关RFM模型中的R怎么快速计算距离天数如何找出某个时间点或时间段的数据以某订单数据为例查看时间列，包括日期和时间，从19年到20年，共约4万条数据，注意类型是datetime如果类型不是datetime，则后续无法处理时间数据！如下新建一列类型不是datetime的时间数据，在提...

			
		

	





	

		

			

				
					
Python数据分析——Pandas基础

				
			

			

				

					海是倒过来的天的博客
				

				

					11-16
					
					769
					
				

			

		

		

			
				
pandas基础
pandas介绍
Python Data Analysis Library
pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入 了大量库和一些标准的数据模型，提供了高效地操作大型结构化数据集所需的工具。
pandas核心数据结构
数据结构是计算机存储、组织数据的方式。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数...

			
		

	





	

		

			

				
					
python机器学习与数据分析实战笔记——pandas

				
			

			

				

					qq_44589327的博客
				

				

					05-02
					
					2008
					
				

			

		

		

			
				
Pandas库基础
底层实现是numpy实现的
1.1读取csv文件
import pandas as pd
food_info=pd.read_csv(r"F:\唐宇迪机器学习资料\机器学习\Python库代码（4个）\2-数据分析处理库pandas\food_info.csv")
print(type(food_info))
#print(food_info.dtypes)
#print(he...

			
		

	





	

		

			

				
					
Python3 解释器

					
最新发布

				
			

			

				

					Java_fenxiang的博客
				

				

					10-05
					
					363
					
				

			

		

		

			
				
Linux/Unix的系统上，一般默认的 python 版本为 2.x，我们可以将 python3.x 安装在/usr/local/python3目录中。安装完成后，我们可以将路径/usr/local/python3/bin添加到您的 Linux/Unix 操作系统的环境变量中，这样您就可以通过 shell 终端输...

			
		

	





	

		

			

				
					
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识

				
			

			

				

					haidizym的博客
				

				

					10-02
					
					509
					
				

			

		

		

			
				
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。

			
		

	





	

		

			

				
					
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍

				
			

			

				

					GIS潮流
				

				

					09-30
					
					1473
					
				

			

		

		

			
				
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。

			
		

	





	

		

			

				
					
Python | Leetcode Python题解之第448题找到所有数组中消失的数字

				
			

			

				

					Mopes__的博客
				

				

					10-01
					
					438
					
				

			

		

		

			
				
Python | Leetcode Python题解之第448题找到所有数组中消失的数字

			
		

	





	

		

			

				
					
Python编写的贪吃蛇小游戏

				
			

			

				

					WwLK123的博客
				

				

					10-03
					
					519
					
				

			

		

		

			
				
Python编写贪吃蛇小游戏。

			
		

	





	

		

			

				
					
python与数据挖掘上机实验pandas_Python与数据挖掘学习笔记（1）——Pandas模块

				
			

			

				

					06-09
				

			

		

		

			
				
这篇笔记主要介绍了Pandas模块的基本操作和使用方法。Pandas是Python中一个用于数据分析和处理的常用库，提供了高效的数据结构和数据分析工具，是进行数据处理和数据挖掘的重要工具之一。

一、Pandas数据结构

Pandas主要有两种数据结构：Series和DataFrame。

1. Series

Series是一种类似于一维数组的对象，由一组数据和一组与之相关的标签（即索引）组成。Series的创建方式如下：

```python
import pandas as pd

# 通过列表创建Series
s = pd.Series([1, 3, 5, np.nan, 6, 8])

# 通过字典创建Series
s = pd.Series({'a': 1, 'b': 2, 'c': 3})
```

2. DataFrame

DataFrame是一种二维表格数据结构，由一组数据和一组行索引和列索引组成。DataFrame的创建方式有很多种，最常用的是通过字典创建。例如：

```python
import pandas as pd

data = {'name': ['Tom', 'Jerry', 'Mike'], 'age': [18, 20, 22], 'gender': ['M', 'M', 'F']}
df = pd.DataFrame(data)
```

二、Pandas的基本操作

1. 数据读取

Pandas可以读取多种格式的数据文件，如CSV、Excel、SQL等。常用的读取CSV文件的方式如下：

```python
import pandas as pd

df = pd.read_csv('data.csv')
```

2. 数据预处理

数据预处理是数据挖掘中非常重要的一部分，Pandas提供了很多方便的函数和方法来进行数据清洗和转换。常用的数据预处理函数和方法有：

- 处理缺失值

```python
# 判断是否存在缺失值
df.isnull()
# 删除缺失值
df.dropna()
# 填充缺失值
df.fillna(value)
```

- 处理重复值

```python
# 删除重复值
df.drop_duplicates()
```

- 数据转换

```python
# 数据类型转换
df.astype()
# 数据替换
df.replace()
```

3. 数据分析

Pandas提供了各种数据分析和处理的方法和函数，常用的包括：

- 统计函数

```python
# 计算平均值
df.mean()
# 计算标准差
df.std()
# 计算最大值和最小值
df.max(), df.min()
```

- 排序

```python
# 按照某列排序
df.sort_values(by='column_name')
```

- 数据聚合

```python
# 对某列数据进行分组求和
df.groupby('column_name').sum()
```

以上是Pandas模块的基础内容，还有很多高级用法和技巧需要进一步学习和掌握。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值