数据分析基础之pands库

于 2023-06-03 21:07:06 发布
阅读量1.8k 收藏 21
点赞数 6
分类专栏： 数据分析 文章标签： 数据分析 python pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64997449/article/details/131025314
版权

一、pands库是什么

        Pandas是一个用于数据操作和数据分析的Python库。它提供了一种灵活且高效的数据结构DataFrame和Series，可以快速处理各种数据类型（如CSV、Excel、SQL数据库等），并能够进行数据清洗、数据筛选、数据统计、数据可视化等操作。Pandas库为数据科学家和数据分析师提供了一个强大而易于使用的工具集，可以帮助他们更快地进行数据探索和分析。

二、pands库在数据分析中有那些用途？

Pandas库是Python中用于数据分析的重要工具之一，主要用于处理和分析数据。以下是Pandas库在数据分析中的常见用途：

  1. 数据读取和写入：Pandas可以读取和写入各种数据格式，如CSV、Excel、SQL等。

  2. 数据清洗和预处理：Pandas可以处理数据中的缺失值、重复值、异常值等，并进行数据类型转换、数据重塑等预处理操作。

  3. 数据分组和聚合：Pandas可以通过分组和聚合操作对数据进行统计分析。

  4. 数据可视化：Pandas可以使用Matplotlib等可视化工具绘制各种图表，如折线图、散点图、柱状图等。

  5. 时间序列分析：Pandas可以处理时间序列数据，并进行时间序列分析、滑动窗口分析等操作。

  6. 数据合并和拆分：Pandas可以合并多个数据集，并进行数据拆分、数据透视等操作，以便进行更深入的数据分析。

总之，Pandas库是Python中非常强大的数据分析工具，可以帮助数据分析师处理和分析各种数据，提高数据分析的效率和准确性。

三、pands库常用操作

1.数据的读写

以下是几个常见数据格式的读取和写入示例，包括CSV、Excel、SQL等。

(1)操作CSV数据：

CSV数据：

id,name,age
1,John,25
2,Mary,30
3,David,28

读取csv 

import pandas as pd

# 读取CSV数据
data = pd.read_csv('data.csv')

# 查看数据
print(data)

 输出结果：

   id   name  age
0   1   John   25
1   2   Mary   30
2   3  David   28

写入csv数据

import pandas as pd

# 数据
data = {'id': [1, 2, 3], 'name': ['John', 'Mary', 'David'], 'age': [25, 30, 28]}

# 转换为DataFrame
df = pd.DataFrame(data)

# 写入CSV文件
df.to_csv('data.csv', index=False)

# 查看数据
print(df)

输出结果：

   id   name  age
0   1   John   25
1   2   Mary   30
2   3  David   28

（2）操作Excel

Excel数据：

Sheet1:
id	name	age
1	John	25
2	Mary	30
3	David	28

读取Excel数据：

import pandas as pd

# 读取Excel数据
data = pd.read_excel('data.xlsx')

# 查看数据
print(data)

输出结果：

   id   name  age
0   1   John   25
1   2   Mary   30
2   3  David   28

写入Excel数据：

import pandas as pd

# 数据
data = {'id': [1, 2, 3], 'name': ['John', 'Mary', 'David'], 'age': [25, 30, 28]}

# 转换为DataFrame
df = pd.DataFrame(data)

# 写入Excel文件
df.to_excel('data.xlsx', index=False)

# 查看数据
print(df)

输出结果：

   id   name  age
0   1   John   25
1   2   Mary   30
2   3  David   28

（3）操作SQL 

SQLite数据库中的数据：

Table: users
id	name	age
1	John	25
2	Mary	30
3	David	28

读取SQLite数据：

import pandas as pd
import sqlite3

# 连接数据库
conn = sqlite3.connect('data.db')

# 读取数据
data = pd.read_sql_query('SELECT * FROM users', conn)

# 关闭连接
conn.close()

# 查看数据
print(data)

输出结果：

   id   name  age
0   1   John   25
1   2   Mary   30
2   3  David   28

写入SQLite数据：

import pandas as pd
import sqlite3

# 数据
data = {'id': [1, 2, 3], 'name': ['John', 'Mary', 'David'], 'age': [25, 30, 28]}

# 转换为DataFrame
df = pd.DataFrame(data)

# 连接数据库
conn = sqlite3.connect('data.db')

# 写入数据
df.to_sql('users', conn, if_exists='replace', index=False)

# 关闭连接
conn.close()

# 查看数据
print(df)

输出结果：

   id   name  age
0   1   John   25
1   2   Mary   30
2   3  David   28

2.数据清洗和预处理

以下是几个数据清洗和预处理的经典案例，包括处理缺失值、重复值、异常值等。假设我们有以下数据：

id,name,age,gender
1,John,25,Male
2,Mary,,Female
3,David,28,Male
4,Anna,32,
5,John,25,Male

(1)处理缺失值：

import pandas as pd
import numpy as np

# 读取数据
data = pd.read_csv('data.csv')

# 查看缺失值
print(data.isnull())

# 填充缺失值
data['age'].fillna(data['age'].mean(), inplace=True)
data['gender'].fillna('Unknown', inplace=True)

# 查看数据
print(data)

输出结果：

      id   name    age  gender
0  False  False  False   False
1  False  False   True   False
2  False  False  False   False
3  False  False  False    True
4  False  False  False   False
   id   name   age   gender
0   1   John  25.0     Male
1   2   Mary  26.0   Female
2   3  David  28.0     Male
3   4   Anna  32.0  Unknown
4   5   John  25.0     Male

(2)处理重复值：

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 查看重复值
print(data.duplicated())

# 删除重复值
data.drop_duplicates(inplace=True)

# 查看数据
print(data)

输出结果：

0    False
1    False
2    False
3    False
4     True
dtype: bool
   id   name   age  gender
0   1   John  25.0    Male
1   2   Mary   NaN  Female
2   3  David  28.0    Male
3   4   Anna  32.0     NaN

(3)处理异常值：

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 查看异常值
print(data[(data['age'] < 0) | (data['age'] > 100)])

# 删除异常值
data = data[(data['age'] >= 0) & (data['age'] <= 100)]

# 查看数据
print(data)

输出结果：

Empty DataFrame
Columns: [id, name, age, gender]
Index: []
   id   name  age  gender
0   1   John   25    Male
1   2   Mary   30  Female
2   3  David   28    Male
3   4   Anna   32     NaN
4   5   John   25    Male
  1. 数据类型转换：
import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 转换数据类型
data['age'] = pd.to_numeric(data['age'], errors='coerce')

# 查看数据类型
print(data.dtypes)

# 查看数据
print(data)

输出结果：

id         int64
name      object
age      float64
gender    object
dtype: object
   id   name   age  gender
0   1   John  25.0    Male
1   2   Mary   NaN  Female
2   3  David  28.0    Male
3   4   Anna  32.0     NaN
4   5   John  25.0    Male

3.数据分组和聚合 

以下是几个数据分组和聚合的经典案例，包括按照某一列分组计算平均值、总和、个数等。假设我们有以下数据：

id,name,age,salary
1,John,25,5000
2,Mary,30,6000
3,David,28,5500
4,Anna,32,7000
5,John,25,5500

（1）按照某一列分组计算平均值：

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 按照age列分组计算平均值
result = data.groupby('age')['salary'].mean()

# 查看结果
print(result)

输出结果：

age
25    5250.000000
28    5500.000000
30    6000.000000
32    7000.000000
Name: salary, dtype: float64

（2）按照某一列分组计算总和：

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 按照age列分组计算总和
result = data.groupby('age')['salary'].sum()

# 查看结果
print(result)

输出结果：

age
25    10500
28     5500
30     6000
32     7000
Name: salary, dtype: int64

（3）按照某一列分组计算个数：

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 按照age列分组计算个数
result = data.groupby('age')['salary'].count()

# 查看结果
print(result)

输出结果：

age
25    2
28    1
30    1
32    1
Name: salary, dtype: int64

（4）按照多列分组计算平均值：

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 按照age和name列分组计算平均值
result = data.groupby(['age', 'name'])['salary'].mean()

# 查看结果
print(result)

输出结果：

age  name 
25   John     5250
     Mary     6000
28   David    5500
32   Anna     7000
Name: salary, dtype: int64
Mount〆
关注
  • 6
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pands中的日期和时间操作
庐州月光的博客
07-10 1197
欢迎关注”生信修炼手册”!pandas中提供了以下4种类型的日期和时间操作方法其中，Date Time用于表示某个具体的时间点，Time spans用于生成时间间隔相同的时间序列；Tim...
python入门11：Pandas库，Series类型，DataFrame类型，Pandas数据类型操作，以及Pandas算术运算
最新发布
weixin_46080995的博客
01-31 845
python入门11：Pandas库，Series类型，DataFrame类型，Pandas数据类型操作，以及Pandas算术运算
Pandas：强大的Python数据分析工具包
qq_40985985的博客
10-30 3666
pandas是一个Python包，提供快速，灵活和富有表现力的数据结构，旨在既简单又直观的处理“关系”或“标记”数据。它旨在成为在Python中进行实际，真实世界数据分析的基本高级构建块。 pandas是一个开源的，BSD许可的库，为Python编程语言提供高性能，易于使用的数据结构和数据分析工具。
[pandas] 详解pandas库的pd.merge函数
ande6905的博客
05-16 1017
本篇详细说明merge的应用，join 和concatenate的拼接方法的与之相似。 pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixe...
数据分析之利刃之Pandas（一）
静幽水
08-05 727
数据分析之利刃之Pandas
pandas库的使用场景
kk_cola的博客
03-21 957
Pandas的常用数据结构是Series和DataFrame，它们可以用来处理多种类型的数据，包括时间序列数据和结构化数据等等，Pandas还提供了各种功能来方便处理数据，在数据清洗、数据切片/切块、数据聚合、数据分组、数据排序等方面提供便利。2. 数据探索性分析：Pandas可以用于数据的探索性分析，它可以给出数据的一些基本统计信息，如平均数、中位数、标准差、最大值、最小值等等。它支持缺失值的处理、数据类型的转换、重复数据的删除、不一致数据的纠正等。
《Python数据分析与应用案例教程》教案-第6课-Pands库(一).docx
06-13
《Python数据分析与应用案例教程》教案---第6课--Pands库(一) 《Python数据分析与应用案例教程》教案---第6课--Pands库(一)全文共9页，当前为第1页。《Python数据分析与应用案例教程》教案---第6课--Pands库(一)全文...
python数据分析之Pandas数据结构和操作
02-24
比如，学生成绩分析，股票数据分析等4、提供数据清洗功能Pands数据结构，主要分为两种，Series和DataFrame1、类似一维数组的对象2、通过list构建Seriesser_obj=pd.Series(rang(10))3、由数据和索引组成索引在左，...
python 数据分析–数据处理工具Pandas（1）
12-21
Pands模块可以帮助数据分析师轻松地解决数据的预处理问题，如数据类型的转换、缺失值的处理、描述性统计分析、数据的汇总等。Pandas模块的核心操作对象就是序列（Series）和数据框（DataFrame）。序列可以理解为数据...
PANDS_Project_2021:Fisher虹膜数据集分析存储库
04-06
PANDS项目2021 Fisher虹膜数据集分析存储库
Pandas介绍
m0_62703957的博客
12-01 3697
Pandas 库是一个免费、开源的第三方 Python 库，是 Python 数据分析必不可少的工具之一，它为 Python 数据分析提供了高性能，且易于使用的数据结构，即 Series 和 DataFrame。在 Pandas 没有出现之前，Python 在数据分析任务中主要承担着数据采集和数据预处理的工作，但是这对数据分析的支持十分有限，并不能突出 Python 简单、易上手的特点。为了降低初学者的学习门槛，我们的教程尽量采用通俗易懂、深入浅出的语言风格，相信通过对本套教程的学习，您一定会收获颇丰。
Pandas的功能介绍
weixin_38094100的博客
04-05 6215
文章目录一、Pandas是什么？二、Pandas的起源?三、pandas的安装？四、pandas读取 csv文件 一、Pandas是什么？ 1.Pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 2.Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。 3.Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。我们很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。 二、Pandas的起源? Pandas在20
Pandas教程（非常详细）
热门推荐
qq_41854911的博客
01-26 10万+
文章目录教程特点阅读条件Pandas是什么Pandas主要特点Pandas主要优势Pandas内置数据结构Pandas库下载和安装Windows系统安装Linux系统安装1) Ubuntu用户2) Fedora用户MacOSX系统安装Pandas Series入门教程创建Series对象1) 创建一个空Series对象2) ndarray创建Series对象3) dict创建Series对象4) 标量创建Series对象访问Series数据1) 位置索引访问2) 索引标签访问Series常用属性1) axe
【Python】Pandas的基本功能及使用人群
奥利文儿的博客
07-17 1198
Pandas对数据的处理是为数据分析服务的，它所提供的各种数据处理方法、工具是基于数理统计学的，包含了日常应用中的众多数据分析方法。我们学习它不仅要掌控它的相应技术，还要从它的数据处理思路中学习数据分析的理论和方法。特别地，如果你想要成为数据分析师、数据产品经理、数据开发工程师等与数据相关的工作者，学习Pandas能让你深入数据理论和实践，更好地理解和应用数据。...
python中pandas库的作用_python之pandas库详解
weixin_39835158的博客
01-14 5322
pandas 是一个 Python Data Analysis Library.在使用前 import pandas as pd一.创建对象(产生数据)pandas 中有三种基本结构：Series：1D labeled homogeneously-typed arrayDataFrame：General 2D labeled, size-mutable tabular structure with...
python获取对象唯一索引的函数_Python数据分析之Pandas库（笔记）
weixin_39801356的博客
12-15 428
Pandas数据结构pandas有两个基本的数据结构：Series和DataFrame。1.1 创建Series数据需要引入pandas模块：import pandas as pd需要引入Series和DataFrame： from pandas import Series,DataFrameSeries数据：索引在左，值在右Series有values和index属性，可返还值数据的数据形式和索...
pandas是一个基于什么的python库_Pandas库的介绍
weixin_39996750的博客
11-30 3048
Pandas库的引用Pandas是python第三方库，提供高性能易用数据类型和分析工具import pandas as pdPandas基于Numpy实现，常与Numpy和Matplotlib一同使用Pandas库的理解两个数据类型：Series，DataFrame基于上述数据类型的各类操作(基本操作、运算操作、特征类操作、关联类操作)Pandas库的Series类型Series类型可以由如下类...
Python - pandas库的使用
seek0226的博客
08-23 494
Python - pandas库的使用pandas简介关于关于关于 pandas简介 关于 关于 关于
Pandas处理文件基础excel
m0_63181360的博客
06-13 928
Pandas处理文件基础excel
pands将数据、等分
06-13
Pandas是一个Python库，主要用于数据处理和数据分析。在Pandas中，可以使用`cut()`函数将数据分成不同的区间。`cut()`函数将会返回一个Categorical对象，其中每个元素的值表示其所属的区间。 下面是一个简单的例子，将数值按照一定的区间进行划分： ```python import pandas as pd import numpy as np # 创建一个包含10个随机数的序列 data = pd.Series(np.random.randn(10)) # 将数据分成3个区间 bins = pd.cut(data, 3) # 输出每个元素所属的区间 print(bins) ``` 输出： ``` 0 (-0.191, 0.546] 1 (-0.191, 0.546] 2 (-0.191, 0.546] 3 (-0.191, 0.546] 4 (-1.93, -1.165] 5 (-1.165, -0.191] 6 (-0.191, 0.546] 7 (-1.165, -0.191] 8 (-0.191, 0.546] 9 (-0.191, 0.546] dtype: category Categories (3, interval[float64]): [(-1.93, -1.165] < (-1.165, -0.191] < (-0.191, 0.546]] ``` 可以看到，`cut()`函数将数据分成了3个区间，并且返回了一个Categorical对象，其中每个元素的值表示其所属的区间。 另外，如果需要将数据分成相等的区间，可以使用`qcut()`函数，其使用方式与`cut()`函数类似。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值