9 Pandas之DateFrame&数据可视化

于 2024-08-11 11:10:02 发布
阅读量1k 收藏 11
点赞数 31
分类专栏： PythonAI # Python科学计算和可视化 文章标签： pandas 信息可视化 python dataframe pandas绘图
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ta683280/article/details/141102869
版权

 欢迎来到@一夜看尽长安花 博客，您的点赞和收藏是我持续发文的动力

对于文章中出现的任何错误请大家批评指出，一定及时修改。有任何想要讨论的问题可联系我：3329759426@qq.com 。发布文章的风格因专栏而异，均自成体系，不足之处请大家指正。

    专栏：

文章概述：对 Pandas之DateFrame&数据可视化的介绍

关键词：Pandas之DateFrame&数据可视化

本文目录：

DataFrames

Pandas之DataFrame取值和切片

indexing, selecting, slicing

conditional selection (boolean arrays)

丢弃数据

操作 广播机制

DataFrame操作之添加列、修改行列名称、inplace参数

renaming columns

DataFrame操作之添加行、根据已有列创建新的列、设置某列为索引、head、tail、describe

添加

通过其它列创建新的列

查看头部和尾部信息

统计信息

Pandas读取本地CSV文件

reading external data

添加自己的columns

Pandas数据可视化

pandas 绘图

调节画布大小

行列限定绘制内容并添加标题

绘制其他图形

DataFrame按值或按索引排序、apply函数

sorting and functions

DataFrame数据框merge整合、dropna与fillna函数

join、merge

处理缺失值

DataFrames

import numpy as np
import pandas as pd

df = pd.DataFrame({
  'Population': [35.467, 63.951, 80.940, 60.665, 127.061, 64.511, 318.523],
  'GDP': [
    1785387,
    2833687,
    3874437,
    2167744,
    4602367,
    2950039,
    17348075
   ],
  'Surface Area': [
    9984670,
    640679,
    357114,
    301336,
    377930,
    242495,
    9525067
   ],
  'HDI': [
    0.913,
    0.888,
    0.916,
    0.873,
    0.891,
    0.907,
    0.915
   ],
  'Continent': [
    'America',
    'Europe',
    'Europe',
    'Europe',
    'Asia',
    'Europe',
    'America'
   ]
}, columns=['Population', 'GDP', 'Surface Area', 'HDI', 'Continent'])


print(df) # 有行有列，像table表一样的，dataframe的每一列就是一个series，也就是说我们可以把dataframe看成是一系列series的组合




# 我们可以像之前一样去给上index
df.index = [
  'canada',
  'France',
  'Germany',
  'Italy',
  'Japan',
  'United Kingdom',
  'United States'
]

print("-----------------------------------------------------------------------------------------")
print(df)
print("-----------------------------------------------------------------------------------------")
print(df.columns)
print("-----------------------------------------------------------------------------------------")
print(df.index)
print("-----------------------------------------------------------------------------------------")
print(df.info()) # 会告诉我们每列的数据类型，还会告诉我们有没有空值，有助于我们去做数据清洗data clean
print("-----------------------------------------------------------------------------------------")
print(df.size)
print("-----------------------------------------------------------------------------------------")
print(df.shape)
print("-----------------------------------------------------------------------------------------")
print(df.describe()) # 给出可以统计的列的统计值
print("-----------------------------------------------------------------------------------------")
print(df.dtypes) #查看每一columns的数据类型
print("-----------------------------------------------------------------------------------------")
print(df.dtypes.value_counts())

Pandas之DataFrame取值和切片

indexing, selecting, slicing

print(df)
print(df.loc['canada']) # 选择整行
print(df.iloc[-1]) # 选择最后一整行
print(df['Population']) # 选择整列
# 但是不管选择一行一列，返回给我们的都是series
print(df['Population'].to_frame())#又将一维数组series转换成了表格
#multiple indexing
print(df[['Population', 'GDP']])
print(df[1:3])
print(df.loc['Italy'])
print(df.loc['France': 'Italy'])
print("---------------------------------------------------------")
#通常使用 loc和iloc
#行和列
# 同时操作两个维度
print(df.loc['France':'Italy', 'Population'])
print(df.loc['France':'Italy', ['Population','GDP']])

# 对于iloc也是一样
print(df)
print(df.iloc[0])
print(df.iloc[-1])

print(df.iloc[[0, 1, -1]])
print(df.iloc[1:3])
print(df.iloc[1:3, 3])
print(df.iloc[1:3, [0,3]])
print(df.iloc[1:3, 1:3])

DataFrame操作之布尔取值、丢弃数据、广播机制

conditional selection (boolean arrays)

DataFrame操作之布尔取值、丢弃数据、广播机制print(df)
 print(df['Population']>70)
 print(df.loc[df['Population']>70])
 print(df.loc[df['Population']>70, 
'Population'])
 print(df.loc[df['Population']>70, 
['Population', 'GDP']])

丢弃数据

 print(df)
 print(df.drop('canada')) #丢弃行
 print(df.drop(['canada', 'Japan'])) #丢弃两行
 print(df.drop(columns=['Population', 'HDI'])) #丢弃列
 print(df.drop(['Italy', 'canada'], axis=0))  #丢弃行，更清楚的写法
 print(df.drop(['Population', 'HDI'], axis=1)) #丢弃列
 print(df.drop(['Italy', 'canada'], 
axis='rows')) #丢弃行
 print(df.drop(['Population', 'HDI'], 
axis='columns')) #丢弃列'

# 可以永久删除某一个行
df.drop('China', inplace=True)
print(df)

操作 广播机制

 print(df)
 print(df[['Population', 'GDP']])
 print(df[['Population', 'GDP']] / 100)
 print("-----------------------------------------")
 # 广播机制
crisis = pd.Series([-1_000_000, -0.3], index=['GDP', 'HDI'])
print(crisis)
print(df[['GDP','HDI']] + crisis)
print(df)

修改dataframe，之前的操作统统都会返回一个新的dataframe

DataFrame操作之添加列、修改行列名称、inplace参数

添加列

# 添加新的一列
langs = pd.Series(['French', 'German', 'Italian'],index=['France', 'Germany', 'Italy'],name='Language')
df['Language']=langs#列创建
print(df) # 虽然language只有几种但是没有关系，NaN意味着空
df['Language']='English' # 将改变这一列所有
print(df)

renaming columns

print(df)
print("-----------------------------------------")
print(df.rename(columns={'HDI':'Human Development Index' ,'Anual Popcorn Consumption': 'APC'}, 
index={'United States': 'USA','United Kingdom': 'UK','Argentina': 'AR'}))
print("-----------------------------------------")
print(df)  # 不存在的就改不了，而且是返回新的dataframe，之前的dataframe并没有变
print("-----------------------------------------")
print(df.rename(index=str.upper))
print("----------------------------------------

DataFrame操作之添加行、根据已有列创建新的列、设置某列为索引、head、tail、describe

添加

# 添加值,会返回一个新的DataFrame
print(df._append(pd.Series({
    'Population':3,
    'GDP':5
}, name='China')))
print(df)
print("-----------------------------------------------")
# 可以直接设置新的index和values
df.loc['China'] = pd.Series({'Population':
  1_400_000_000, 'Continent':'Asia'})
print(df)

Population GDP Surface Area HDI Continent

0 35.467 1785387 9984670.0 0.913 America

1 63.951 2833687 640679.0 0.888 Europe

2 80.940 3874437 357114.0 0.916 Europe

3 60.665 2167744 301336.0 0.873 Europe

4 127.061 4602367 377930.0 0.891 Asia

5 64.511 2950039 242495.0 0.907 Europe

6 318.523 17348075 9525067.0 0.915 America

China 3.000 5 NaN NaN NaN

Population GDP Surface Area HDI Continent

0 35.467 1785387 9984670 0.913 America

1 63.951 2833687 640679 0.888 Europe

2 80.940 3874437 357114 0.916 Europe

3 60.665 2167744 301336 0.873 Europe

4 127.061 4602367 377930 0.891 Asia

5 64.511 2950039 242495 0.907 Europe

6 318.523 17348075 9525067 0.915 America

-----------------------------------------------

Population GDP Surface Area HDI Continent

0 3.546700e+01 1785387.0 9984670.0 0.913 America

1 6.395100e+01 2833687.0 640679.0 0.888 Europe

2 8.094000e+01 3874437.0 357114.0 0.916 Europe

3 6.066500e+01 2167744.0 301336.0 0.873 Europe

4 1.270610e+02 4602367.0 377930.0 0.891 Asia

5 6.451100e+01 2950039.0 242495.0 0.907 Europe

6 3.185230e+02 17348075.0 9525067.0 0.915 America

China 1.400000e+09 NaN NaN NaN Asia

在 Pandas 中，reset_index 和 set_index 方法都返回新的 DataFrame，原始 DataFrame 不会被修改，除非使用 inplace=True 参数。要彻底改变 DataFrame 的索引，需要将这两个方法的结果保存到一个新的 DataFrame 变量中，或者使用 inplace=True 直接在原始 DataFrame 上进行修改。

以下是如何使用这两个方法并打印结果的示例：

import pandas as pd

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'Population': [1, 2, 3],
    'GDP': [1000, 2000, 3000]
}, index=['A', 'B', 'C'])

print("原始 DataFrame:")
print(df)

# 使用 reset_index 恢复原始索引，并创建新的 DataFrame
df_reset = df.reset_index()
print("\n使用 reset_index 后的 DataFrame:")
print(df_reset)

# 使用 set_index 更改索引，并创建新的 DataFrame
df_set_index = df_reset.set_index('Population')
print("\n使用 set_index 后的 DataFrame:")
print(df_set_index)

在这个示例中：

df_reset 是将索引重置后的 DataFrame，其中原来的索引被恢复为默认的整数索引。

df_set_index 是将 'Population' 列设置为新的索引后的 DataFrame。

如果想直接在原始 DataFrame 上进行修改，可以这样做：

df.reset_index(inplace=True)
df.set_index('Population', inplace=True)
#这将直接在 df 上应用修改，而不需要创建新的 DataFrame。

通过其它列创建新的列

print(df)
print(df[['Population', 'GDP']])
print(df['GDP']/df['Population'])
print("-----------------------------------------")
#用等号赋值，进行了真正的改变
df['GDP Per capita'] = df['GDP'] / df['Population']

print(df)

查看头部和尾部信息

print(df.head(n=3))
print(df.tail(n=10))

统计信息

print(df)
print(df.describe())

population = df['Population']
population.min()
population.max()
population.mean()
population.std()#标准差
population.median()#中位数
population.describe()
population.quantile(.25)#
population.quantile([.2, .4, .6, .8, 1])

Pandas读取本地CSV文件

reading external data

 import numpy as np
 import pandas as pd
 df = pd.read_csv('BTC-Daily.csv')
 print(df.head())

通过结果分析可得，它默认把0301的一行当成了column

这是不对的，我对它进行优化

  • header=None：表示数据文件的第一行不包含列名。Pandas 将不会将第一行数据视为列名，而是将其视为数据的一部分。
  • 默认行为：如果不指定 header 参数，Pandas 会默认将文件的第一行作为列名。这适用于文件中的第一行包含列标签的情况。
 import numpy as np
 import pandas as pd
 df = pd.read_csv('BTC-Daily.csv'，header=None)
 print(df.head())

添加自己的columns

df.columns=['unix','date','symbol','open','high','low','close','Volumn BTC','Volumn USD']
print(df.head())

# 日期格式是object，而不是日期类型
df.columns = ['Timestamp', 'Price']
print(df.head())
print(df.shape)

df.info() #datetime 是object  相当于字符串 ，不需要print打印

#pandas中有自己的日期类型，我们将他转化一下(也可以创建一个新的column添加)
df['date']=pd.to_datetime(df['date']).head()
print(df.head())
print("--------------------------------------")
df.info()


df.info()

# 将 datetime 对象转换回字符串格式
df['date_str'] = df['date'].dt.strftime('%Y-%m-%d %H:%M:%S')

# 打印转换后的字符串格式
print("\nString format:")
print(df['date_str'].head())

#重新添加一项新的column
df['Timestamp']=pd.to_datetime(df['date_str'])
print(df.head())
print(df.dtypes)
df.set_index('Timestamp', inplace=True)
print(df.head())
# 这样去做的好处是可以方便进行查询数据

print(df.loc['2022-02-28'])

# 有更好的方式一行搞定上面的代码
df = pd.read_csv(
  'BTC-Daily.csv',
  header=None,
  names=['unix','date','symbol','open','high','low','close','Volumn BTC','Volumn USD'],
  parse_dates=True ,#自动将date转换成datetime的形式
  index_col=1 # 第二列（date）作为index
)
print(df.head())

Pandas数据可视化

pandas 绘图

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

# 有更好的方式一行搞定上面的代码
df = pd.read_csv(
  'BTC-Daily.csv',
  header=None,
  names=['unix','date','symbol','open','high','low','close','Volumn BTC','Volumn USD'],
  parse_dates=True ,#自动将date转换成datetime的形式
  index_col=1 # 第二列（date）作为index
)
print(df.head())
#指定绘制的线
df[['open','high','low','close']].plot()
plt.show()

调节画布大小

df[['open','high','low','close']].plot(figsize=(12,6))  #调节画布大小

行列限定绘制内容并添加标题

#df.index.is_monotonic_increasing 用于检查索引是否按升序排列
if not df.index.is_monotonic_increasing:
    df = df.sort_index()

df.loc['2019-01-01':'2022-12-31',['open','high','low','close']].plot(figsize=(12,6),
  title='BitCoin Price 2019-2022')

绘制其他图形

df.plot.hist()  #频次直方图
df.plot.pie()	#饼图
df.plot.bar()	#柱状图
df.plot.barh()	#横向的柱状图

DataFrame按值或按索引排序、apply函数

sorting and functions

import pandas as pd
import numpy as np
# 有更好的方式一行搞定上面的代码
df = pd.read_csv(
  'BTC-Daily.csv',
  header=None,
  names=['unix','date','symbol','open','high','low','close','Volumn BTC','Volumn USD'],
  parse_dates=True ,#自动将date转换成datetime的形式
  index_col=1 # 第二列（date）作为index
)


#指定计算的值
print(df[['open','high','low','close']].apply(np.sqrt))
print("--------------------------------------------------------")
print(df[['open','high','low','close']].apply(np.sum,axis=0))
print("--------------------------------------------------------")
print(df[['open','high','low','close']].apply(lambda x:x/10))
print("--------------------------------------------------------")
#sort
df.sort_index(inplace=True)
print(df)
print("--------------------------------------------------------")
df.sort_values(by=['open','close'])

DataFrame数据框merge整合、dropna与fillna函数

join、merge

import pandas as pd

names = {
  'SSN': [ 2,5,7,8],
  'Name': ['Anna','Bob','John','Mike']
}
df1 = pd.DataFrame(names)

ages = {
'SSN': [1,2,3,4],
'Age': [28, 34, 45, 62]
}

df2 = pd.DataFrame(ages)
df = pd.merge(df1, df2, on='SSN', how='outer')  # 默认是交集 left (第一个参数的全部保留)right
df.set_index('SSN', inplace=True)
print(df)

处理缺失值

 import numpy as np
 import pandas as pd
 
 #isna
print(df.isna()) #NaN的地方显示为True

#dropna
print(df.dropna())  #有NaN的一行就直接删掉
print(df.dropna(axis='columns'))  #有NaN的一栏就直接删掉
print(df.dropna(how='all')) #默认相当于是any

#fill
print(df.fillna(-999)) #将有NaN的地方默认填充为-999

@一夜看尽长安花
关注
专栏目录
plotly可视化表格数据：以表格可视化pandas dataframe
data+scenario+science+insight
08-10 924
plotly可视化表格数据：以表格可视化pandas dataframe # plotly可视化dataframe中的表格数据； import plotly as py from plotly.tools import FigureFactory as FF import pandas as pd # ----------pre def pyplt = py.offline.plot df = pd.read_csv(r'day01.csv',index_col=[0]) df_s.
2024年Python最新Python数据可视化：25年GDP之变_基于d3
最新发布
2401_84584338的博客
05-01 394
④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）最后我利用大佬造的轮子，成功实现了25年间各省市GDP数据的可视化。用到的Python知识并不多，只是利用Python对数据进行规整。最多的应该是用大佬造的轮子，基于D3.js的数据可视化项目。附上相关链接，其实里面还有好多其他的数据，非常适合拿去练手。附上大佬的GitHub地址，有兴趣的小伙伴可以自行去围观。于是乎，你不就对各省市的GDP了解的一清二楚。本次的GDP数据如下，为各地区生产总值。
DataFrame可视化
xiaokeaiuiya的博客
09-25 1225
柱状图 df.plot.scatter(x = 'against_bug',y = 'against_dark',c = 'against_electric') # 最多展示三个变量之间的关系 df['against_bug'].value_counts()[:4].plot.bar() # 柱状图，value_counts()[:4]写入的是某一列中的数据数值，在截至数值上必须有数据，否则会报错 grouped = df.groupby('against_bug') gs = grouped.si
dataframe实例可视化
qq_32752467的博客
09-08 633
drinks = pd.read_csv('drinks.csv', keep_default_na = False) # keep_default_na = True ：将缺失值转换成NAN,False:是什么就读进来什么 drinks.info # 每列的具体信息 alcohol = pd.groupby(by = 'continent').sum()['total_values_of_pure_alcohol'] # 得到一个series plt.bar(alcohol.index, alcoho.
【Python数据处理篇——DataFrame数据可视化】饼图、散点图、折线图、柱形图、直方图
Yedge的博客
10-29 10000
初步了解绘制DataFrame的数据可视，绘制饼图、散点图、折线图、柱形图、直方图
Pandas教程09：DataFrame数据可视化绘制折线图、柱状图、散点图、直方图等
我的Python教程
12-07 4908
pandas.plot() 是 pandas 库中的一个非常方便的函数，用于绘制各种图形，例如线图、柱状图、散点图等。----------★★历史博文集合★★----------
Python 借助DataFrame的pivot进行数据的可视化
12-21
借助DataFrame的pivot函数进行数据的可视化 这是数据 1.把数据读取成DataFrame格式 import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('score(1).csv',header=None) data_original = {'algorithm':df.iloc[1:,1].values,'target':df.iloc[1:,2].values,'number':df.iloc[1:,3].values} data_original = pd.DataFrame(data_orig
pandas 时间日期 数据可视化
m0_49180275的博客
07-17 1093
时间日期 时间戳 tiimestamp：固定的时刻 -> pd.Timestamp 固定时期 period：比如 2016年3月份，再如2015年销售额 -> pd.Period 时间间隔 interval：由起始时间和结束时间来表示，固定时期是时间间隔的一个特殊 时间日期在 Pandas 里的作用： 1.分析金融数据，如股票交易数据 2.分析服务器日志 Python datetime python 标准库里提供了时间日期的处理。这个是时间日期的基础。 时间差 字符串和 datetime 转
pandas——时间日期及数据可视化
yujie12345678的博客
08-07 1935
时间日期 时间戳 tiimestamp：固定的时刻 -> pd.Timestamp 固定时期 period：比如 2016年3月份，再如2015年销售额 -> pd.Period 时间间隔 interval：由起始时间和结束时间来表示，固定时期是时间间隔的一个特殊 时间日期在 Pandas 里的作用 分析金融数据，如股票交易数据 分析服务器日志 复习Python的datetime模块 python 标准库里提供了时间日期的处理。这个是时间日期的基础。 from datetime impo
Pandas统计分析基础（6）：基于groupby的数据分组和分组后的数据可视化&数据聚合方法（agg/apply/transform方法）
Xlong的博客
03-23 5669
Pandas统计分析基础（6）：基于groupby的数据分组和分组后的数据可视化&数据聚合方法（agg/apply/transform方法）
matplotlib柱状图上方显示数据_pandas和seaborn数据可视化入门
weixin_39650139的博客
11-20 1703
我们前面介绍了matplotlib，matplotlib实际上是一种相对底层的工具。要绘制一张图表，你要对一些基本组件进行组装：数据展示(即图表类型：线型图、柱状图、盒形图、散布图、等值线图等)、 图例、标题、刻度标签以及其他注解信息。Seaborn 是基于 Python 且非常受欢迎的图形可视化库，在 Matplotlib 的基础上，进行了更高级的封装，使得作图更加方便快捷。在介绍seaborn...
Vaex——一个开源的DataFrame库，它可以对表格数据集进行可视化、探索、分析，甚至机器学习
12-14
**Vaex是一个开源的DataFrame库**，它可以对表格数据集进行**可视化、探索、分析，甚至机器学习**，这些数据集和你的硬盘驱动器一样大。**它可以在一个n维网格上每秒计算超过10亿（10^9）个对象的平均值、和、计数、标准差等统计信息**。可视化使用直方图、使用直方图、密度图和3D立体渲染进行可视化。为此，**Vaex采用了内存映射、高效的外核算法和延迟计算等概念来获得最佳性能（不浪费内存）**。 本文是上述介绍的.md笔记档，为一个刚好超出RAM范围（如50GB甚至500GB的数据集）的数据集做分析，又不能破费成本的设置一个集群， Vaex作为一个开源的DataFrame库，带来了解决方案！例子是使用纽约市出租车的数据集。
（二）爬取新房销售信息——数据分析+可视化篇
weixin_43240870的博客
03-17 2045
pandas & matplotlib 用于数据分析和可视化 上一个任务通过requests、BeautifulSoup4两个功能强大、用法简洁的函数库已经获取到了楼盘名、地址和价格这些新房信息，并且保存为csv格式文件，csv文件可以用excel打开并进行编辑。 当然爬取数据只是第一步，“白嫖”网站辛苦整理的数据毕竟不太合适，所以这些数据如何产生价值呢？ 设置一个场景： 当你想要在一座...
干货！直观地解释和可视化每个复杂的DataFrame操作
The_syx的博客
11-17 474
大多数数据科学家可能会赞扬Pandas进行数据准备的能力，但许多人可能无法利用所有这些能力。操作数据帧可能很快会成为一项复杂的任务，因此在Pandas中的八种技术中均提供了说明，可视化，...
Pandas DataFrame 的可视化工具大全
Python中文社区
07-04 1914
简介Excel的好处之一是它提供了一个直观和强大的图形界面来查看你的数据。相比之下，pandas + Jupyter notebook 提供了大量的编程能力，但在图形化显示和操作DataFrame视图方面能力有限。在Python生态系统中，有几个工具被设计来填补这一空白。它们的复杂程度从简单的JavaScript库到复杂的、全功能的数据分析引擎不等。一个共同点是它们都提供...
R语言读取（加载）txt格式数据为dataframe、基于dataframe中的两个字段（数据列）可视化散点图、拟合简单线性回归模型并可视化回归模型曲线
sdgfbhgfj的博客
04-30 161
R语言读取（加载）txt格式数据为dataframe、基于dataframe中的两个字段（数据列）可视化散点图、拟合简单线性回归模型并可视化回归模型曲线
R语言读取（加载）txt格式数据为dataframe、基于dataframe中的三个字段（数据列）可视化三维散点图、设置Y轴轴标签文本信息（y axis label）
sdgfbhgfj的博客
04-28 157
R语言读取（加载）txt格式数据为dataframe、基于dataframe中的三个字段（数据列）可视化三维散点图、设置Y轴轴标签文本信息（y axis label）
dateframe
weixin_34202952的博客
09-10 136
import pandas as pdimport numpy as npfrom pandas import DataFrameimport datetime# 定义dataframex1=[10,20,30,40,50,60]x2=['male','male','male','female','male','female']x3=['a','b','c','a','c','a']x4=['20...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值