Pandas 学习笔记

最新推荐文章于 2022-06-13 05:00:00 发布
最新推荐文章于 2022-06-13 05:00:00 发布
阅读量344 收藏
点赞数
文章标签： python 数据结构与算法
原文链接：http://www.cnblogs.com/NaughtyBaby/p/5543448.html
版权

注：该文是上了开智学堂数据科学基础班的课后做的笔记，主讲人是肖凯老师。

数据操作

数据整理和 Pandas

数据整理是数据分析之前必要的工作。

数据整理包括：

  • 数据的基本清洁。如气温数据后面带摄氏度标志 ℃，这时可能需要把符号 ℃ 去掉。

  • 数据的拆分合并。有些数据只需要一部分子集，或者需要合并两个不同的数据源。

  • 数据转换。如把华氏度转成摄氏度，或者把连续值转成离散值。

  • 数据构造。有时需要重新构造新的数据。如体重除以身高，可得到人的身体健康指数。

Pandas 是基于 Numpy 构建的，使以 Numpy 为中心的应用变得更加简单。它的两个主要数据结构是：Series 和 DataFrame。

Series 是一种类似于一维数组的对象，它由一组数据和一组索引组成。

%matplotlib inline
import matplotlib.pyplot as plt;
import numpy as np
import pandas as pd
obj = pd.Series([4, 7, 5, 3])  # 仅由一个数组即可产生最简单的 Series
obj
0    4
1    7
2    5
3    3
dtype: int64

没有为数组指定索引时，就会自动创建一个 0 到 N-1 的整数型索引。可以通过 Series 的 values 和 index 属性获取其数组和索引对象。

obj.values
array([4, 7, 5, 3])
obj.index
RangeIndex(start=0, stop=4, step=1)

除了方便的索引功能，还有汇总和计算描述统计。

obj.median(), obj.mean(), obj.std(), obj.min(), obj.max()
(4.5, 4.75, 1.707825127659933, 3, 7)
obj.describe()
count    4.000000
mean     4.750000
std      1.707825
min      3.000000
25%      3.750000
50%      4.500000
75%      5.500000
max      7.000000
dtype: float64

Series 还可绘图。

pd.set_option('display.mpl_style', 'default')
fig, axes = plt.subplots(1, 4, figsize=(12, 3))

obj.plot(ax=axes[0], kind='line', title='line');
obj.plot(ax=axes[1], kind='bar', title='bar');
obj.plot(ax=axes[2], kind='box', title='box');
obj.plot(ax=axes[3], kind='pie', title='pie');

586070-20160530180110336-214593043.png

  • 如何理解 Series 对象，它和 numpy.array 有何异同？

Series 跟 numpy.array 不一样的地方是，它有 index 属性，即行索引，也可叫行编号。

Series 本质上是一个 Numpy 的数组，因此 Numpy 的数组处理函数可直接用于 Series。但 Series 除了使用位置作为下标提取元素外，还可以使用 index 存取元素。

obj.index = ['bob', 'steve', 'jeff', 'ryan']
print obj[2], obj['jeff']
5 5

和 numpy.array 一样，Series也可以使用一个位置列表或者位置数组进行存取；同时还可以使用 index 列表和 index 数组。

print obj[[0,2,3]]
print obj[['bob','jeff','ryan']]
bob     4
jeff    5
ryan    3
dtype: int64
bob     4
jeff    5
ryan    3
dtype: int64

Series 也支持一些字典的方法，例如 Series.iteritems()。

print list(obj.iteritems())
[('bob', 4), ('steve', 7), ('jeff', 5), ('ryan', 3)]

Series 还集成了绘图功能。

  • 如何创建 Series，你能想到几种方法？
obj1 = pd.Series([4, 7, 2, 6])  # 从 list 转化而来，这时索引是自动创建为 0 到 N-1
obj2 = pd.Series([2, 4, 3, 1], index = ['a', 'b', 'c', 'd']); # 带上索引
sdata = {'a':23, 'b':98, 'c':65, 'd':12}
obj3 = pd.Series(sdata) # 通过字典来创建

DataFrame 对象

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame 既有行索引也有列索引，它可以被看作是由 Series 组成的字典。DataFrame 中的数据是以一个或多个二维块存放的。

Numpy.array 中要求所有元素都是相同类型，在 DataFrame 中，每一列是一样的，但在不同列是可以不一样的。

  • 如何创建 DataFrame 对象，你能想到几种方法？

1、列表式赋值

df = pd.DataFrame([[909976, 8615246, 2872086, 2273305],
                   ["Sweden", "United kingdom", "Italy", "France"]])
df
0123
0909976861524628720862273305
1SwedenUnited kingdomItalyFrance

2、字典式赋值

df = pd.DataFrame({"Population": [909976, 8615246, 2872086, 2273305],
                   "State": ["Sweden", "United kingdom", "Italy", "France"]},
                  index=["Stockholm", "London", "Rome", "Paris"]) # 字典的 key 就是变量名，value 是对应的值
df
PopulationState
Stockholm909976Sweden
London8615246United kingdom
Rome2872086Italy
Paris2273305France
  • 熟悉 DataFrame 对象的各种索引方法，例如行索引、列索引、切片、boolean 索引、ix 方法等。
df.Population # 访问某一列
Stockholm     909976
London       8615246
Rome         2872086
Paris        2273305
Name: Population, dtype: int64
type(df.Population) # 每一列是一个 Series，可以认为 DataFrame 是由多个 Series 构成的
pandas.core.series.Series
df.Population.Stockholm 
909976

取一列可以使用以上方式，如果要取复杂的子集，要使用 ix 的方法，可以一次性取出多行多列。

df.ix["Stockholm"] # 取出一行
Population    909976
State         Sweden
Name: Stockholm, dtype: object
type(df.ix["Stockholm"]) # 一行也是一个 Series
pandas.core.series.Series
df.ix[["Paris", "Rome"]] # 取出多行
PopulationState
Paris2273305France
Rome2872086Italy
df.ix[["Paris", "Rome"], "Population"] # 取出多行，指定列
Paris    2273305
Rome     2872086
Name: Population, dtype: int64
df.ix["Paris", "Population"] # 取出某行某列
2273305
  • 如何根据 index 对 DataFrame 进行排序求和？

实例演示如下：

df_pop = pd.read_csv("european_cities.csv") #先读取 csv 文件到 DataFrame，默认文件中列之间用逗号分隔
df_pop.head() # 看头几行
RankCityStatePopulationDate of census/estimate
01London[2]United Kingdom8,615,2461 June 2014
12BerlinGermany3,437,91631 May 2014
23MadridSpain3,165,2351 January 2014
34RomeItaly2,872,08630 September 2014
45ParisFrance2,273,3051 January 2013
df_pop.info() # 看下数据统计信息
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 105 entries, 0 to 104
Data columns (total 5 columns):
Rank                       105 non-null int64
City                       105 non-null object
State                      105 non-null object
Population                 105 non-null object
Date of census/estimate    105 non-null object
dtypes: int64(1), object(4)
memory usage: 4.2+ KB

这里先要处理个问题，Population 本来是数值型，但这里变成了字符型。这里需要做处理，把 Population 中的逗号去掉，然后转成数值型。

type(df_pop.Population[0]) # Population 本应是数值型，但这里变成了字符型。
str
df_pop["NumericPopulation"] = df_pop.Population.apply(lambda x: int(x.replace(",", ""))) # 去掉逗号并转成数值型，并存到新列 NumericPopulation
type(df_pop.NumericPopulation[0]) # 查看类型，转换成功
numpy.int64

上面的 apply 是个非常有用的函数，对列 Population 的每一个元素进行括号中的 lambda 操作。

df_pop["State"] = df_pop["State"].apply(lambda x: x.strip()) # 同样去掉 State 中的空格

现在设置 City 为 index，并使 DataFrame 根据 City 来排序。

df_pop2 = df_pop.set_index("City") # 设置 City 为 index，替换掉默认的 1 到 N-1 的index
df_pop2 = df_pop2.sort_index() # 根据 City 来排序
df_pop2.head()
RankStatePopulationDate of census/estimateNumericPopulation
City
Aarhus92Denmark326,6761 October 2014326676
Alicante86Spain334,6781 January 2012334678
Amsterdam23Netherlands813,56231 May 2014813562
Antwerp59Belgium510,6101 January 2014510610
Athens34Greece664,04624 May 2011664046

也可以用两个变量同时作为 index，相当于嵌套 index。

df_pop3 = df_pop.set_index(["State", "City"]).sortlevel(0) # sortlevel(0) 表示按照 State 排序
df_pop3.head()
RankPopulationDate of census/estimateNumericPopulation
StateCity
AustriaVienna71,794,7701 January 20151794770
BelgiumAntwerp59510,6101 January 2014510610
Brussels[17]161,175,8311 January 20141175831
BulgariaPlovdiv84341,04131 December 2013341041
Sofia141,291,89514 December 20141291895

这时要取某个 State 的数据，就可以直接用 ix 方法。

df_pop3.ix["Sweden"]
RankPopulationDate of census/estimateNumericPopulation
City
Gothenburg53528,01431 March 2013528014
Malmö102309,10531 March 2013309105
Stockholm20909,97631 January 2014909976

假如上面没有设置 State 为 index，那么要取某个 State 的数据，就要多写一点代码。

df_pop.ix[df_pop.State == 'Sweden']
RankCityStatePopulationDate of census/estimateNumericPopulation
1920StockholmSweden909,97631 January 2014909976
5253GothenburgSweden528,01431 March 2013528014
101102MalmöSweden309,10531 March 2013309105

若要读某 State 中的某个 City。

df_pop3.ix[("Sweden", "Gothenburg")] # 用一个元组

不一定非要根据 index 排序，也可以根据其它列排序。

df_pop.set_index("City").sort_values(["State", "NumericPopulation"], ascending=[False, True]).head() # ascending 表示是否递增
RankStatePopulationDate of census/estimateNumericPopulation
City
Nottingham103United Kingdom308,73530 June 2012308735
Wirral97United Kingdom320,22930 June 2012320229
Coventry94United Kingdom323,13230 June 2012323132
Wakefield91United Kingdom327,62730 June 2012327627
Leicester87United Kingdom331,60630 June 2012331606
city_counts = df_pop.State.value_counts() # 计算各 State 的频数。
df_pop3 = df_pop[["State", "City", "NumericPopulation"]].set_index(["State", "City"]) # 取出三个变量，设置 State 和 City 为 index
df_pop3.head()
NumericPopulation
StateCity
United KingdomLondon[2]8615246
GermanyBerlin3437916
SpainMadrid3165235
ItalyRome2872086
FranceParis2273305
df_pop4 = df_pop3.sum(level="State").sort_values("NumericPopulation", ascending=False) # 用 State 来汇总，并按 NumericPopulation 排序
df_pop4.head() # 之前是以 City 为每一行，汇总后以 State 作为每一行
NumericPopulation
State
United Kingdom16011877
Germany15119548
Spain10041639
Italy8764067
Poland6267409
df_pop5 = (df_pop.drop("Rank", axis=1) # 删掉 Rank 列
                 .groupby("State").sum() # 以 State 为 group by 来汇总 Sum
                 .sort_values("NumericPopulation", ascending=False))

df_pop5.head() # 结果跟上面一样，但注意这里是没有做 index，通过 group 来汇总。两种不同的汇总方法。
NumericPopulation
State
United Kingdom16011877
Germany15119548
Spain10041639
Italy8764067
Poland6267409
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 4))

city_counts.plot(kind='barh', ax=ax1)
ax1.set_xlabel("# cities in top 105")
df_pop5.NumericPopulation.plot(kind='barh', ax=ax2)
ax2.set_xlabel("Total pop. in top 105 cities")
<matplotlib.text.Text at 0x7fd9e45f83d0>

586070-20160530180200649-256043917.png

时间序列

时间是个非常重要的维度，我们每时每刻都活在时间这个维度里，产生的数据也在时间这个维度里，所以时间可以拿来单独计算。

在 Python 环境下处理时间数据，如果不用 Pandas，就会用到 datetime，Pandas 中很多对时间序列的处理也是基于 datetime。

import datetime

先来建立一个关于时间序列的向量。

pd.date_range("2015-1-1", periods=31) # 时间起始点，时间长度，
DatetimeIndex(['2015-01-01', '2015-01-02', '2015-01-03', '2015-01-04',
               '2015-01-05', '2015-01-06', '2015-01-07', '2015-01-08',
               '2015-01-09', '2015-01-10', '2015-01-11', '2015-01-12',
               '2015-01-13', '2015-01-14', '2015-01-15', '2015-01-16',
               '2015-01-17', '2015-01-18', '2015-01-19', '2015-01-20',
               '2015-01-21', '2015-01-22', '2015-01-23', '2015-01-24',
               '2015-01-25', '2015-01-26', '2015-01-27', '2015-01-28',
               '2015-01-29', '2015-01-30', '2015-01-31'],
              dtype='datetime64[ns]', freq='D')
type(pd.date_range("2015-1-1", periods=31)) # DatetimeIndex
pandas.tseries.index.DatetimeIndex
dt = pd.date_range(datetime.datetime(2015, 1, 1), periods=31)
type(dt[1]) # 注意到时间向量的元素是时间戳格式的
pandas.tslib.Timestamp
pd.date_range(datetime.datetime(2015, 1, 1), periods=31) # 也可以使用 datetime 来创建
DatetimeIndex(['2015-01-01', '2015-01-02', '2015-01-03', '2015-01-04',
               '2015-01-05', '2015-01-06', '2015-01-07', '2015-01-08',
               '2015-01-09', '2015-01-10', '2015-01-11', '2015-01-12',
               '2015-01-13', '2015-01-14', '2015-01-15', '2015-01-16',
               '2015-01-17', '2015-01-18', '2015-01-19', '2015-01-20',
               '2015-01-21', '2015-01-22', '2015-01-23', '2015-01-24',
               '2015-01-25', '2015-01-26', '2015-01-27', '2015-01-28',
               '2015-01-29', '2015-01-30', '2015-01-31'],
              dtype='datetime64[ns]', freq='D')
pd.date_range("2015-1-1 00:00", "2015-1-1 12:00", freq="H") # 上面是按天，这里按小时，里面会把字符串格式转成时间格式
DatetimeIndex(['2015-01-01 00:00:00', '2015-01-01 01:00:00',
               '2015-01-01 02:00:00', '2015-01-01 03:00:00',
               '2015-01-01 04:00:00', '2015-01-01 05:00:00',
               '2015-01-01 06:00:00', '2015-01-01 07:00:00',
               '2015-01-01 08:00:00', '2015-01-01 09:00:00',
               '2015-01-01 10:00:00', '2015-01-01 11:00:00',
               '2015-01-01 12:00:00'],
              dtype='datetime64[ns]', freq='H')

上面是纯粹的时间向量，时间序列是以时间向量作为时间戳，作为 index，但数据还是实数值。index 是日期的 Series 是时间序列。

ts1 = pd.Series(np.arange(31), index=pd.date_range("2015-1-1", periods=31))
ts1.head() # index 是日期的被称为时间序列
2015-01-01    0
2015-01-02    1
2015-01-03    2
2015-01-04    3
2015-01-05    4
Freq: D, dtype: int64
ts1["2015-1-3"]
2
ts1.index[2]
Timestamp('2015-01-03 00:00:00', offset='D')
ts1.index[2].year, ts1.index[2].month, ts1.index[2].day # 可以取出对应的年月日
(2015, 1, 3)
type(ts1.index[2]) # 时间戳
pandas.tslib.Timestamp
ts1.index[2].to_pydatetime() # 可以转化成 datetime 基础的数据格式
datetime.datetime(2015, 1, 3, 0, 0)

上面介绍的是时间戳，还有一种时间数据是时间段，时间段和时间戳的区别在于，时间戳是个实点，时间段是个时间跨度。

periods = pd.PeriodIndex([pd.Period('2015-01'), pd.Period('2015-02'), pd.Period('2015-03')]) # 时间段，比如 2015-1 表示 2015 年 1 月之内
ts3 = pd.Series(np.random.rand(3), periods)
ts3
2015-01    0.036539
2015-02    0.472406
2015-03    0.036470
Freq: M, dtype: float64
type(periods[1]) # 时间段
pandas._period.Period
type(periods) # PeriodIndex
pandas.tseries.period.PeriodIndex

下面通过实例操练来学习时间序列的使用。

!head -n 5 temperature_outdoor_2014.tsv # 查看室外温度数据，时间和温度
1388530986  4.380000
1388531586  4.250000
1388532187  4.190000
1388532787  4.060000
1388533388  4.060000
!wc -l temperature_outdoor_2014.tsv # 看下该文件有多少行
49548 temperature_outdoor_2014.tsv
df1 = pd.read_csv('temperature_outdoor_2014.tsv', delimiter="\t", names=["time", "outdoor"]) # tsv 和 csv 文件的区别在于，tsv 是以 tab 分隔符
df2 = pd.read_csv('temperature_indoor_2014.tsv', delimiter="\t", names=["time", "indoor"])
df1.head() # 可以看到这里 time 并没有自动辨认为时间，而是以数值的形式
timeoutdoor
013885309864.38
113885315864.25
213885321874.19
313885327874.06
413885333884.06
df1.info() # 可以看到 time 是整数
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 49548 entries, 0 to 49547
Data columns (total 2 columns):
time       49548 non-null int64
outdoor    49548 non-null float64
dtypes: float64(1), int64(1)
memory usage: 774.3 KB

这时要把 time 从数值转成时间。

df1.time = (pd.to_datetime(df1.time.values, unit="s")
              .tz_localize('UTC').tz_convert('Europe/Stockholm')) # 单位是秒，并设置时区
df1.info() # 可以看到 time 已经转成 datetime 格式
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 49548 entries, 0 to 49547
Data columns (total 2 columns):
time       49548 non-null datetime64[ns, Europe/Stockholm]
outdoor    49548 non-null float64
dtypes: datetime64[ns, Europe/Stockholm](1), float64(1)
memory usage: 774.3 KB
type(df1.time[0]) # time 元素是时间戳
pandas.tslib.Timestamp
type(df1.time) # time 是序列
pandas.core.series.Series
df1 = df1.set_index("time") # 用时间来作为索引
df1.head()
outdoor
time
2014-01-01 00:03:06+01:004.38
2014-01-01 00:13:06+01:004.25
2014-01-01 00:23:07+01:004.19
2014-01-01 00:33:07+01:004.06
2014-01-01 00:43:08+01:004.06
df1.index[0] # time 元素是时间戳
Timestamp('2014-01-01 00:03:06+0100', tz='Europe/Stockholm')
type(df1.index) # time 设为 index 后，index 为 DatetimeIndex
pandas.tseries.index.DatetimeIndex
df2.time = (pd.to_datetime(df2.time.values, unit="s")
              .tz_localize('UTC').tz_convert('Europe/Stockholm'))
df2 = df2.set_index("time")
fig, ax = plt.subplots(1, 1, figsize=(12, 4)) # 把室内和室外温度画在一张图上，两个曲线叠加，横轴是时间，纵轴是温度
df1.plot(ax=ax);
df2.plot(ax=ax);

fig.tight_layout();

586070-20160530180306196-1502091801.png

df1_jan = df1[(df1.index > "2014-1-1") & (df1.index < "2014-2-1")] # 选择子集，这种写法是比较繁琐的
df1_jan.head()
outdoor
time
2014-01-01 00:03:06+01:004.38
2014-01-01 00:13:06+01:004.25
2014-01-01 00:23:07+01:004.19
2014-01-01 00:33:07+01:004.06
2014-01-01 00:43:08+01:004.06
df1.index < "2014-2-1"
array([ True,  True,  True, ..., False, False, False], dtype=bool)
df2_jan = df2["2014-1-1":"2014-1-31"] # 这种选择子集的方式就很简洁，这里用冒号，跟之前用的 list 和 array 选择子集方式类似

上面是以每个数据点画图，下面把数据归结到月份来画图。这里介绍一种归结到月份的方式。

df_month = pd.concat([df.to_period("M").groupby(level=0).mean() for df in [df1, df2]], axis=1) # 对df1、df2 的index 只取月，做聚合对温度做平均
df_month.head(3) # 可以看到两列合并起来了，室外和室内的每月平均温度
outdoorindoor
time
2014-01-1.77664619.862590
2014-022.23161320.231507
2014-034.61543719.597748
type(df_month)
pandas.core.frame.DataFrame
fig, axes = plt.subplots(1, 2, figsize=(12, 4))

df_month.plot(kind='bar', ax=axes[0]) # 如果有两列，自动画两个 bar，自动定义不同的颜色，非常方便
df_month.plot(kind='box', ax=axes[1]) # 箱线图

fig.tight_layout()

586070-20160530180251602-1185528262.png

  • 时间序列的应用场景有哪些？

分析金融和经济数据，也可用来分析服务器日志数据。

  • 理解 DatatimeIndex 和 PeriodIndex 两种 Index 的差异，以及各自的创建方法。

DatatimeIndex 中的时间是实点，PeriodIndex 中的时间表示时间段。

dt = pd.date_range("2015-1-1", periods=31) # 创建 DatatimeIndex
print(type(dt))
print(dt)
<class 'pandas.tseries.index.DatetimeIndex'>
DatetimeIndex(['2015-01-01', '2015-01-02', '2015-01-03', '2015-01-04',
               '2015-01-05', '2015-01-06', '2015-01-07', '2015-01-08',
               '2015-01-09', '2015-01-10', '2015-01-11', '2015-01-12',
               '2015-01-13', '2015-01-14', '2015-01-15', '2015-01-16',
               '2015-01-17', '2015-01-18', '2015-01-19', '2015-01-20',
               '2015-01-21', '2015-01-22', '2015-01-23', '2015-01-24',
               '2015-01-25', '2015-01-26', '2015-01-27', '2015-01-28',
               '2015-01-29', '2015-01-30', '2015-01-31'],
              dtype='datetime64[ns]', freq='D')
pr = pd.PeriodIndex([pd.Period('2015-01'), pd.Period('2015-02'), pd.Period('2015-03')]) # 创建 PeriodIndex
print(type(pr))
print(pr)
<class 'pandas.tseries.period.PeriodIndex'>
PeriodIndex(['2015-01', '2015-02', '2015-03'], dtype='int64', freq='M')

补充阅读

转载于:https://www.cnblogs.com/NaughtyBaby/p/5543448.html

dengxun7056
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Daily Temperature of Major Cities 主要城市的日温度-数据集
03-12
此数据集是一个有关世界主要城市温度的，可以帮助分析全球气候变暖以及有关天气信息的任务。 city_temperature.csv
1001系列之案例0002如何从斯德哥尔摩气温数据集中可视化挖掘
Data_lukyo的博客
05-25 403
本案例的重点在于Matplotlib可视化的基础操作实战练习。 import os #导入必要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import warnings warnings.filterwarnings("ignore") os.chdir("D:\Datalu\File") #指定工作目录 %matplotlib inline .
【小白程序圆python学习记】读取表格常见报错及解决2020.12.6
xiaogongju11的博客
12-06 983
1、pandas通过read导入csv，提示文件不存在： ①问题描述：[Errno 2] No such file or directory: 'european_cities.csv' ②问题截图： ③问题原因：数据源和book不在同一个文件夹 ④解决方法：pd.read_csv(r"具体路径\european_cities.csv",encoding='gbk') 2、pandas通过read导入csv，报错“Error tokenizing data. C error: Ex..
【Python数据处理和Pandas库】
vor234的博客
06-13 399
数据分析库Pandas是Python中执行高级数据处理的标准库。它为序列数据和表数据的存储提供了方便的数据结构，能够轻松进行数据的转换、拆分、合并和变换。在Numpy库的基础上，Pandas库补充了很多对数据处理很有用的功能，例如标签索引、分层索引、数据对齐、输出合并、丢失数据处理等。本章节也会介绍和使用基于matplotlib构建的统计可视化库Seaboen，它为通用的统计绘图提供了易用方法。 ......
pandas小记：pandas时间序列分析和处理Timeseries
热门推荐
皮皮blog
08-15 10万+
http://blog.csdn.net/pipisorry/article/details/52209377pandas 最基本的时间序列类型就是以时间戳（TimeStamp）为 index 元素的 Series 类型。其它时间序列处理相关的包[P4J 0.6: Periodic light curve analysis tools based on Information Theory][p4
Pandas学习笔记
11-06
学习pandas时整理的学习笔记，包括了很多Pandas里面的函数的用法，并且对Pandas的使用有一个整体的框架
pandas学习笔记
12-13
这事我自行编写的pandas入门学习笔记，基于jupyter 这事我自行编写的pandas入门学习笔记，基于jupyter
Pandas学习笔记整理.pdf
03-06
Pandas学习笔记整理
numpy与pandas学习笔记
01-20
#导入numpy库 import numpy as np （1）创建矩阵： a=np.array([ [1,2,3], [2,3,4], [4,5,6]],dtype=np.int64) 函数 说明 np.ones((3,4)) ...左闭右开，步长为2 生成列表，reshape()改变行列形状为
Pandas学习笔记1-Pandas基础
01-17
Pandas含有使数据分析工作变得更快更简单的高级数据结构和操作工具。 Pandas基于NumPy构建，让以NumPy为中心的应用变得更加简单。 1. Pandas数据结构 2. 索引对象
NBA2013-2014比赛数据 csv格式 可直接用于机器学习/数据挖掘
03-12
basketball-reference网站已经不支持一键导出数据，需要一系列操作和人工整合，我整理了一个赛季（2013-2014）的数据，并对不必要的数据做了一些清理，分享出来供大家在机器学习或数据挖掘学习和工作中使用。
pandas的两种数据类型：Series和DataFrame
进击的菜鸟
10-02 1万+
首先要明确pandas是做什么的，在确定是如何做的，通过哪些方式去做的？ pandas是做什么的？      Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和...
python数据分析处理库-Pandas之Series结构及Series常用操作方法
你若安好是晴天的博客
10-03 3401
我上上篇博客说过：Pandas数据结构为DataFrame，里面可以同时是int、float、object（string类型时）、datatime、bool数据类型。而构成DataFrame结构的每一列或每一行是Series结构，令人吃惊的是Series里面的结构是ndarray (numpy中的) 结构 Pandas之Series常用操作方法1 import pandas as pd fa...
Pandas处理数据遇到的问题与解决
weixin_43066801的博客
05-14 1万+
set_index与reindex的区别 set_index能够将DataFrame中的某一column设置为索引 reindex的作用是根据new_index重新排列DataFrame 如果新的new_index中含有原index未含有的索引，则对应的行的值全部是Nan，当然，可以选择在reindex( )传入method参数来解决这一点，例如：method=‘ffill’ 读入DataFrame时的数据类型问题 问题描述 在通过pd.read_csv( )方法读入csv数据时，如果未指定dat
dataframe进行groupby后画图坐标轴刻度问题
Rookiekk
11-21 7947
首先看我们要用到的画图函数： DataFrame.plot(x=None, y=None, kind='line', ax=None, subplots=False, sharex=None,sharey=False, layout=None, figsize=None, use_index=True, title=None, grid=None,legend=True, style=None,...
Python_pandas 两种主要的数据类型（Series、DataFrame）
liulina603的专栏
12-14 8574
1、一列字符转成数字，转后成一行了 df2=DataFrame([{'A':'11','B':'12'},{'A':'111','B':'121'},{'A':'1111','B':'1211'}]) numbers = map(int, df2['A']) print numbers #[11, 111, 1111]
pandas——聚合操作groupyby与agg
欢迎光临啊噗不是阿婆主的酒馆
09-05 4816
groupby&amp;agg函数的使用 上述2个函数作用类似，都是对数据集中的一类属性进行聚合操作。 groupby可理解为是基于行的聚合操作，agg则是基于列的。 GroupBy: 针对DataFrame将其按照某个准则分组 1.常见的调用形式为： df['a'].GroupyBy(df['b']) df.GroupyBy(df['b','c'])#层次化的索引 df.G...
python数据分析之pandas里的Series
kingov
03-11 7万+
1 Series线性的数据结构, series是一个一维数组Pandas 会默然用0到n-1来作为series的index, 但也可以自己指定index( 可以把index理解为dict里面的key )1.1创造一个serise数据import pandas as pd import numpy as np ​ s = pd.Series([9, 'zheng', 'beijing', 128])...
Pandas DataFrame入门
weixin_43737594的博客
08-28 1296
1 Pandas的DataFrame简介 Pandas是用于数据分析的开源Python库，可以实现数据加载，清洗，转换，统计处理，可视化等功能 DataFrame和Series是Pandas最基本的两种数据结构 DataFrame用来处理结构化数据（SQL数据表，Excel表格） 2 加载数据集 做数据分析首先要加载数据，并查看其结构和内容，对数据有初步的了解 查看行，列 查看每一列中存储信息的类型 Seri 前置准备 安装pandas并打开jupyter notebo.
python pandas库学习笔记
最新发布
07-28
- *2* [Pandas学习笔记](https://blog.csdn.net/qq_44732742/article/details/124660350)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值