pandas_DataFram基础

最新推荐文章于 2024-05-01 22:51:03 发布
最新推荐文章于 2024-05-01 22:51:03 发布
阅读量372 收藏 3
点赞数 1
分类专栏： pandas 基础 dataframe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrRenLG/article/details/90516271
版权
基础 同时被 3 个专栏收录
4 篇文章 0 订阅
订阅专栏
pandas
3 篇文章 0 订阅
订阅专栏
dataframe
1 篇文章 0 订阅
订阅专栏 
'''
【课程2.5】  Pandas数据结构Dataframe：基本概念及创建

"二维数组"Dataframe：是一个表格型的数据结构，包含一组有序的列，其列的值类型可以是数值、字符串、布尔值等。

Dataframe中的数据以一个或多个二维块存放，不是列表、字典或一维数组结构。

'''

import pandas as pd
import numpy as np

# Datafrom 数据结构
# DataFrame是表格型的数据结构“带有标签的二维数组--index--columns”
# index--行标签 ， columns--列标签
df=pd.DataFrame({
        'name':['J','M','D'],
        'age':[18,19,20],
        'gender':['m','w','m'],
    },index=list('abc'))
print(df)

   age gender name
a   18      m    J
b   19      w    M
c   20      m    D
Index(['a', 'b', 'c'], dtype='object')

print(df.index)

Index(['a', 'b', 'c'], dtype='object')

print(df.columns)

Index(['age', 'gender', 'name'], dtype='object')

# DataFrame创建方法
# 由数组/list组成的字典
df1=pd.DataFrame({
        'name':['a','b','c'],
        'age':[20,21,22]
    })
print(df1)
df2=pd.DataFrame({
        'one':np.random.rand(3),
        'two':np.random.rand(3)
    },index=list('abc'))
print(df2)
# 字典的key就是df的columns
# 字典的value是df的valuse
# 字典的长度需要保持一致

   age name
0   20    a
1   21    b
2   22    c
        one       two
a  0.154260  0.372618
b  0.544828  0.497320
c  0.811307  0.071709

df2=pd.DataFrame({
        'one':np.random.rand(3),
        'two':np.random.rand(3)
    },index=list('abc'),columns=['two','three','one'])
print(df2)
# columns 可以重新排序，若不存在则填充为NaN

        two three       one
a  0.593346   NaN  0.772806
b  0.556199   NaN  0.025852
c  0.705040   NaN  0.173555

# 创建方法2 由Series组成的字典
df1=pd.DataFrame({
        'one':pd.Series(np.random.rand(3)),
        'two':pd.Series(np.random.rand(3))
    })
print(df1)

        one       two
0  0.414850  0.665624
1  0.249675  0.699969
2  0.702770  0.900113

df2=pd.DataFrame({
        'one':pd.Series(np.random.rand(3),index=list('abc')),
        'two':pd.Series(np.random.rand(2),index=list('ab'))
    })
print(df2)
# 字典的key为df的columns，df的index为Series的index
# Series的长度可以不一样，会产生NaN

        one       two
a  0.288482  0.007029
b  0.314350  0.708146
c  0.891189       NaN

# DataFrame 通过二位数组直接创建
df1 = pd.DataFrame(np.arange(9).reshape((3,3)),index=list('abc'),columns=list('xyz'))
print(df1)

   x  y  z
a  0  1  2
b  3  4  5
c  6  7  8

# DataFrame 字典组成的列表
df1=pd.DataFrame([
        {'one':'a','two':'b'},
        {'three':'c','four':'d'}
    ],index=list('ab'))
print(df1)
# index不指定则为默认，
# 字典的key为df的columns，

  four  one three  two
a  NaN    a   NaN    b
b    d  NaN     c  NaN

# 由字典组成的字典创建
df=pd.DataFrame({
        'A':{'math':80,'art':90},
         'B':{'math':80,'art':90}    
    })
print(df)
# df的columns为字字典的key，df的index为字典的key

       A   B
art   90  90
math  80  80

'''
【课程2.6】  Pandas数据结构Dataframe：索引

Dataframe既有行索引也有列索引，可以被看做由Series组成的字典（共用一个索引）

选择列 / 选择行 / 切片 / 布尔判断

'''

df=pd.DataFrame(np.random.rand(12).reshape(3,4)*100,
               index=['one','two','three'],
               columns=list('abcd'))
print(df)

               a          b          c          d
one    43.412719  76.530491  16.054262   1.146777
two    69.950579  67.093175  23.407335  43.765119
three  70.160305  81.423366  20.290999  78.110449

# 选择列
data1=df['a']
print(data1)
data2=df[['a','c','d']]
print(data2)
# 按照列名选择列，一列输出Series，多列输出DataFrame

one      43.412719
two      69.950579
three    70.160305
Name: a, dtype: float64
               a          c          d
one    43.412719  16.054262   1.146777
two    69.950579  23.407335  43.765119
three  70.160305  20.290999  78.110449

# 选择行
data1=df.loc['one']
print(data1)
data2=df.loc[['one','three']]
print(data2)
# 选择行是loc，一行为Series，多行为dataframe

a    43.412719
b    76.530491
c    16.054262
d     1.146777
Name: one, dtype: float64
               a          b          c          d
one    43.412719  76.530491  16.054262   1.146777
three  70.160305  81.423366  20.290999  78.110449

# df[] 一般都用来做选择列
# 也可以选择行
data1=df[:1]
print(data1)
# 利用切片选择


             a          b          c         d
one  43.412719  76.530491  16.054262  1.146777

# 选择行
# 当为默认index时，直接可用。loc数字选择
df=pd.DataFrame(np.random.rand(9).reshape((3,3)),
              )
print(df)
data=df.loc[[1,2]]
print(data)

          0         1         2
0  0.373822  0.144124  0.919020
1  0.946216  0.037750  0.719912
2  0.432987  0.870418  0.060462
          0         1         2
1  0.946216  0.037750  0.719912
2  0.432987  0.870418  0.060462

# df.iloc[] - 按照整数位置（从轴的0到length-1）选择行
# 类似list的索引，其顺序就是dataframe的整数位置，从0开始计
print(df)

          0         1         2
0  0.373822  0.144124  0.919020
1  0.946216  0.037750  0.719912
2  0.432987  0.870418  0.060462

# 选择行
# 选择第一行
print(df.iloc[0])
# 选择倒数第一行
print(df.iloc[-1])

0    0.373822
1    0.144124
2    0.919020
Name: 0, dtype: float64
0    0.432987
1    0.870418
2    0.060462
Name: 2, dtype: float64

#选择第一和第三行
print(df.iloc[[0,2]])

          0         1         2
0  0.373822  0.144124  0.919020
2  0.432987  0.870418  0.060462

# 切片索引
print(df.iloc[0:2])
print(df.iloc[::2])

          0         1         2
0  0.373822  0.144124  0.919020
1  0.946216  0.037750  0.719912
          0         1         2
0  0.373822  0.144124  0.919020
2  0.432987  0.870418  0.060462

# 布尔型索引
# 与Series原理相同

df=pd.DataFrame(np.random.rand(12).reshape((3,4))*100)
print(df)

           0          1          2          3
0  29.892506  58.911433   8.225744  82.950538
1   0.025366  38.071510  63.716461  48.258320
2  45.380903  70.560190  30.495624   4.703547

print(df>50)

       0      1      2      3
0  False   True  False   True
1  False  False   True  False
2  False   True  False  False

print(df[df>50])

    0          1          2          3
0 NaN  58.911433        NaN  82.950538
1 NaN        NaN  63.716461        NaN
2 NaN  70.560190        NaN        NaN

# 多重索引
df=pd.DataFrame(np.random.rand(16).reshape((4,4)),
               index=list('abcd'),
               columns=['one','two','three','four'])
print(df)

        one       two     three      four
a  0.325516  0.274562  0.876918  0.627544
b  0.303586  0.012632  0.387609  0.237904
c  0.826723  0.575291  0.560848  0.001186
d  0.730478  0.284428  0.822887  0.095292

#  选择one列的ac行
print(df['one'].loc[['a','c']])

a    0.325516
c    0.826723
Name: one, dtype: float64

# 选择two three four 的ac行
print(df[['two','three','four']].loc[['a','c']])

        two     three      four
a  0.274562  0.876918  0.627544
c  0.575291  0.560848  0.001186

'''
【课程2.7】  Pandas数据结构Dataframe：基本技巧

数据查看、转置 / 添加、修改、删除值 / 对齐 / 排序

'''

# 数据查看、转置
df=pd.DataFrame(np.random.rand(16).reshape((8,2)))
print(df)

          0         1
0  0.134166  0.010255
1  0.316007  0.524728
2  0.994353  0.544601
3  0.926491  0.686111
4  0.317319  0.109836
5  0.871562  0.614354
6  0.444111  0.805243
7  0.256888  0.037670

# 头部
print(df.head())

          0         1
0  0.134166  0.010255
1  0.316007  0.524728
2  0.994353  0.544601
3  0.926491  0.686111
4  0.317319  0.109836

# 尾部
print(df.tail())

          0         1
3  0.926491  0.686111
4  0.317319  0.109836
5  0.871562  0.614354
6  0.444111  0.805243
7  0.256888  0.037670

# 转置 .T
print(df.T)

          0         1         2         3         4         5         6  \
0  0.134166  0.316007  0.994353  0.926491  0.317319  0.871562  0.444111   
1  0.010255  0.524728  0.544601  0.686111  0.109836  0.614354  0.805243   

          7  
0  0.256888  
1  0.037670  

# 添加与修改
df=pd.DataFrame(np.random.rand(16).reshape((4,4)),
               columns=list('abcd'))
print(df)

          a         b         c         d
0  0.833651  0.422714  0.064032  0.176095
1  0.438021  0.878705  0.102511  0.468040
2  0.811842  0.080692  0.127141  0.154094
3  0.507186  0.920764  0.549470  0.935110

# 直接修改
df['d']=100
print(df)
df.loc[2]=200
print(df)

          a         b         c    d
0  0.833651  0.422714  0.064032  100
1  0.438021  0.878705  0.102511  100
2  0.811842  0.080692  0.127141  100
3  0.507186  0.920764  0.549470  100
            a           b           c    d
0    0.833651    0.422714    0.064032  100
1    0.438021    0.878705    0.102511  100
2  200.000000  200.000000  200.000000  200
3    0.507186    0.920764    0.549470  100

# 增加
df['e']=300
print(df)

            a           b           c    d    e
0    0.833651    0.422714    0.064032  100  300
1    0.438021    0.878705    0.102511  100  300
2  200.000000  200.000000  200.000000  200  300
3    0.507186    0.920764    0.549470  100  300

#删除 del/drop
print(df)

            a           b           c    d    e
0    0.833651    0.422714    0.064032  100  300
1    0.438021    0.878705    0.102511  100  300
2  200.000000  200.000000  200.000000  200  300
3    0.507186    0.920764    0.549470  100  300

# 删除列
# 修改原数据
del df['a']
print(df)

            b           c    d    e
0    0.422714    0.064032  100  300
1    0.878705    0.102511  100  300
2  200.000000  200.000000  200  300
3    0.920764    0.549470  100  300

# 删除行
# drop 不修改原数据，生成新数列
print(df.drop(0))
# 如果使用drop删除行的话 可以用axis
print(df.drop(['b'],axis=1))

            b           c    d    e
1    0.878705    0.102511  100  300
2  200.000000  200.000000  200  300
3    0.920764    0.549470  100  300
            c    d    e
0    0.064032  100  300
1    0.102511  100  300
2  200.000000  200  300
3    0.549470  100  300

# 对齐
df1=pd.DataFrame(np.random.randn(10,4),columns=['a','b','c','d'])
df2=pd.DataFrame(np.random.randn(7,3),columns=['a','b','c'])
print(df1+df2)
# DataFrame 会自动根据列标签对其数据，没有的补NaN

          a         b         c   d
0 -0.118693 -0.587134  1.240605 NaN
1 -0.439958  2.960476 -0.728936 NaN
2  0.855115 -0.659808  1.018583 NaN
3 -3.006156  0.376281  0.559385 NaN
4 -2.946353  0.428331 -1.788409 NaN
5  0.820590 -1.077892 -0.506990 NaN
6 -0.628339  0.215887 -2.513543 NaN
7       NaN       NaN       NaN NaN
8       NaN       NaN       NaN NaN
9       NaN       NaN       NaN NaN

# 排序， 安值排序 .sort_values
# 同样适用于Series
df=pd.DataFrame(np.random.rand(16).reshape((4,4))*100,
               columns=['a','b','c','d'])
print(df)

           a          b          c          d
0  53.044153   6.949537  76.201332  72.157734
1   2.389659  21.536710  62.266274  86.264873
2  21.737004   2.606586  76.871439  52.364927
3  64.429832  14.861729  16.369679  72.744620

print(df.sort_values(['a']))
print(df.sort_values(['b'],ascending=False))
# ascending =True 为升序，false为降序
# 默认为升序

           a          b          c          d
1   2.389659  21.536710  62.266274  86.264873
2  21.737004   2.606586  76.871439  52.364927
0  53.044153   6.949537  76.201332  72.157734
3  64.429832  14.861729  16.369679  72.744620
           a          b          c          d
1   2.389659  21.536710  62.266274  86.264873
3  64.429832  14.861729  16.369679  72.744620
0  53.044153   6.949537  76.201332  72.157734
2  21.737004   2.606586  76.871439  52.364927

# 多列排序
df = df.sort_values(['a','b'])
# 先排a，如果a有重复，则排b

# 排序，索引排序 sort_index
print(df)

           a          b          c          d
1   2.389659  21.536710  62.266274  86.264873
2  21.737004   2.606586  76.871439  52.364927
0  53.044153   6.949537  76.201332  72.157734
3  64.429832  14.861729  16.369679  72.744620

print(df.sort_index())

           a          b          c          d
0  53.044153   6.949537  76.201332  72.157734
1   2.389659  21.536710  62.266274  86.264873
2  21.737004   2.606586  76.871439  52.364927
3  64.429832  14.861729  16.369679  72.744620
MrRenLG
关注
专栏目录
Pandas Datafram常用方法
weixin_39709476的博客
11-16 1435
Pandas 是python进行数据处理的一种工具包，里面默认的数据结构为Dataframe，具有非常良好的易用性，可以非常方便的进行一些数据统计与分析的工作，以下我将和大家分享Dataframe常用的一些操作，掌握了这些操作，便基本可以使用pandas进行数据处理与分析了。 首先，我们使用pandas来创建一个5行3列的Dataframe，我们可以借助numpy生成一个随机的矩阵，然后直接转换...
机器学习【Pandas介绍、数据结构、基本数据操作、DataFram运算】
weixin_43923463的博客
07-30 984
2008年WesMcKinney开发出的库专门用于数据挖掘的开源python库以Numpy为基础，借力Numpy模块在计算方面性能高的优势基于matplotlib，能够简便的画图独特的数据结构​func自定义函数​axis=0默认是列，axis=1为行进行运算定义一个对列，最大值-最小值的函数float64lambdax，将x.max()-x.min()的结果返回给x，使用lambda关键字定义。...
pandas+datafram
hzt1961746882的博客
04-27 432
Pandas的dataframe基本操作方法总结 一.DataFram的基本结构： import pandas as pd import numpy as np df = pd.DataFram(np.arange(9).reshape(3,3),index = ['row1','row2','row3'] ,columns=['col1','col2','col3'])#arange是一个循环的范围，reshape是一个什么结构样式的，在这里DataFram矩阵 df 二. 按索引或行列名选取Data
Pandas-DataFrame基础知识点总结
leadai的博客
12-11 597
全文共1959字，1张图，预计阅读时间15分钟。DataFrame的创建DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值。DataFrame...
【愚公系列】2023年07月 Pandas数据分析之DataFrames
时光隧道
07-03 6808
Pandas 是一种用于数据分析的 Python 库，它提供了两个基本的数据结构——Series 和 DataFrame。
Pandas 的DataFrame基本操作
帮助100万人颠覆负面潜意识，实现人生蜕变，培养1万名潜意识开发导师
05-04 629
Pandas是Python下一个开源数据分析的库，它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。 1. 基本使用：创建DataFrame. DataFrame是一张二维的表，大家可以把它想象成一张Excel表单或者Sql表。Excel 2007及其以后的版本的最大行数是1048576，最大列数是16384，超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本，...
pandas_dataframe入门教程
11-23
pandas_dataframe入门教程，关于dataframe的基础教程，供新手入门，老鸟复习/查阅。
Python Pandas库DataFrame数据结构(1)
2401_83703999的博客
04-20 575
png)
实验八 Pandas统计分析基础（任务二）
qq_45769478的博客
09-20 1180
实验八 Pandas统计分析基础（任务二）
pandas将DataFrame的列变成行索引的方法
09-20
以提供的内容为例，首先创建了一个基础的DataFrame，其包含了一个3x3的整数矩阵，并具有自定义的行索引和列索引。 ```python import pandas as pd import numpy as np data = pd.DataFrame(np.arange(1, 10)....
Pandas 之DataFrame二维表基础
qq_42419985的博客
03-14 2634
1、DataFrame的创建 DataFrame是一种表格型数据结构，它含有一组有序的列，每列可以是不同的值。DataFrame既有行索引，也有列索引，它可以看作是由Series组成的字典，不过这些Series公用一个索引。 DataFrame的创建有多种方式，不过最重要的还是根据dict进行创建，以及读取csv或者txt文件来创建。这里主要介绍这两...
pandas的datafram的一些使用场景
Blog Tim J Lebers
05-06 280
记录一些平时使用的dataframe的语句，以便查询。长期不定期更新
【源码解析】深入Pandas的心脏DataFrame 含十大功能、源码实现与编程知识点
10年数据\经营分析经验，现任大厂数据分析负责人
05-01 2525
通过深入的解析pandas的DataFrame，图文并茂，十大方法与底层实现，掌握源码方法
重学pandas(一)之读取数据DataFram的简单使用
JiajunBernoulli的博客
02-16 2542
文章目录前言案例解读读取数据文本文件excel文件数据库jsonDataFrame构造根据字典根据numpy构造根据列表构造属性方法四则运算转换 前言 工作了一段时间，天天写sql，玩linux上的脚本；已经快忘记python怎么写了，pandas忘记的更是干净，便打算写一写博客来复习一下pandas的API。 案例解读 读取数据 文本文件 ''' Flat file 平面文件->文...
dataframe只打印第一行_只标记DataFram中满足条件的第一行
weixin_42127783的博客
01-13 1494
我有以下数据帧df，可以按如下方式创建：date_today = datetime.now().date()days = pd.date_range(date_today, date_today + timedelta(19), freq='D')x = np.arange(0,2*np.pi,0.1*np.pi) # start,stop,stepy = np.sin(x)df = pd.D...
DataFrame取行列操作
weixin_45556177的博客
09-10 930
import numpy as np import pandas as pd from pandas import Sereis, DataFrame ser = Series(np.arange(3.)) data = DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz')) data['w'] #选择表格中的'w'列，使用类字典属性,返回的是Series类型 data.w #选择表格中的'w
python DataFrame获取行数、列数、索引及第几行第几列的值
Machine Learning with Tutors
07-15 2万+
print df.ix[[0]].values[0][0]#第一行第一列的值。print df.ix[[1]].values[0][1]#第二行第二列的值。print df.ix[[0]].index.values[0]#索引值。print df.iloc[:,0].size#行数。print df.columns.size#列数。
Spark之dataframe操作大全
czy的博客
11-11 2625
一、datafram描述 DataFrame 是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。 二、datafram特点 1、支持 KB 级到 PB 级得到数据处理 2、支持多种数据格式和存储系统 3、通过 Spark SQL Catalyst 优化器可以进行...
Pandas DataFrame的基本属性详解
热门推荐
wei_lin的博客
06-24 16万+
Pandas DataFrame的一些基本属性 基本功能列表 import pandas as pd 导入库 df = pd.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False) 创建一个DataFrame df.index df.columns df.axes df.T df.info()...
丘比特怎么安装pandas_datareader
最新发布
09-09
丘比特（C知道）在这里为您解答如何安装pandas_datareader。pandas_datareader是一个用于读取数据源的Python库，可以用来从各种在线数据源获取数据，例如 Yahoo Finance、Google Finance、Federal Reserve Economic Data 等。以下是安装pandas_datareader的步骤： 1. 确保您已经安装了Python，并且已经安装了包管理工具pip。pip是Python的包安装工具，它会帮助您安装和管理Python包。 2. 打开您的命令行工具（在Windows上是CMD或PowerShell，在macOS或Linux上是Terminal）。 3. 在命令行中输入以下命令来安装pandas_datareader包： ``` pip install pandas_datareader ``` 4. 按回车键开始安装。pip会从Python包索引PyPI下载pandas_datareader包，并安装到您的系统中。 5. 安装完成后，您可以通过在Python环境中导入pandas_datareader来检查安装是否成功： ```python import pandas_datareader ``` 如果没有出现错误信息，那么表明安装成功。 安装pandas_datareader之前，需要确保您安装了pandas库，因为pandas_datareader是pandas的一个扩展库。如果您的系统中还没有安装pandas，也可以使用以下命令进行安装： ``` pip install pandas ``` 请注意，在某些情况下，一些在线数据源可能需要特定的依赖库或证书才能正常访问，这时候可能需要额外的安装步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值