E4523 Pandas

目录

1. DateTime

1.1 datetime.date/datetime

1.2 datetime.timedelta

1.3 datetime & strings

2. Data Preprocess

2.1 function

2.2 Null值

2.3 两个df合并与重塑

 2.4 其他

---

​​​​​​​

1. DateTime

• date: stores the date (month,day,year)
• time: stores the time (hours,minutes,seconds)
• datetime: stores the date as well as the time (month,day,year,hours,minutes,seconds)
• timedelta: duration between two datetime or date objects

1.1 datetime.date/datetime

• 计算到现在的天数

import datetime
century_start = datetime.date(2000,1,1)
today = datetime.date.today()
today-century_start

• 计算到现在的具体时间 

century_start = datetime.datetime(2000,1,1,0,0,0)
time_now = datetime.datetime.now()
time_now - century_start

1.2 datetime.timedelta

datetime.timedelta(days=0, seconds=0, microseconds=0, milliseconds=0, minutes=0, hours=0, weeks=0)

• 可用于datetime和date的加减，不能用于time

today=datetime.date.today()
five_days_later=today+datetime.timedelta(days=5)
now=datetime.datetime.today()
five_minutes_and_five_seconds_later = now + datetime.timedelta(minutes=5,seconds=5)

• 如果要写time的加减，写function

def add_to_time(time_object,time_delta):
    import datetime
    temp_datetime_object = datetime.datetime(500,1,1,time_object.hour,time_object.minute,time_object.second)
    #print(temp_datetime_object)
    return (temp_datetime_object+time_delta).time()

1.3 datetime & strings

%y 两位数的年份表示（00-99）
%Y 四位数的年份表示（000-9999）
%m 月份（01-12）
%d 月内中的一天（0-31）
%H 24小时制小时数（0-23）
%I 12小时制小时数（01-12）
%M 分钟数（00=59）
%S 秒（00-59）
%a 本地简化星期名称
%A 本地完整星期名称
%b 本地简化的月份名称

• datetime.strptime(): 从str转化date/datetime/time object

• date='01-Apr-03'
  date_object=datetime.datetime.strptime(date,'%d-%b-%y')

  但对于delta不成立，所以写function：

bus_travel_time='2:15:30'
hours,minutes,seconds=bus_travel_time.split(':')
x=datetime.timedelta(hours=int(hours),minutes=int(minutes),seconds=int(seconds))

• datetime.strftime():从datetime转化string

now = datetime.datetime.now()
string_now = datetime.datetime.strftime(now,'%m/%d/%y %H:%M:%S')

2. Data Preprocess

2.1 function

• 对一列的操作

def fix_zip(input_zip):
    try:
        input_zip = int(float(input_zip))
    except:
        try:
            input_zip = int(input_zip.split('-')[0])
        except:
            return np.NaN
    if input_zip < 10000 or input_zip > 12000:
        return np.NaN
    return str(input_zip)
df['Incident Zip'] = df['Incident Zip'].apply(fix_zip)

• 对一整个df的操作

def GroupColFunc(df, ind, col):
    if df[col].loc[ind] < 0:
        return 'Negative'
    else:
        return 'Positive'
grouped = people.groupby(lambda x: GroupColFunc(people, x, 'a'))

• 对其中某几列操作

def foo(x,y):
    return x+y

df_sample['new_col'] = df_sample.apply(lambda x: foo(x['A'],x['B']),axis=1)
#axis = 1 means extract data from rows of the dataframe. by default, it extracts from columns. (Set axis to 0 and see what happens)

2.2 Null值

• 去掉zip=Nan的行

df = df[df['Incident Zip'].notnull()]
df = df[(df['Latitude'].notnull()) & (df['Longitude'].notnull())  & (df['Closed Date'].notnull())]

• 去除含有空值的行或列

• df.dropna(axis=0, how='any')
  #axis=0行；axis=1列；
  #how=any有元素缺失就删除；how=all全部缺失才删除
  df.fillna(value=None,method=None,axis=None)
  #value和method二选一:value意为用什么值去填充；
  #method：ffill前一个值；backfill/bfill后一个值；
  #axis=1横向的前后值替换；axis=0上下的值替换
  df.isna() df.isnull()
  #判断是否为空值
  

2.3 两个df合并与重塑

• concat: 0为上下合并;1为左右合并

pd.concat([df1,df2], axis=0, join='outer',keys=['x','y'])

objs: series，dataframe或者是panel构成的序列lsit 
axis： 需要合并链接的轴，0是行，1是列 
join：连接的方式 inner，或者outer

要在相接的时候在加上一个层次的key来识别数据源自于哪张表，可以增加key参数；

join='inner'交集；join='outer'并集

• merge:通过key左右合并列

result = pd.merge(left, right, on=['key1', 'key2'])

how='left'保留左表的所有数据；how=‘outer’保留两表所有信息；how=‘inner’保留公共部分

• join：左右合并

df1.join(df2) #左右合并 没有的就填Nan
df1.join(df2,how='right') #取共同行

 2.4 其他

• where判断

df['UP']=np.where(df['Close']>df['Open'],1,0) #增加一列，判断是否up

• percentage change

df['Close'].pct_change() #One timeperiod percent change

• statistical用法

grouped.mean()
grouped.std()
grouped.count()
grouped.cumcount()

• 定位

df.loc[date(2018,9,21)]
df.iloc[0]

• 命名

df = pd.DataFrame({"aa":[1,2,3], "bb": [4,5,6]})
df.columns=["a", "b"]  # rename all columns
df.rename(columns={"a":"a1"}) #选择一部分重命名