Pyodps数据探查与实例运行脚本获取

前言

1.工作中使用Pyodps探查数据时，为了更快捷地做描述性分析，这里用本地化的Pyodps进行了下尝试。

2.在使用Pyodps读取实例日志时，有时需要获得实例运行的脚本日志，但是官方文档缺乏这方面的描述，因此也在这记录下测试出的路径，后面也可以根据需要做成动态属性。

内容

1.描述性数据探查主要是获得每个字段的非\空值，枚举值，最值，长度最值。

通过odps.df中的DataFrame方法可以直接获得PYODPS内核的DataFrame，并且可以获得分区，获取DataFrame会很快，但对DF实际调用方法时，会生成实例进行计算，数据量大时会比较慢。

另外：Pyodps可以使用to_pandas()将空间中的对象转换为Pandas接口的DataFrame格式，然后就可以使用我们熟悉的Pandas对其进行各种操作了。需要注意的是to_pandas函数中有个wrap参数（默认是False），如果设置为True，得到的对象将是PYODPS内核的Dataframe，反之则是Pandas内核的DataFrame，两种对象的方法和属性是不尽相同的。

代码示例：

from openpyxl import load_workbook
from odps import ODPS
import sys
from importlib import reload
reload(sys)
import numpy as np
import pandas as pd
from odps.models import Schema, Column, Partition
from odps.df import DataFrame
import datetime

def get_odps(project,akid,akse):
    "用来设置账号AK连接ODPS"
    myodps = ODPS(akid,
                  akse,
                  project,
                  endpoint = endpoint, #设置endpoint
                  tunnel_endpoint = tunnel_endpoint) #设置tunnel_endpoint
    return myodps


def getYesterday(): 
    today=datetime.date.today() 
    oneday=datetime.timedelta(days=1) 
    yesterday=today-oneday
    yesterday=yesterday.strftime('%Y%m%d') #我的分区是yyyymmdd的日期格式
    return yesterday


def DataExploration(o,table_name,parti_info):
    df=DataFrame(o.get_table(table_name).get_partition(parti_info))
    ans_df=[]
    for column in df.schema:
        ans_df.append([column.name,df[column.name].count(),df[column.name].isnull().sum(),df[column.name].nunique(),df[column.name].max(),df[column.name].min(),df[column.name].len().max(),df[column.name].len().min()])
    df0=pd.DataFrame(ans_df,columns=['字段名','非空值总量','空值总量','枚举值','最大值','最小值','最大长度','最小长度'])
    return df0

if __name__ == '__main__':
    #定义项目空间
    project = project #选择项目空间名
    akid = akid #设置akid
    akse = akse #设置akse
    o = get_odps(project,akid,akse) #获取项目空间
    table_name = table_name #输入表名
    parti_info='dt={}'.format(getYesterday()) #获取昨日的日期以在探查数据时获得前一天的分区,表中分区字段为dt
    df=DataExploration(o,table_name,parti_info)
    writer = pd.ExcelWriter(r'***.xlsx',engine = 'openpyxl') #写入xlsx
    writer.book = load_workbook(r'***.xlsx')
    df.to_excel(writer, sheet_name = table_name)
    writer.save()
    writer.close()

2.为了获取实例运行的脚本，这里选择了从detail日志中读取。

代码示例：

# o.list_instances()可以获得项目空间中的所有实例
# 通过实例的属性（.id）可以获得实例的ID

instance=o.get_instance('************************') #用实例ID获得实例
ans=instance.get_task_names() #获得实例下的task名称
detail=instance.get_task_detail2(ans) #获得task的detail
print(detail['mapReduce']['plans'][-1]['query']) #获得task的运行脚本

总结

由于目前Pyodps的官方文档都比较粗犷，目前也刚上手尝试，因此使用方式都比较僵硬，后续如果了解更多，再回来修改。