esproc vs python 3 数据处理

1.采样(随机的将数据分成30%和70%)

esproc

	A
1	=now()
2	=file("C:\\Users\\Sean\\Desktop\\esproc_vs_python\\EMPLOYEE.txt")
3	=A2.import@t()
4	=A3.sort(rand())(to(A3.len()*0.3))
5	=A3\A4
6	=interval@ms(A1,now())

A4：A.sort(x)按照x对A进行排序，并取长度的30%

A5：差集得到剩下的70%

python：

import time

import pandas as pd

import datetime

import numpy as np

import random

s = time.time()

data = pd.read_csv("C:/Users/Sean/Desktop/esproc_vs_python/EMPLOYEE_nan.txt",sep="\t")

row_no = pd.Series(range(data.shape[0]))

per_30_no = row_no.sample(frac=0.3)

per_70_no = row_no[~row_no.isin(per_30_no)]

data_per_30 = data.iloc[per_30_no,:]

data_per_70 = data.iloc[per_70_no,:]

print(data_per_30)

print(data_per_70)

e = time.time()

print(e-s)

pd.Series()得到所有行的行号

Series.sample()进行抽样，~表示逻辑非。最后通过iloc[]切片截取数据。

结果：

esproc

python

	耗时
esproc	0.006
python	0.067

 

2.数字的字段不变，其他字段转换为数字

esproc 

	A	B
1	=now()
2	=file("C:\\Users\\Sean\\Desktop\\esproc_vs_python\\EMPLOYEE.txt")
3	=A2.import@t()
4	=   A3(1).array().pselect@a(!ifnumber(~))
5	for A4	=A3.group(~.field(A5))
6		>B5.run(~.field(A5,B5.#))
7	=interval@ms(A1,now())

A4：A3(1).array()得到第一条记录的序列。r.ifnumber(~)判断记录中的字段是否是实数，如果是返回true，否则返回false；pselect@a()找到满足条件的序号组成序列

B5：分别按照字段分组

B6：A.run(xi)针对序列/排列A中每个成员计算表达式xi，计算过程中可能对A进行修改，最后返回修改后的A 。B5.#，表示当前的值。这里是用当前的组号修改原来的字段值。

python：

import time

import pandas as pd

import datetime

import numpy as np

import random

s = time.time()

data = pd.read_csv("C:/Users/Sean/Desktop/esproc_vs_python/EMPLOYEE.txt",sep="\t")

class_mapping = {}

columns = data.columns

for column in columns:

    try:

        data[column] = data[column].apply(pd.to_numeric)

    except ValueError:

        lg = list(data.groupby(column))

        class_mapping = {}

        for i in range(len(lg)):

            class_mapping[lg[i][0]]=i+1

        data[column]=data[column].map(class_mapping)

print(data)

e = time.time()

print(e-s)

得到数据的字段序列；

pd.to_numric是将字符串化的数字（如‘1’，‘1.4’）转化成数字。

循环字段，尝试df.apply(pd.to_numric)将字段数字化。如果不能数字化，以该字段为key分组，形成该分组的字典。

最后利用df.map(dic)函数修改字段值为字典对应的数字。

结果：

esproc

python

	耗时
esproc	0.015
python	0.180

 

3. 用户重复听的音乐的时间求平均值

esproc

	A
1	=now()
2	=file("C:/Users/Sean/Desktop/kaggle_data/music_project_data/user_watch1.csv")
3	=A2.import@t(;,",")
4	=A3.groups(user:user,music:music;avg(listen_time):listen_time)
5	=interval@ms(A1,now())

A4：T.groups(),将序表按照一个或多个字段/表达式进行分组聚合后,形成新序表，这里是按照user，music两个字段进行分组聚合，将listen_time字段求均值，作为新的listen_time.

python：

import time

import pandas as pd

import datetime

import numpy as np

import random

s = time.time()

user_watch_data = pd.read_csv('C:/Users/Sean/Desktop/kaggle_data/music_project_data/user_watch1.csv')

u_i_watch_list = []

u_i_listen_m = user_watch_data.groupby(by=['user','music'],as_index=False).mean()

print(u_i_listen_m)

e = time.time()

print(e-s)

使用df.groupby(by,as_index)，by参数代表需要分组的键，as_index参数代表是否将键当做索引，mean()函数代表求平均值

结果：

esproc

python

 

	耗时
esproc	0.004
python	0.030

 

4. 用户重复听的音乐的时间求平均值后，按照music字段合并long字段，并用listen_time/long作为score字段

esproc

	A
1	=now()
2	=file("C:/Users/Sean/Desktop/kaggle_data/music_project_data/user_watch1.csv")
3	=file("C:/Users/Sean/Desktop/kaggle_data/music_project_data/music_meta1.csv")
4	=A2.import@t(;,",")
5	=A3.import@t(;,",").keys(music)
6	=A4.groups(user:user,music:music;avg(listen_time):listen_time)
7	=A6.join(music,A5,listen_time/long:score).new(user,music,score)
8	=interval@ms(A1,now())

A5:T.keys()设置主键。

A7:T.join(C,T2:k,x)用序表T的字段C匹配序表/排列T2的键k找到相应记录，在T上拼接T2中的表达式x作为字段F添加到T上形成新序表。new（）新建序表，用user，music，score作为字段

python：

import time

import pandas as pd

import datetime

import numpy as np

import random

s = time.time()

user_watch_data = pd.read_csv('C:/Users/Sean/Desktop/kaggle_data/music_project_data/user_watch1.csv')

music_meta_data = pd.read_csv('C:/Users/Sean/Desktop/kaggle_data/music_project_data/music_meta1.csv')

u_i_watch_list = []

u_i_listen_m = user_watch_data.groupby(by=['user','music'],as_index=False).mean()

data_merge = pd.merge(u_i_listen_m,music_meta_data,on='music')

data_merge['score'] = data_merge['listen_time']/data_merge['long']

u_i_s_data = data_merge[['user','music','score']]

print(u_i_s_data)

e = time.time()

print(e-s)

pd.merge(df1,df2,on)，这里是以music作为键来合并df1和df2.

结果：

esproc

python

	耗时
esproc	0.006
python	0.042

 

5. music作为索引，user作为字段，score作为分数，产生透视表

Esproc

	A
1	=now()
2	=file("C:/Users/Sean/Desktop/kaggle_data/music_project_data/user_watch1.csv")
3	=file("C:/Users/Sean/Desktop/kaggle_data/music_project_data/music_meta1.csv")
4	=A2.import@t(;,",")
5	=A3.import@t(;,",").keys(music)
6	=A4.groups(user:user,music:music;avg(listen_time):listen_time)
7	=A6.join(music,A5,listen_time/long:score).new(user,music,score)
8	=now()
9	=A7.id(user).concat@cq()
10	=A7.pivot(music;user,score;${A9})
11	=interval@ms(A8,now())

A8：从这里计算时间。

A9：A.concat(d)用分隔符d连接A中成员返回成字符串，并处理子序列。d省略时将成员直接连起来。@c选项表示用逗号连接，相当于A.concat(“,”)，@q选项串成员接入时加上引号，缺省不会处理

C10: A.pivot(g,…;F,V;Ni:N'i,…) 以字段/表达式g为组，将每组中的以F和V为字段列的数据转换成以Ni和N'i为字段列的数据，以实现行和列的转换。Ni缺省为F中的不重复字段值，N'i缺省为Ni。

python：

import time

import pandas as pd

import numpy as np

import random

user_watch_data = pd.read_csv('C:/Users/Sean/Desktop/kaggle_data/music_project_data/user_watch1.csv')

music_meta_data = pd.read_csv('C:/Users/Sean/Desktop/kaggle_data/music_project_data/music_meta1.csv')

u_i_watch_list = []

u_i_listen_m = user_watch_data.groupby(['user','music'],as_index=False).mean()

data_merge = pd.merge(u_i_listen_m,music_meta_data,on='music')

data_merge['score'] = data_merge['listen_time']/data_merge['long']

u_i_s_data = data_merge[['user','music','score']]

s = time.time()

u_i_s_data = pd.pivot_table(u_i_s_data,index = 'music',columns='user',values='score')

print(u_i_s_data)

e = time.time()

print(e-s)

使用pd.pivot_table(df,index,columns,values)生成透视表。

结果：

esproc

python

	耗时
esproc	0.001
python	0.023

 

小结：本节我们对数据进行处理，包含了数据的采样、合并、计算、产生透视表，在处理过程中，esproc分步显示结果的优势就体现出来了，每对数据进行处理一步，我们就可以清晰的查看结果，而不必像python那样每次都要print()一下。这里想吐槽一下，esproc中没有提供查看字段类型的函数，这带来了一些麻烦，但没有更好的办法，因为esproc是泛型的，它支持同一列的数据类型不一样，不支持判定单一类型字段的类型。

EMPLOYEE.txt

music_meta1.csv

user_watch1.csv