什么？多个体多维度分析效率能从3天压缩到30分钟？

2019独角兽企业重金招聘Python工程师标准>>>

在进行机器学习的时候，我们需要对单个体进行多维度分析，比如说在日志审计系统，我们需要对每一个操作账户进行操作次数统计，总操作次数统计，方差，极值，中值，突变度等计算。有时，也要计算非工作时间的访问，方差，极值，中值，突变度等数据。

过去的做法是，读取每一个账户的操作记录，然后分别计算一系列指标，最后通过cluster_foreach循环方式解决......

这种方式的缺点是显而易见的，10000个人需要计算10000次，实际的项目经验是百万人级别，集群任务过多对硬件的要求也比较大，项目执行起来难度就比较大。

在长期实践中，OpenFEA团队不断探索创新，引入numpy模块，创新性的解决了多个体多维度计算问题，在32万个体的总过2000万条记录上，使用该模块，在未使用集群的情况下，在30分钟时间内顺利计算了40个指标，充分展现了fea在数据分析领域的强大计算能力和极佳的便捷性。

在这里，笔者不打算介绍具体的项目，而是把计算过程中用的核心概念，核心方法展示出来，结合一个小数据，让大家在实际操作中具体的感受numpy模块是什么，能进行什么运算，怎么调用运算等，这样便于大家抓住本质。

1、numpy模块的高级运算——调用方法

原始数据如下：

1）和udf0.df_row_lambda 函数结合

a=@udf a by udf0.df_rowl with (lambda x:np.sum(x))

可以看见，np.sum()就是对整行求和

a=@udf a by udf0.df_row_lambda with (x:np.sum(x[:7]))

可以发现，x[0:7]就是对a行取前7列的意思

2）numpy模块的实质

提供了一个多维函数模块，28=np.sum(1,2,3,4,5,6,7)

可以通过lambda函数调用

2、numpy模块的高级运算——设定范围

原始数据如下：

1） 对第1行“取0到2求和”，第2行“取1到3求和”，...

a=@udf a by udf0.df_rowl with (lambda x:np.sum(x[x["start"]:x["end"]+1]))

可以看见，在lambda运算中，“运算元素”可以随意组合

2） 对第1行“取0到2求和”，第2行“取1到2的最大值”，...

l a=@udf a by udf0.df_rowl with (lambda x:np.sum(x[x["start"]:x["end"]+1]) if x["start"]%2==0 else np.max(x[x["start"]:x["end"]]) )

把if语句也套用进来了，处理的灵活性大大增强

3）对大于3的值求和

a=@udf a by udf0.df_rowl with (lambda x:np.dot(x[0:],x[0:]>3))

3、numpy模块的高级运算——错位运算

原始数据如下：

1）第一行的“1到3列”和“0到2列”错位相减，然后求和

（2-1）+（3-2）+（4-3）=3

a=@udf a by udf0.df_rowl with (lambda x:np.sum(np.array(x[x["start"]+1:x["end"]+2])-np.array(x[x["start"]:x["end"]+1])))

可以看到x[7]和x["start"]是同一个值

2）函数详解

np.array()函数实现了，把序列x[0:3]="1,2,3"转换成为矩阵(1,2,3)

np.sum()函数同时支持序列元素求和及矩阵元素求和

4、numpy模块的高级运算——必要说明

1）numpy模块中的方差，标准差的定义和fea基本运算中的agg_group模块中的定义不一致，全样本方差和样本方差不同（除以n还是除以n-1的差别）

2）numpy模块中average函数和其他函数的处理细节不是很一致，使用前需要验证，确认可以满足算法需求

5、numpy模块的高级运算——运算优势

1）把复杂的错位运算，变成一个lambda表达式，可以对百万级的运算个体同时计算某个测量指标，而不要分个体逐一计算，彻底解决机器学习中，个体多，维度多的分析计算需求。

2）可以和lambda函数，深度套用，灵活多变，非常适合科学计算。

3）语言接近矩阵语言，稍微有点矩阵知识即可灵活使用。

6、总结

1）通过上面的演示，相信大家可以通过lambda函数，顺利调用numpy模块，对数据进行切块分段计算，错位计算也都有了一定的认知。

2）需要提醒大家的是，数据分析本身就是很具有灵活性，在实际项目中，结果是否符合自己的期望，是否正确，很多时候不是“工具本身”说了算，而是“项目需求”要怎么做，确切搞明白每一段代码运算结果的“项目含义”。

3）再次提醒大家，numpy模块异常丰富，本文只是一个模型、展示，将相关的概念、用法、技巧“简单点到”而做不到“包教包会”，需要大家根据项目本身，提出概念、模型，然后翻译成numpy语言。

转载于:https://my.oschina.net/u/3115904/blog/1505701