Pig Latin语句进行简单的营销活动分析

踩了几个坑,电脑又中了毒,但是终于把程序调通了,Pig Latin游戏过了一个小关。

先来介绍下数据。营销活动是每个企业必须要进行的活动,但是影响营销活动的成功因素的是什么呢?虽然中小样本量容易建模,但是如果碰巧有几千个产品,每个产品每天都会进行很多营销活动,累计样本量上千万,如果使用集群进行分析呢?

这里举了个简单的例子:从星期、天气、广告方式、销量这几个简单的字段,对营销活动进行分析。这里举的例子是计算每种广告方式的平均销量,从而了解哪种广告方式更为有效。数据用逗号分割,广告方式有多种,用空格分割。

星期       天气         广告                   销量

Sunday,sunshine,newspaper weixin,300
Thursday,rainy,subtrain weixin newspaper,200
Monday,rainy,TV newspaper,200
Monday,sunshine,TV,200
Tuesday,sunshine,TV subtrain,100
Satuday,rainy,newspaper weixin,500
现在要做的是把各种广告方式的销量之和计算出来,然后求平均。这个小样本用python或者java都很容易做到,现在是放到集群上,用mapreduce或者pig Latin语句来做。

首先用了pig Latin的stream,写了python的代码,好了不说了,直接上代码:

#!/usr/bin/env python
import sys
for line in sys.stdin:
  date,weather,adv,sales=line.replace('\n','').split('\t')
  a=adv.split(' ')
  for item in a:
     print ("%s\t%s" % (item,sales))

这段python的意思是从输入流中读取每行记录,并且将数据形式变换成这种样子,然后从输出流中输出:

(newspaper,300)
(weixin,300)
(subtrain,200)
(weixin,200)
(newspaper,200)
(TV,200)
(newspaper,200)
(TV,200)
(TV,100)
(subtrain,100)
(newspaper,500)
(weixin,500)
然后用pig latin语句进行分组,不说了,直接上代码:

records = load '/home/user/data.txt' using PigStorage(',') as (date:chararray,weather:chararray,advertise:chararray,sales:int);
define ad `advertise.py` ship ('/home/lufang/advertise.py');
f_records = stream records through ad as (advertise:chararray,sales:int);
grouped_records = group f_records by advertise;
AVG_tem = foreach grouped_records generate group,AVG (f_records.sales);

最后的结果是介个样子的:

(TV,166.66666666666666)
(weixin,333.3333333333333)
(subtrain,150.0)
(newspaper,300.0)

看来微信的营销效果最好,是不是很神奇啦?

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页