pig简单案例统计每个ip的访问次数

最新推荐文章于 2023-02-21 15:53:24 发布

追求者2016

最新推荐文章于 2023-02-21 15:53:24 发布

阅读量1k

点赞数

分类专栏：云计算文章标签： pig

本文链接：https://blog.csdn.net/example440982/article/details/53313636

版权

云计算专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Pig的搭建

rpm -ivh *pig*.rpm #pig rpm包
source /etc/profile

本地模式 pig -x local 默认 mapreduce模式

Pig简单案例 pig latin语言 help查看

pig
grunt> copyFromLocal '/var/httpd/access_log /input/log.txt
grund> A = LOAD '/input/log.txt' USING PigStorage(' ') AS (ip,other);
grunt> group_ip = group A by ip;
grunt> result = foreach group_ip generate group,COUNT(A);
grunt> STORE result INTO 'output/group_ip_count';
grunt> cat /output/group_ip_count
or dump result 直接运行查看统计结果

A: 代表一个关系，一个表，一个变量，这个表中存放了所有ip记录
LOAD ‘/log.txt’ : 要加载的文件
USING PigStorage(’ ‘) : 使用空格作为分隔符
ip:others : 表中第一列名ip，数据类型其他类型

统计结果：

统计结果