Pig
余建新-18588497759
这个作者很懒,什么都没留下…
展开
-
使用Pig对手机上网日志进行分析
在成功安装Pig的基础上,本文将使用Pig对手机上网日志进行分析,具体步骤如下:写在前面:手机上网日志文件phone_log.txt,文件内容 及 字段说明部分截图如下需求分析显示每个手机号的上网流量情况。依次完成以下步骤:1、将Linux本地文件phone_log.txt上传到HDFS执行命令dump C; 查看经过以上步骤处理后的原创 2014-05-24 10:17:59 · 2678 阅读 · 2 评论 -
详细图解 Pig介绍、安装配置
写在前面一:本文总结“Hadoop生态系统”中的其中一员——Apache Hive写在前面二:环境说明:一、什么是Apache Hive摘自官网: Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机原创 2014-05-24 08:42:32 · 2547 阅读 · 0 评论 -
向Pig脚本中传入参数
A = LOAD '$INPUT_DIR' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray,t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);B = FOREACH A GENERATE msisdn, t6, t7原创 2015-03-16 20:00:20 · 1318 阅读 · 0 评论 -
Hadoop-2.2.0、pig-0.13.0安装测试
cd /opt/pig/tar -zxvf pig-0.13.0.tar.gzln -s pig-0.13.0 pigvi /etc/profileexport PIG_HOME=/opt/pig/pigexport PATH=$PATH:$PIG_HOME/binexport PIG_CLASSPATH=$HADOOP_HOME/etc/hadooppig –原创 2015-03-11 17:30:05 · 691 阅读 · 0 评论