Pig
余建新-18588497759
这个作者很懒,什么都没留下…
展开
-
使用Pig对手机上网日志进行分析
在成功安装Pig的基础上,本文将使用Pig对手机上网日志进行分析,具体步骤如下: 写在前面: 手机上网日志文件phone_log.txt,文件内容 及 字段说明部分截图如下 需求分析 显示每个手机号的上网流量情况。 依次完成以下步骤: 1、将Linux本地文件phone_log.txt上传到HDFS 执行命令dump C; 查看经过以上步骤处理后的原创 2014-05-24 10:17:59 · 2678 阅读 · 2 评论 -
详细图解 Pig介绍、安装配置
写在前面一: 本文总结“Hadoop生态系统”中的其中一员——Apache Hive 写在前面二: 环境说明: 一、什么是Apache Hive 摘自官网: Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机原创 2014-05-24 08:42:32 · 2547 阅读 · 0 评论 -
向Pig脚本中传入参数
A = LOAD '$INPUT_DIR' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray,t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray); B = FOREACH A GENERATE msisdn, t6, t7原创 2015-03-16 20:00:20 · 1318 阅读 · 0 评论 -
Hadoop-2.2.0、pig-0.13.0安装测试
cd /opt/pig/ tar -zxvf pig-0.13.0.tar.gz ln -s pig-0.13.0 pig vi /etc/profile export PIG_HOME=/opt/pig/pig export PATH=$PATH:$PIG_HOME/bin export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop pig –原创 2015-03-11 17:30:05 · 691 阅读 · 0 评论