hadoop入门--使用Apache Pig统计每个航班班次

案例基于hadoop 2.73，伪分布式集群

---

1，数据包导入hadoop集群hdfs的/user/root目录下

hdfs dfs -copyFromLocal 2008.csv /user/root

2，编写totalmiles.pig脚本

records = LOAD '2008.csv' USING PigStorage(',') AS
(Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTime,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance:int,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDelay,SecurityDelay,LateAircraftDelay);
milage_recs = GROUP records ALL;
tot_miles = FOREACH milage_recs GENERATE SUM(records.Distance);
STORE tot_miles INTO '/user/root/totalmiles';

• LOAD：读取hdfs的某个文件或某个目录下所有文件。

• USING：默认情况下Pig解析文件内容是以Tab空格相隔进行的，可以指定函数定制Pig解析是以逗号进行的。

• AS xx：hdfs可以存储任何原始数据，Pig需要从hdfs读取数据并解析成Pig理解的数据模型。

• GROUP … ALL：把每类结果集进行聚合操作。

• FOREACH A GENERATE B：A结果集使用B函数转换成一个单一的值。

• STORE INTO：把结果存储到hdfs。

3，命令行执行totalmiles.pig脚本

pig -x mapreduce totalmiles.pig

提示：-x+mapreduce/spark/tez等，选择哪一种，是根据集群所选取的计算框架是哪种。

运行情况：

Details at logfile: /usr/test/code/pig_1516001376428.log
2018-01-14 23:29:39,112 [main] INFO  org.apache.pig.Main - Pig script completed in 3 seconds and 128 milliseconds (3128 ms)

4，查看结果

hdfs dfs -cat /user/root/totalmiles/part-r-00000

结果情况：

[root@slave1 code]# hdfs dfs -cat /user/root/totalmiles/part-r-00000
5091775499

---

资料：
1、《Hadoop For Dummies》
2、《Aapache Pig Getting Started》