参考炼数成金课程及hadoop权威指南
本次课程主要讲述pig
pig可以看做是hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作。pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig Latin进行数据处理，是一种轻量级的脚本语言。
pig可以看成是个映射器，pig latin是被映射成mapreduce来执行的。
下载：
在官网上下载pig，有包括debian在内的各种版本可供下载
编辑环境变量：
本文是Hadoop初级课程的一部分，重点介绍Pig及其在数据分析中的应用。Pig作为Hadoop的客户端，提供了一种类似SQL的Pig Latin语言进行数据处理，适合不熟悉Java的用户。在CentOS系统中，设置了环境变量后，可以在本地或集群模式下通过grunt shell操作Pig。Pig的工作模式包括本地和MapReduce，提供了多种运行方式和数据类型，如Bag、Tuple和Field。通过load、filter、foreach、dump和store等语句，可以实现数据的加载、过滤、聚合和存储。文中还举例说明了如何找出每年的最大温度。
最低0.47元/天 解锁文章
1524
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
