Hive 提供类SQL接口处理HDFS上数据,同时提供基于hadoop数据库访问,从而降低程序员的工作强度,省去了map/reduce的编程时间,为快速大数据分析提供了很好手段,下面是基于Hive数据分析一个实例。
1, 环境配置:
Hadoop 2.6 + hive + mysql (linux)
搭建步骤可参考相关文档,此处略去。
2, 数据源文件获取(仅作参考):
http://seanlahman.com/files/database/lahman591-csv.zip
3, 实战目标:
目标源文件为篮球运动分析记录,通过HIve找出每年参赛者最高运动次数并按升序排列出来,并且找个这个参赛者的id, 数据源包括多年记录,总共超过9万行数据,
4, 解压文件找出Batting.csv 和Master.csv 两个源文件,并且上传到hadoop 的HDFS文件系统中:
- HDFS上创建data文件夹