*
大数据分析工程师入门-----Hue&Zeppelin
原文链接:https://mp.csdn.net/mdeditor/102632668
日常数据分析工作中,很多时候都在处理临时性的需求,这种需求要求快速响应和很快得出结果,如果每一个需求都需要写在代码文件中,然后编译打包上传再执行,就会非常浪费时间,尤其是写出来的查询语句频繁出错,需要不断改正再重复打包上传的时候。
所以继上一篇Linux常用命令工具篇讲解完成以后,本文讲解另外两个非常重要的数据分析工作中会使用到的工具:Hue和Zeppelin。
它们都提供了非常方便的数据查询UI界面,能够很方便的进行多次查询并且能够很快地查询出结果。
那么,为什么要将两种工具都跟大家介绍一下呢?
那是因为它们都有着属于自己的特性和优势,小伙伴们需要根据不同使用场景择优选择。考虑到有的小伙伴对这两种工具目前还没有很丰富的使用经验,在本文开头不对它们的异同之处介绍说明,待大家阅读完本文正文,在文章的最后跟大家一起来总结对比一下它们的差别,这样大家理解起来会更容易一些。
(本文分为上下两段,分别由本人撰写Hue部分,同组小伙伴凯凯连撰写Zeppelin部分,所以阅读起来会感觉行文风格和知识输出方式略有差异,先就此提前说明一下。)
**Hue**
为什么要讲Hue?
Hue是一个Web应用,设计初衷是简化用户和Hadoop集群间的交互。
大数据的框架很多,通常在解决一个问题的时候,会用到多种框架,这个时候有一个统一的web UI界面去管理各个大数据常用框架是非常方便的。Hue几乎可以支持所有大数据框架,包含有HDFS文件系统的页面(调用HDFSAPI,进行增删改查的操作),有HIVE UI界面(使用HiveServer2,JDBC方式连接,可以在页面上编写HiveQL语句,进行数据分析查询),YARN监控及Oozie工作流任务调度页面等等。
Hue通过把这些大数据技术栈整合在一起,通过统一的Web UI来访问和管理,极大地提高了大数据用户和管理员的工作效率
日常数据分析工作中,Hue几乎每天都会用到,所以需要熟练掌握Hue的常用功能
主要讲解目标
围绕日常数据分析工作中使用HiveQL在Hue上查询数据用到的功能点,写一篇类似使用手册的Hue工具操作指南。
主要讲解思路
简单来说,就以一个用户第一次进入Hue来进行一个简单的HiveQL查询为例,逐步讲解日常最常使用到的功能点。
1.1首先进入的主界面功能模块简介
通过已经开通了权限的用户名密码登陆Hue,首先进入的主界面如下: