大数据技术入门：impala查询引擎，手握5家大厂offer

• 具有数据仓库的特性，可对 Hive 数据直接做数据分析

三、功能特性

===================================================================

• Impala支持内存中数据处理，它访问/分析存储在Hadoop数据节点上的数据，而无需数据移动。

• 使用类SQL查询访问数据。

• Impala为HDFS中的数据提供了更快的访问。

• 可以将数据存储在Impala存储系统中，如Apache HBase和Amazon s3。

• Impala支持各种文件格式，如LZO，序列文件，Avro，RCFile和Parquet。

四、Impala 工作原理

==========================================================================

Impalad:

Impala 核心组件，运行在各个数据节点上面， 守护进程 Impala daemon，它负责接收从 impala-shell、Hue、JDBC、ODBC 等接口发送的查询语句，解析 SQL 语句并执行查询任务，任务完成返回结果给到客户端。Impalad 内部是由 Query Planner、Query Coordinator 和 Query Executor 三部分组成：。

State Store:

负责检查集群各个节点上 Impala daemon 的健康状态，同时不间断地将结果反馈给各个 Impala daemon。守护进程 ：statestored，整个集群只运行一个进程。

Catalogd：

负责元数据管理，可以从 Hive 元数据库中提取更新元数据给其他组件，也能将元数据变化通知给集群的各个节点，

五、日常运维指令

=====================================================================

连接 Impala

impala-shell  -i data -s xxx -d rawdata -k

-d：指定数据库登录

-i：指定 impalad 登录，这个一般在 元数据节点连接 impala 的时候，要指定

-k：如果启用 kerberos，则需要指定

-s：指定 kerberos 登录的账号，如果不指定，默认账号是 “impala” ，如果混部 kerberos 场景下，客户给我们的 principal 是 sa_cluster，那就要指定 -s 为 sa_cluster

-q：直接执行 sql 语句，不用进入  impala-shell 环境

-o：查询结果输出到指定文件

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

最后的话

无论是哪家公司，都很重视Spring框架技术，重视基础，所以千万别小看任何知识。面试是一个双向选择的过程，不要抱着畏惧的心态去面试，不利于自己的发挥。
同时看中的应该不止薪资，还要看你是不是真的喜欢这家公司，好了希望这篇文章对大家有帮助！

部分截图：

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
[外链图片转存中…(img-UqsnbtvH-1712719381799)]