impala初期使用零碎记录

最新推荐文章于 2022-02-24 17:08:35 发布
VIP文章 最新推荐文章于 2022-02-24 17:08:35 发布
阅读量2.6k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011750989/article/details/50160253
版权

搭建

impala搭建参考cdh官方文档，有详细步骤，其中copy hdfs-site.xml、core-site.xml、hive-site.xml至/etc/impala/conf后

注意参数dfs.client.read.shortcircuit只允许在/etc/impala/conf里core-site.xml hdfs-site.xml里配置，不在/etc/hadoop里配置
并且两边的配置都不要设置dfs.client.use.legacy.blockreader.local=true，如果按照官方文档步骤配置该参数会报错。
另外copy过来的hive-site.xml需要配置参数hive.metastore.uris

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip:9083</value>
</property>
<property>

 修改/etc/default/impala文件catalog,state_store的ip，建议catalog,state_store安装在namenode机器 

IMPALA_CATALOG_SERVICE_HOST=127.0.0.1
IMPALA_STATE_STORE_HOST=127.0.0.1
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000

指定内存使用上限mem_limit

IMPALA_SERVER_ARGS=" \
    -log
最低0.47元/天 解锁文章
young-ming
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据平台CDH和Impala的使用
02-24
Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度...
Impala create file /tmp/impala-scratch 报错
Sin_Geek成长の迹
01-09 1335
背景 使用impala对大数据量进行处理时出现如下错误 Create file /tmp/impala-scratch/XXX failed with errno=2 description=Error(2): No such file or directory 原因 查资料发现impala在大数据量处理时会用到磁盘保存中间数据 By default, intermediate files us...
Impala 4.0 启用 LZO
昧光的专栏
05-16 725
Impala 4.0 中移除了 Impala-lzo 的直接支持，下面是 “Impala 4 Breaking Changes” 邮件中关于移除 Impala-lzo 支持的说明及 JIRA，IMPALA-9709 追踪了 Impala-lzo 的移除。 Remove support for Impala-lzo: Impala-lzo provides code to allow Impala to read the LZO compressed tables. LZO is GPL licensed,
impala理论篇之四：Impala支持的文件格式
Allenzyg的博客
06-03 2817
Impala支持的文件格式 Impala 支持几种熟悉的 Apache Hadoop 中使用的文件格式。Impala 可以加载或查询其他 Hadoop 组件如 Pig 或 MapReduce 产生的数据文件，并且 Impala 产生的数据文件也可以被其他组件使用。 Impala 表使用的文件格式具有重要的性能意义。一些文件格式包括压缩支持，会影响到硬盘上数据的大小，因此，也影响反序列化数据时所需的 I/O 和 CPU 资源的数量。因为查询通常以移动和解压缩数据开始，所需的 I/O 和 CPU 资源是查询
impala的时间函数
忄凝^的博客
02-24 1654
这里目录6.5、获取时间函数6.5.1、时间格式转换6.5.2、时间计算函数6.5.3、获取指定单位时间函数6.5.4、时间比较函数 6.5、获取时间函数 -- 返回客户端所在时区的当前时间 select CURRENT_TIMESTAMP() ; -- 返回详细时间，类型timestamp：2021-02-04 08:46:27 -- 返回客户端所在时区的当前时间 select now(); -- 返回详细时间，类型timestamp：2021-02-04 08:46:27 -- 根据本地系统的时
【Impala】根据当前日期取去年、今年、上月、日期差
weixin_41673714的博客
09-24 3360
--去年 SUBSTR(REGEXP_REPLACE(CAST(YEARS_ADD(NOW(), 1) AS STRING) ,'-',''),1,4) AS LAST_YEAR SUBSTR(REGEXP_REPLACE(CAST(NOW() AS STRING),'-',''),1,4) AS THIS YEAR --日期差 DATEDIFF(FROM_UNIXTIME(UNIX_TIMESTAMP(END_DATE,'YYYYMMDD'),'YYYY-MM-DD'),--将end_date字段转为.
impala 详细使用手册.pdf
最新发布
04-05
impala 详细使用手册.pdf
JDBC Driver for Impala 的使用教程
12-25
Impala的JDBC Driver 使用教程
impala的使用教程
03-22
impala的使用教程impala的使用教程impala的使用教程impala的使用教程impala的使用教程
Impala的可扩展性注意事项
sunchengquan的博客
06-19 1662
本节介绍了群集大小和数据量如何影响Impala表的SQL性能和架构设计。 通常，添加更多群集容量可减少由于内存限制或磁盘吞吐量引起的问题。 另一方面，较大的集群更可能具有其他类型的可扩展性问题，例如导致查询性能问题的单个慢节点。 与可扩展性和性能调优相关的一个很好的技巧来源是Impala Cookbook演示。 随着新功能的出现和新基准的执行，这些幻灯片会定期更新。 许多表或分区对Impala目录...
impala问题集
qqqq0199181的博客
04-30 1510
impala集成hbase后查询hbase表报错 报错信息 AnalysisException: Failed to load metadata for table: 'customer_hbase' CAUSED BY: TableLoadingException: Failed to load metadata for HBase table: customer_hbase CAUSED BY...
Impala学习--Impala前端代码分析，Impala后端代码分析
novelly的专栏
11-26 2228
Impala前端代码分析 Table of Contents 1 概述2 语法分析和ParseNode3 Analyzer4 生成执行计划和Planner5 Catalog 1 概述 前端代码使用java。感觉使用java的原因是，本身语法分析不会占用太多时间，毫秒级可以完成，不是性能瓶颈。而且语法分析的代码通常比较复杂，逻辑较多，如果再自己管理内存的话，会影响
[Impala 使用注意]--调整对应的参数(cdh-5.8.x版本)
欢迎来到我的博客，一起探索代码里的世界！
11-07 9466
Impala的可伸缩性注意事项本节介绍了您的群集大小和数据量如何影响Impala表的SQL性能和架构设计。通常，增加更多的群集容量可以减少由于内存限制或磁盘吞吐量而造成的问 另一方面，较大的群集更可能具有其他类型的可伸缩性问题，例如导致查询性能问题的单个缓慢节点。继续阅读：·        许多表或分区对Impala目录性能和内存使用的影响·        Impala Statestore的可伸...
impala大数据量查询/tmp/impala-scratch创建异常
xubc的大数据笔记
02-10 1692
使用impala对大数据量查询distinct的时候出现如下错误 5ab149d_24414dab2c19caca:e54b206c5ab149f_91001337-9d70-4c93-84ce-e7916c1ae804 failed with errno=2 description=Error(2): No such file or directory Backend 4:Create fil
impala介绍
张不帅
06-16 1278
文章目录简介优点缺点组成 简介 Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。 优点 1.基于内存,无需将中间结果落盘,减少了IO开销 2.对hdfs,hbase中数据进行查询,速度快,无需转换为mr 3.使用了支持Data locality 的I/O调度机制,尽可能将数据和计算分配在同一台机器上进行,减少网络开销 4.支持TEXTFIL
Impala安装和使用问题汇总
蚁人的博客
02-20 7663
近日调研了Kudu+Impala大数据存储引擎，在安装和使用的过程中也遇到不少问题，解决起来也是不容易(lz比较菜鸟)，在这里记录一下，也当是分享吧。 1.Impala不能创建表，提示权限的问题 具体情况： [data.beta.com:21000] > create table user_data(user_id string,code string,value string); ...
安装cdh 版的impala
lw305080的博客
08-03 7343
安装cdh 版的impala
hue+impala怎么使用
06-06
Hue 是一个 Hadoop 生态圈的 Web 界面，它可以方便地管理和使用 Hadoop 生态圈的各种组件，包括 Impala。下面是使用 Hue 和 Impala 的简单教程： 1. 安装和配置 Impala 首先，需要在 Hadoop 集群中安装和配置 Impala。具体的安装和配置步骤可以参考 Impala 官方文档。 2. 启动 Hue 启动 Hue 的命令如下： ``` $ sudo service hue start ``` 启动成功后，在浏览器中输入 Hue 的 URL 地址，例如：`http://localhost:8888/`，进入 Hue 的登录页面。输入用户名和密码，点击登录即可进入 Hue 的主界面。 3. 创建 Impala 表 在 Hue 的主界面中，点击左侧菜单栏的“Impala”选项，进入 Impala 的查询页面。在查询页面中，输入 Impala 建表语句，例如： ``` CREATE TABLE my_table ( id INT, name STRING, age INT, gender STRING ) ``` 然后，点击“Execute”按钮，执行该语句，即可创建名为`my_table`的表。 4. 查询 Impala 表 在 Hue 的 Impala 查询页面中，输入 Impala 查询语句，例如： ``` SELECT * FROM my_table; ``` 然后，点击“Execute”按钮，执行该语句，即可查询`my_table`表中的数据。 5. 导入数据到 Impala 表 在 Hue 的 Impala 查询页面中，可以使用 LOAD DATA 命令将数据导入到 Impala 表中。例如： ``` LOAD DATA INPATH '/path/to/data' INTO TABLE my_table; ``` 6. 使用 Impala 高级功能 Hue 还提供了 Impala 的高级功能，例如：查询分析器、视图、UDF 等。在 Hue 的 Impala 查询页面中，可以使用这些高级功能，从而更方便地管理和使用 Impala。 以上就是使用 Hue 和 Impala 的基本教程，Hue 还有很多其他的功能，可以根据需要进行学习和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值