impala学习

zhouyanjun_

已于 2022-11-28 17:10:30 修改

阅读量351

点赞数

分类专栏： MPP 引擎+数据库文章标签： impala

于 2022-11-28 17:10:19 首次发布

本文链接：https://blog.csdn.net/qq_39437513/article/details/128083398

版权

MPP 引擎+数据库专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文详细介绍了Impala的配置步骤，包括Catalog服务、State Store、内存限制等关键参数设置，强调了配置文件的格式和内容重要性，同时提及了LDAP认证和Kudu集成的相关选项，为高效使用Impala提供了指导。

摘要由CSDN通过智能技术生成

impala配置

个人认为配置文件的书写要注意格式+内容，非常重要。

IMPALA_CATALOG_SERVICE_HOST=petabase1.cluster1.com
IMPALA_STATE_STORE_HOST=petabase1.cluster1.com
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000
IMPALA_LOG_DIR=/home/pb/log/impala
IMPALA_SCRATCH_DIR=/tmp
MEM_LIMIT=30%

IMPALA_CATALOG_ARGS=" \
    -log_dir=${IMPALA_LOG_DIR} \
    -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -state_store_port=${IMPALA_STATE_STORE_PORT} \
                "
IMPALA_STATE_STORE_ARGS=" \
    -log_dir=${IMPALA_LOG_DIR} \
    -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -state_store_port=${IMPALA_STATE_STORE_PORT} \
                "
IMPALA_SERVER_ARGS=" \
    -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -state_store_port=${IMPALA_STATE_STORE_PORT} \
  -enable_ldap_auth=true \
  -ldap_tls=false \
  -ldap_passwords_in_clear_ok=true \
  -ldap_uri=ldap://${IMPALA_STATE_STORE_HOST} \
  -ldap_baseDN=ou=people,dc=testdomain,dc=com \
   -kudu_master_hosts=petabase1 \
    -fe_service_threads=200  \
     -log_dir=${IMPALA_LOG_DIR} \
        --scratch_dirs=${IMPALA_SCRATCH_DIR} \
        -mem_limit=${MEM_LIMIT} \
    -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
    -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -state_store_port=${IMPALA_STATE_STORE_PORT} \
    -use_statestore=true\
    -be_port=${IMPALA_BACKEND_PORT} \
                "
ENABLE_CORE_DUMPS=false

LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib