用引导操作给E-MapReduce集群安装impala

最新推荐文章于 2023-09-17 02:30:35 发布
最新推荐文章于 2023-09-17 02:30:35 发布
阅读量149 收藏
点赞数
文章标签： 大数据 shell json
原文链接：https://yq.aliyun.com/articles/58387
版权

当前emr最新版本2.0.1没有impala组件，需要额外安装。本文介绍如何在emr 2.0.1版本上用E-MapReduce软件配置功能修改hdfs配置，引导操作安装impala 2.5.0 for cdf 5.7.1版本，shell作业来启动impala的完整过程。

软件配置

impala对hdfs组件的配置有要求，需要用软件配置功能修改hdfs的配置。软件配置功能可以修改hadoop组件的配置，详见： 帮助文档

本地创建一个hdfs.json文件，可以直接从oss下载,内容如下，通过oss控制台上传到oss合适位置.例如[yourbucket]/sh/hdfs.json。

{
    "configurations": [
                {
            "classification": "hdfs-site",
            "properties": {
                "dfs.client.read.shortcircuit": "true",
                "dfs.domain.socket.path": "/var/run/hadoop-hdfs/dn._PORT",
                "dfs.client.file-block-storage-locations.timeout": "10000",
                "dfs.datanode.hdfs-blocks-metadata.enabled": "true"
            }
        }
    ]
}

参照 帮助文档 ，
创建集群时点击软件配置，选择刚才上传的hdfs.json的脚本，创建集群在启动hdfs前会将新加的配置添加到hdfs-site.xml里。

安装配置impala

引导操作可以在集群创建时执行指定的脚本，详见： 帮助文档 。这里用引导操作安装配置impala。

注意：由于impala的启动依赖hadoop组件已启动，而引导操作在启动hadoop组件前执行，所以引导操作只进行impala的安装和配置，impala的启动由后面shell作业来运行。

本地创建一个installimpala.sh文件，在杭州region创建集群可以直接从oss下载杭州region安装脚本，或者在北京region创建经典网络集群可以从oss下载北京region安装脚本，创建vpc网络集群可以从oss下载北京region vpc集群安装脚本。通过oss控制台上传到oss合适位置，例如[yourbucket]/sh/installimpala.sh。

该脚本下载资源，安装impala，替换jar，修改配置。下面分模块详细讲解脚本内容。

下载资源

#!/bin/sh

echo "download resources"
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/bigtop-utils-0.7.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.13.el6.noarch.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/impala-2.5.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/impala-catalog-2.5.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/impala-server-2.5.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/impala-shell-2.5.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/impala-state-store-2.5.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/impala-udf-devel-2.5.0%2Bcdh5.7.1%2B0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/sentryjar1.5.1.tar.gz
tar -zxvf sentryjar1.5.1.tar.gz -C /tmp/
wget http://emr-agent-pack.oss-cn-hangzhou-internal.aliyuncs.com/bootstrap/impala/impala-2.5.0/cdh-5.7.1.tar.gz
tar -zxvf cdh-5.7.1.tar.gz -C /tmp/

从oss下载需要的源文件。

安装依赖

echo "install yum deps"
yum install -y libxcb cdparanoia-libs cups foomatic  foomatic-db foomatic-db-filesystem foomatic-db-ppds ghostscript ghostscript-fonts gstreamer gstreamer-plugins-base  gstreamer-tools iso-codes lcms-libs libXt libXv libXxf86vm libgudev1 libmng liboil libtheora libvisual mesa-dri-drivers mesa-dri-filesystem  mesa-dri1-drivers  mesa-libGL mesa-libGLU mesa-private-llvm openjpeg-libs phonon-backend-gstreamer poppler poppler-data poppler-utils portreserve qt qt-sqlite qt-x11 qt3 redhat-lsb redhat-lsb-compat redhat-lsb-graphics redhat-lsb-printing urw-fonts xml-common nc

安装impala依赖的基础库

安装impala

echo "install impala"
rpm -ivh bigtop-utils-0.7.0+cdh5.7.1+0-1.cdh5.7.1.p0.13.el6.noarch.rpm
rpm -ivh impala-2.5.0+cdh5.7.1+0-1.cdh5.7.1.p0.14.el6.x86_64.rpm --nodeps
rpm -ivh impala-server-2.5.0+cdh5.7.1+0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
rpm -ivh impala-state-store-2.5.0+cdh5.7.1+0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
rpm -ivh impala-catalog-2.5.0+cdh5.7.1+0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
rpm -ivh impala-udf-devel-2.5.0+cdh5.7.1+0-1.cdh5.7.1.p0.14.el6.x86_64.rpm
rpm -ivh impala-shell-2.5.0+cdh5.7.1+0-1.cdh5.7.1.p0.14.el6.x86_64.rpm

安装impala组件，impala依赖的其他cdh组件，比如cdh hadoop，集群已经包含，不需要安装。

替换库文件

echo "replace jar"
source /etc/profile.d/hadoop.sh
alias cp='cp'
cd /usr/lib/impala/lib

#hadoop so
rm -f libhadoop.so
rm -rf libhadoop.so.1.0.0
cp $HADOOP_HOME/lib/native/libhadoop.so* ./
rm -f libhdfs.so
rm -rf libhdfs.so.0.0.0
cp $HADOOP_HOME//lib/native/libhdfs.so* ./

#avro and parquet
rm -f avro.jar
cp -f  $HIVE_HOME/lib/avro-1.7.7.jar avro.jar
rm -f parquet-hadoop-bundle.jar
cp -f  $HIVE_HOME/lib/parquet-hadoop-bundle-1.8.1.jar parquet-hadoop-bundle.jar

#hadoop
rm -f hadoop-annotations.jar
cp -f  $HADOOP_HOME/share/hadoop/common/lib/hadoop-annotations-2.7.2.jar hadoop-annotations.jar
rm -f hadoop-auth.jar
cp -f  $HADOOP_HOME/share/hadoop/common/lib/hadoop-auth-2.7.2.jar hadoop-auth.jar
rm -f hadoop-common.jar
cp -f  $HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.2.jar hadoop-common.jar
rm -f hadoop-hdfs.jar
cp -f  $HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-2.7.2.jar hadoop-hdfs.jar
rm -f hadoop-mapreduce-client-common.jar
cp -f  $HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-2.7.2.jar hadoop-hdfs.jar
rm -f zookeeper.jar
cp -f  $HADOOP_HOME/share/hadoop/common/lib/zookeeper-3.4.6.jar zookeeper.jar

#mapreduce
rm -f hadoop-mapreduce-client-core.jar
cp -f  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.2.jar hadoop-mapreduce-client-core.jar
rm -f hadoop-mapreduce-client-jobclient.jar
cp -f  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2.jar hadoop-mapreduce-client-jobclient.jar
rm -f hadoop-mapreduce-client-shuffle.jar
cp -f  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-2.7.2.jar hadoop-mapreduce-client-shuffle.jar

#yarn
rm -f hadoop-yarn-api.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-api-2.7.2.jar hadoop-yarn-api.jar
rm -f hadoop-yarn-client.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-client-2.7.2.jar hadoop-yarn-client.jar
rm -f hadoop-yarn-common.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-2.7.2.jar hadoop-yarn-common.jar
rm -f hadoop-yarn-server-applicationhistoryservice.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-2.7.2.jar hadoop-yarn-server-applicationhistoryservice.jar
rm -f hadoop-yarn-server-common.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-common-2.7.2.jar hadoop-yarn-server-common.jar
rm -f hadoop-yarn-server-nodemanager.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-nodemanager-2.7.2.jar hadoop-yarn-server-nodemanager.jar
rm -f hadoop-yarn-server-resourcemanager.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-2.7.2.jar hadoop-yarn-server-resourcemanager.jar
rm -f hadoop-yarn-server-web-proxy.jar
cp -f  $HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-server-web-proxy-2.7.2.jar hadoop-yarn-server-web-proxy.jar

#hbase
rm -f hbase-annotations.jar
cp -f  /usr/lib/hbase-current/usr/lib/hbase-current/lib/hbase-annotations-1.1.1.jar hbase-annotations.jar
rm -f hbase-common.jar
cp -f /usr/lib/hbase-current/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar hbase-common.jar
rm -f hbase-protocol.jar
cp -f /usr/lib/hbase-current/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar hbase-protocol.jar

#sentry
rm -f sentry-binding-hive.jar
cp -f /tmp/sentry-binding-hive-1.5.1-incubating.jar sentry-binding-hive.jar
rm -f sentry-core-common.jar
cp -f /tmp/sentry-core-common-1.5.1-incubating.jar sentry-core-common.jar
rm -f sentry-core-model-db.jar
cp -f /tmp/sentry-core-model-db-1.5.1-incubating.jar sentry-core-model-db.jar
rm -f sentry-core-model-search.jar
cp -f /tmp/sentry-core-model-search-1.5.1-incubating.jar sentry-core-model-search.jar
rm -f sentry-policy-common.jar
cp -f /tmp/sentry-policy-common-1.5.1-incubating.jar sentry-policy-common.jar
rm -f sentry-policy-db.jar
cp -f /tmp/sentry-policy-db-1.5.1-incubating.jar sentry-policy-db.jar
rm -f sentry-policy-search.jar
cp -f /tmp/sentry-policy-search-1.5.1-incubating.jar sentry-policy-search.jar
rm -f sentry-provider-cache.jar
cp -f /tmp/sentry-provider-cache-1.5.1-incubating.jar sentry-provider-cache.jar
rm -f sentry-provider-common.jar
cp -f /tmp/sentry-provider-common-1.5.1-incubating.jar sentry-provider-common.jar
rm -f sentry-provider-db-sh.jar
cp -f /tmp/sentry-provider-db-1.5.1-incubating.jar sentry-provider-db-sh.jar
rm -f sentry-provider-file.jar
cp -f /tmp/sentry-provider-file-1.5.1-incubating.jar sentry-provider-file.jar

#other cdh jar
rm -f hadoop-mapreduce-client-common.jar
rm -f hbase-client.jar
rm -f hive-metastore.jar
rm -f hive-ant.jar
rm -f hive-beeline.jar
rm -f hive-common.jar
rm -f hive-exec.jar
rm -f hive-hbase-handler.jar
rm -f hive-serde.jar
rm -f hive-service.jar
rm -f hive-shims-common.jar
rm -f hive-shims.jar
rm -f hive-shims-scheduler.jar

cp -f /tmp/hadoop-mapreduce-client-common-2.6.0-cdh5.7.1.jar hadoop-mapreduce-client-common.jar
cp -f /tmp/hbase-client-1.2.0-cdh5.7.1.jar hbase-client.jar
cp -f /tmp/hive-common-1.1.0-cdh5.7.1.jar hive-common.jar
cp -f /tmp/hive-metastore-1.1.0-cdh5.7.1.jar hive-metastore.jar
cp -f  /tmp/hive-shims-common-1.1.0-cdh5.7.1.jar hive-shims-common.jar
cp -f /tmp/hive-shims-1.1.0-cdh5.7.1.jar hive-shims.jar
cp -f  /tmp/hive-shims-scheduler-1.1.0-cdh5.7.1.jar hive-shims-scheduler.jar
cp -f /tmp/hive-exec-1.1.0-cdh5.7.1.jar  hive-exec.jar
cp -f /tmp/hive-ant-1.1.0-cdh5.7.1.jar hive-ant.jar
cp -f /tmp/hive-beeline-1.1.0-cdh5.7.1.jar hive-beeline.jar
cp -f /tmp/hive-hbase-handler-1.1.0-cdh5.7.1.jar hive-hbase-handler.jar
cp -f /tmp/hive-serde-1.1.0-cdh5.7.1.jar hive-serde.jar
cp -f /tmp/hive-service-1.1.0-cdh5.7.1.jar hive-service.jar

impala安装后，依赖的jar地址都是链接其他cdh组件的软链，需要替换为真实的jar地址。大部分可以用镜像已有的jar，比如avro.jar。有些依赖的jar环境里没有，前面下载资源已下载到本地/tmp目录，比如sentry-binding-hive.jar。有些jar cdh版本和镜像里的apache hadoop 2.7.2有冲突要用cdh的jar，前面也已下载到本地/tmp目录，比如hadoop-mapreduce-client-common.jar。

修改impala配置

echo "copy hadoop conf"
cp $HADOOP_CONF_DIR/core-site.xml /etc/impala/conf/
cp $HADOOP_CONF_DIR/hdfs-site.xml /etc/impala/conf/
cp $HIVE_CONF_DIR/hive-site.xml /etc/impala/conf/

echo "mkdir hdfs socket path"
mkdir /var/run/hadoop-hdfs/
chown hdfs:hadoop  /var/run/hadoop-hdfs/

echo "modify impala config"
masterIp=`cat /etc/hosts | grep emr-header-1|awk '{print $1}'`
echo "masterip: $masterIp"
sed -i "s/127.0.0.1/$masterIp/g" /etc/default/impala

sed -i "s/Defaults    requiretty/# Defaults    requiretty/g" /etc/sudoers

将impala需要的hadoop配置文件拷贝到impala配置目录，创建hdfs socket path供hdfs和impala使用，修改impala的配置，将catalog和statestore地址改成master的内网ip。为了避免shell作业启动impala有sudo问题“sudo: sorry, you must have a tty to run sudo"，注释掉tty检查。

创建集群

参照 帮助文档 ，创建集群时点击添加引导操作，选择刚才上传的installImpala脚本，创建一个引导操作步骤。集群创建好后，通过集群详情页的引导/软件配置:无异常来确定引导操作执行成功。

启动impala

由于impala的启动依赖hadoop组件已启动，所以用shell作业来启动impala的进程。shell作业可以在master上执行脚本，详见： 帮助文档 。

本地创建一个startimpala.sh文件，可以直接从oss下载,内容如下，通过oss控制台上传到oss合适位置，例如[yourbucket]/sh/startimpala.sh。

#!/bin/sh

sudo service impala-state-store start
sudo service impala-catalog start
sudo service impala-server start

for ip in `cat /etc/hosts  | grep worker|awk '{print $1}'`
do
ssh  -t $ip "sudo service impala-server start"
done

脚本在master节点上启动imapla的statestore，catalog，server进程，在worker节点上启动impala的server进程。

参考 帮助文档，创建shell作业，选择刚才上传的startimpala.sh，切换前缀为ossref://,应用参数写”-f ossresf://xxx.startimpala.sh“,例如 “-f ossref://emr-agent-pack/bootstrap/impala/impala-2.5.0/startimpala.sh“。保存。

再创建一个执行计划，选择刚才创建的集群和作业，调度策略选择手工执行。执行计划点击立即运行，运行startimpala作业脚本，在执行计划的运行记录里可以看到执行信息，刷新页面，等待状态更新为运行完成。点击右侧查看作业列表，显示作业的状态为运行成功，即说明impala进程启动成功。

验证

cli验证

引导操作安装了impala-shell,ssh用root用户 登陆master，进入impala-shell
impala-shell,创建表并插入数据

create table test(id bigint);
insert into table test select count(id) from test;

执行show tables能看见刚刚创建的表，执行select * from test;能查到刚才插入的数据。

web验证

默认安全组只能访问集群的22端口，可以通过 本地端口转发来访问impala的web页面，impala的web地址是masterip：25000，可以查看impala进程的详细信息。

也可以通过 安全组设置 公网入方向允许白名单Ip访问25000端口。由于公网暴露端口有安全隐患，ip白名单授权对象一定不能设置为0.0.0.0/0，而是应该只允许固定的ip白名单访问。如果没有固定ip，还是用前面端口转发的方式来访问。

weixin_33933118
关注
Apache Impala零差错安装攻略
刘金超DT的博客
07-14 608
Apache Impala impala 介绍 基于hive的数仓工具 提供了准实时的交互式sql查询分析能力 和hive共用一套元数据存储 hive是基于hadoop的数仓工具 提供了sql分析数据的能力 批处理数据分析工具 是企业中 imapla通常配合hive一起进行数仓数据分析 来自于cloudera 后来贡献给了apache impala和hive的关系 和hive共用一套...
使用 E-MapReduce 构建云上数据湖
weixin_45906054的博客
08-21 568
原视频链接：https://www.slidestalk.com/AliSpark/EMapReduce191196?video编辑：杨仲鲍，北京海致星图科技有限公司服务端开发工程师 ，...
Impala-cdh集群安装部署
09-18
由于Impala的版本是CDH的，所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的（cdh版本的tar包安装与Apache的tar包安装方式相同）。cdh版本的tar包下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
Centos7原生hadoop环境，搭建Impala集群和负载均衡配置
最新发布
m0_46168848的博客
09-17 1358
Centos7原生hadoop环境，搭建Impala集群和负载均衡配置
腾讯云EMR HUE集成impala 小记
rav009的专栏
10-19 381
集群背景情况： 集群使用了kerberos和openldap。 第一步： 登录到集群hue所在的master节点。将当前用户切换成hue进程的执行用户。比如默认是hadoop。 su - hadoop 第二步： 向hue注册impala这个应用，执行： /usr/local/service/hue/tools/app_reg/app_reg.py install /usr/local/service/hue/apps/impala 第三步： 配置/usr/local/ser
http://syy7.com/a/25.php,vue_element/vue_elementui.sql at 3ffdcb477ce3fbbc24cf1a4d7e3481a187023a02 ·...
热门推荐
weixin_34064233的博客
04-13 107万+
INSERT INTO `user_tb` VALUES ('1', '女', 'burtyang', 'C041580E1C6192B6084E03CE76D5C05C', '18', null, 'data:image/jpeg;base64,/9j/4AAQSkZJRgABAQEASABIAAD/2wBDAAwICQoJBwwKCQoNDAwOER0TERAQESMZGxUdKiUsKykl...
统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？
阿里巴巴中间件
02-23 533
开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎。本文旨在分享阿里云Prometheus对EMR平台大数据服务的监控实践。EMR 简介Aliware开源大数据开发平台E-MapReduce（简称“E...
阿里云Hadoop演进：从云梯到E-MapReduce
Hadoop从一个简单的分布式计算框架发展成为支撑整个大数据生态的关键基础设施，而阿里云的E-MapReduce则在云环境中进一步优化了Hadoop的使用体验，为企业的大数据战略提供了强大的技术支持。随着技术的不断进步，...
为集群配置Impala和MapreduceJava开发Ja
11-25
本篇文章将深入探讨如何为集群配置Impala和MapReduce，以及如何利用Java进行相关的开发工作。这两个组件是Apache Hadoop生态系统中的核心部分，Impala是用于快速查询大规模数据的SQL分析引擎，而MapReduce则是一个...
http://mail.163.com/help/help_spam_16.htm?ip=118.186.207.7&hostid=smtp5&time=1358341921
云计算?
01-16 73万+
0INRMumLsiQwT0xVgvYVmNCBWS7mV8LzSeLOZGHzflL3ziBSx+iej3G1syAeYvPZxqagQ0P7mgdX /qgnEWWuIcv4cTR6ZI5QNmqULAGtRkCtCNsphAD7cLBiV7UpV7yvURpKw6H8jHyDDZc8zP5P8QF9 abbRoeoTcPcDs/Ij0+JSX9fkdkqCvmUFYzy/GBb+hMWJ...
Impala 安装
凉茶铺的博客
10-25 3986
介绍了如何进行Impala的安装
阿里云E-MapReduce操作
weixin_42796403的博客
04-03 1051
阿里云E-MapReduce操作 阿里云E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。 一、E-MapReduce的用途 以往在使用Hadoop和Spark等分布式处理系统时，通常需要执行如下步
hadoop CDH4.4上Impala集群安装
K_James的专栏
12-31 5264
hadoop-001     10.168.204.55  state-store, catalog, impalad hadoop-002     10.168.204.56  impalad hadoop-003     10.168.204.57  impalad hadoop-004     10.168.204.58  impalad 版本: impala 1.2
Hive 和 Impala的比较
La victoria的博客
12-21 6079
Hive 和 Impala的异同 Hive是一个建立在APACHE HADOOP之上的数据仓库软件项目，由Jeff在Facebook的团队开发，目前已经发布了2.3.0的稳定版本。它被用于总结大数据，使查询和分析变得容易。Apache Hive是SQL-in Hadoop的有效标准。Impala是一个运行在Apache Hadoop上的并行处理SQL查询引擎，用于处理存储在HBase (Hado...
工作中Hadoop,Spark,Phoenix,Impala 集群中遇到坑及解决方案
weixin_30267691的博客
01-18 321
1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：NameNode 内存设置太低，之前内存设置在1G，后调高nameno...
下载rpm离线安装包并解决依赖包缺少的问题
Destiny_1853的博客
04-15 2889
尝试解决下载rpm离线安装包缺少依赖。
impala-shell安装及使用
lfwer的博客
11-12 2937
impala简介： Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 Impala Shell使用 Impala使用Hive SQL进行数据查询，因此Impala Shell在使用方面也效仿了Hive，在许多命令的用法上和Hive有相近之处，但使用细节又有所区别。 Impala Shell和Hive的...
hadoop生态系统学习之路（七）impala的简单使用以及与hive的区别
蛋导的平凡之路
04-05 1万+
上个月参与了公司的大数据接口平台项目，其中就使用到了impala提供实时查询接口。而且，在使用当中还遇到了关于impala版本的问题，主要是sql语法上的差异，目前已经到了2.4了，而我们公司集群环境使用的版本是1.3。 下面，笔者将分以下几个步骤进行介绍。一、impala的基本概念与原理Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Imp
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值