Centos7原生hadoop环境，搭建Impala集群和负载均衡配置

已于 2023-09-20 00:16:19 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： # impala 文章标签： 负载均衡 运维 impala
于 2023-09-17 02:30:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46168848/article/details/132932829
版权

Centos7原生hadoop环境，搭建Impala集群和负载均衡配置

impala介绍

Impala集群包含一个Catalog Server (Catalogd)、一个Statestore Server (Statestored) 和若干个Impala Daemon (Impalad)。Catalogd主要负责元数据的获取和DDL的执行，Statestored主要负责消息/元数据的广播，Impalad主要负责查询的接收和执行。
Impalad又可配置为coordinator only、 executor only 或coordinator and executor（默认）三种模式。Coordinator角色的Impalad负责查询的接收、计划生成、查询的调度等，Executor角色的Impalad负责数据的读取和计算。默认配置下每个Impalad既是Coordinator又是Executor。生产环境建议做好角色分离，即每个Impalad要么是Coordinator要么是Executor。
在这里插入图片描述

Impala集群内部的元数据同步的机制 是从catalog批量收集一批表的元数据，通过statestore广播到coordinator。catalog在收集元数据的时候需要为每个表加一个读锁，如果这时候某一个表有跑批的任务，或者因为其他原因加了写锁，那么收集线程加读锁的逻辑就会被阻塞住，这就导致对应的 coordinator上的这些查询得不到执行（处于created状态）。

集群规划

节点名称impala-catalogdimpala-statestoredimpala-server
node01√√√
node02××√
node03××√

配置本地yum源

1. 在node01节点上安装httpd服务器

#yum方式安装httpds服务器
[root@node01 ~]# yum install -y httpd
#启动httpd服务器
[root@node01 ~]# systemctl start httpd
#查看httpd转态是否启动
[root@node01 ~]# systemctl status httpd

2. 配置yum源

  • 上传下载好的impala的压缩包cdh5.14.0-centos7.tar.gz到/var/www/html/目录
  • 解压 tar -zxvf cdh5.14.0-centos7.tar.gz
  • 配置yum源：cd /etc/yum.repo/
  • vim local.repo
#需要与文件名保持一致
[local]
name=local_yum
#访问当前源的地址信息
baseurl=http://node01/cdh/5.14.0/
#为0不做gpg校验
gpgcheck=0
#当前源是否可用,为1则可用,为0则禁用
enabled=1

在这里插入图片描述

  1. 导入秘钥认证

  • 防止后边安装失败(这里有个小坑)，每个节点都执行

    • rpm --import /var/www/html/cdh/RPM-GPG-KEY-cloudera

安装impala

  1. node01节点安装 impala-catalogd、impala-statestored、 impala-server（impala-Deamon）
[root@node01 ~]# yum install -y impala impala-server impala-state-store impala-catalog impala-shell

在这里插入图片描述

  1. node02节点安装impala-server（impala-Deamon）
yum install -y impala-server impala-shell

3.node03节点安装impala-server（impala-Deamon）

yum install -y impala-server impala-shell

在这里插入图片描述

修改hive的配置

1.修改hive-site.xml配置

  • cd /opt/yjx/apache-hive-3.1.2-bin/

  • vim hive-site.xml

<!--指定metastore地址，之前添加过可以不用添加 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node01:9083</value>
</property>
<property>
    <name>hive.metastore.client.socket.timeout</name>
    <value>3600</value>
</property>

2.分发hive安装目录到集群中其它节点

  • scp hdfs-site.xml node02:$PWD
scp hdfs-site.xml node03:$PWD

修改hadoop的配置

  • 在所有节点创建一下这个目录mkdir -p /var/lib/hadoop-hdfs

  • cd /opt/yjx/hadoop-3.1.2/etc/hadoop/

  • vim hdfs-site.xml

  • <!--添加如下内容 -->
<!--打开短路读取开关 -->
<!-- 打开短路读取配置-->
<property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
</property>
<!--这是一个UNIX域套接字的路路径，将⽤用于DataNode和本地HDFS客户机之间的通信 -->
<property>
    <name>dfs.domain.socket.path</name>
    <value>/var/lib/hadoop-hdfs/dn_socket</value>
</property>
<!--block存储元数据信息开发开关 -->
<property>
    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.client.file-block-storage-locations.timeout</name>
    <value>30000</value>
</property>

  • 分发到其他节点

  • scp hdfs-site.xml node02:$PWD
scp hdfs-site.xml node03:$PWD

创建impala配置的软连接

impala中跟Hadoop,Hive相关的配置使用Yum方式安装Impala时默认的Impala配置文件目录为/etc/impala/conf目录，Impala的使用要依赖Hadoop，Hive框架，所以需要把HDFS，Hive的配置文件告知Impala，执行下面的命令，把HDFS和Hive的配置文件软链接到/etc/impala/conf下(所有节点执行)

  • 所有节点均执行

  • ln -s /opt/yjx/hadoop-3.1.2/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml
ln -s /opt/yjx/hadoop-3.1.2/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /opt/yjx/apache-hive-3.1.2-bin/conf/hive-site.xml /etc/impala/conf/hive-site.xml

impala的自身配置(所有节点)

  • 创建日志目录mkdir -p /var/logs/impala/

  • chown impala:impala /var/logs/impala/

修改配置

在这里插入图片描述

  • cd /etc/default/
scp impala node02:$PWD
scp impala node03:$PWD

  • 创建目录用于存放mysql的连接驱动mkdir -p /usr/share/java/

  • 创建软连接

ln -s /opt/yjx/apache-hive-3.1.2-bin/lib/mysql-connector-java-5.1.32-bin.jar /usr/share/java/mysql-connector-java.jar

修改bigtop的JAVA_HOME路径

#修改bigtop的JAVA_HOME路径
[root@node01 ~]# vim /etc/default/bigtop-utils
[root@node02 ~]# vim /etc/default/bigtop-utils
[root@node03 ~]# vim /etc/default/bigtop-utils
#添加JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64

启动集群

  • 启动zookeeper

  • zkServer.sh start

  • 启动Hadoop

  • start-all.sh

  • 启动Hive

  • # 启动元数据服务
nohup hive --service metastore > /dev/null 2>&1 &
#启动hiveServer2
nohup hiveserver2 > /dev/null 2>&1 &
#客户端测试

  • 启动impala

  • [root@node01 ~]# service impala-state-store start
[root@node01 ~]# service impala-catalog start
[root@node01 ~]# service impala-server start

  • [root@node02 ~]# service impala-catalog start

  • [root@node03 ~]# service impala-server start

  • 验证Impala是否启动

  • ps -ef | grep impala

  • 浏览器Web界面验证

  • #访问impalad管理界面
    http://node01:25000/

在这里插入图片描述

说明: 如果进程数启动不对,web页面打不开,去指定的日志目录。

  • jps时出现空白的进程或者process information unavailable

  • 解决办法

    • #解决办法(注意只删除后缀为impala的即可)
[root@node01 bin]# rm -rf /tmp/hsperfdata_impala*
[root@node02 bin]# rm -rf /tmp/hsperfdata_impala*
[root@node03 bin]# rm -rf /tmp/hsperfdata_impala*

Impala的负载均衡

Impala主要有三个组件，分别是statestore，catalog和impalad，对于Impalad节点，每一个节点都可以接收客户端的查询请求，并且对于连接到该Impalad的查询还要作为Coordinator节点(需要消耗一定的内存和CPU)存在，为了保证每一个节点的资源开销的平衡需要对于集群中Impalad节点做一下负载均衡。
 Cloudera官方推荐的代理方案是HAProxy，这里我们也使用这种方式实现负载均衡。实际生产中建议选择一个非Impala节点作为HAProxy安装节点。

1.选择一台机器安装haProxy，这里选择node01安装

  • yum install -y haproxy
  1. 修改haproxy.cfg配置文件，在配置文件中增加如下内容

  • vim /etc/haproxy/haproxy.cfg

  • #---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           3m
    timeout connect         5000s
    timeout client          3600s
    timeout server          3600s
    timeout http-keep-alive 10s
    #健康检查时间
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend  main *:5000
    acl url_static       path_beg       -i /static /images /javascript /stylesheets
    acl url_static       path_end       -i .jpg .gif .png .css .js

    use_backend static          if url_static
    default_backend             app

#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
    balance     roundrobin
    server      static 127.0.0.1:4331 check
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
    balance     roundrobin
    server   app1 127.0.0.1:5001 check
    server   app1 127.0.0.1:5002 check

#--------------配置 impala-jdbc -------------------------------------------------------
listen impala :25001
    balance roundrobin
    option tcplog
    mode tcp
    #bind 0.0.0.0:21051
    #listen impalajdbc
    server impala_jdbc_01 node02:21050 check
    server impala_jdbc_02 node03:21050 check

#--------------配置impala-shell-------------------------------------------------------
listen impala :25002
    balance leastconn
    option tcplog
    mode tcp
    #listen impalashell
    server impala_shell_01 node01:21000 check
    server impala_shell_02 node02:21000 check
    server impala_shell_03 node03:21000 check
#--------------配置 impala-hue -------------------------------------------------------
#listen impala :25003
    #balance source
    #option tcplog
    #mode tcp
    #server impala_hue_01 host01:21050 check
    #server impala_hue_02 host02:21050 check
#-----web ui----------------------------------------------------------------
listen stats :1080
    balance
    stats  uri /stats
    stats refresh 30s
#管理界面访问IP和端口
    #bind 0.0.0.0:1080
    mode http
    #定义管理界面
    #listen status

3.检查配置是否正确

/usr/sbin/haproxy  -f /etc/haproxy/haproxy.cfg

  1. 开启HAProxy代理服务

    开启：  systemctl start haproxy.service
查看状态： systemctl status haproxy.service
关闭： systemctl stop haproxy.service
重启： systemctl restart haproxy.service
开机自启动： chkconfig haproxy on

  2. 访问监控页面

http://node01:1080/stats

在这里插入图片描述

Haproxy的下载安装包离线安装步骤

下载安装Haproxy
下载地址：

https://src.fedoraproject.org/repo/pkgs/haproxy/
http://download.openpkg.org/components/cache/haproxy/
haproxy-1.8.10.tar.gz ：
haproxy安装包下载 提取码: 6evh

(1)将下载下来的Haproxy放到Linux中， 解压文件

tar -zxvf haproxy-1.7.8.tar.gz

(2)yum安装GCC

yum install gcc-c++
(3)编译与安装Haproxy

进入Haproxy文件夹，编译执行命令：make TARGET=linux26

安装特定位置：make install PREFIX=/usr/local/haproxy

(4)进入创建的文件夹cd /usr/local/haproxy，修改配置

创建一个文件夹，mkdir conf config文件夹

进入该文件夹，在文件夹中，创建 一个文件执行命令： touch haproxy.cnf

编辑配置文件haproxy.cfg

Impala的常见错误

1.Impala不能创建表，提示权限的问题

  • [node02:21000] > create table person2(id int,name string,address string) row format delimited fields terminated by ',';
Query: create table person2(id int,name string,address string) row format delimited fields terminated by ','
ERROR: ImpalaRuntimeException: Error making 'createTable' RPC to Hive Metastore:
CAUSED BY: MetaException: Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=impala, access=EXECUTE, inode="/hive/warehouse":root:supergroup:drwxr-x---
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:399)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:315)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:242)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:193)
        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:606)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkTraverse(FSDirectory.java:1801)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkTraverse(FSDirectory.java:1819)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.resolvePath(FSDirectory.java:676)
        at org.apache.hadoop.hdfs.server.namenode.FSDirStatAndListingOp.getFileInfo(FSDirStatAndListingOp.java:114)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getFileInfo(FSNamesystem.java:3102)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getFileInfo(NameNodeRpcServer.java:1154)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getFileInfo(ClientNamenodeProtocolServerSideTranslatorPB.java:966)
        at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
        at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:872)
        at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:818)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2678)

  • 为对应的目录赋权777，我的数仓路径 /hive/warehouse/

  • hdfs dfs -chmod -R 777 /hive/warehouse/

在这里插入图片描述

2.hdfs进入安全模式

  • hdfs dfsadmin -safemode leave

3.启动datanode时日志发现如下报错信息

  • 启动日志
023-09-17 03:04:54,358 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting DataNode with maxLockedMemory = 0
2023-09-17 03:04:54,435 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened streaming server at /0.0.0.0:9866
2023-09-17 03:04:54,461 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Balancing bandwidth is 10485760 bytes/s
2023-09-17 03:04:54,461 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Number threads for balancing is 50
2023-09-17 03:04:54,476 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Shutdown complete.
2023-09-17 03:04:54,477 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.io.IOException: The path component: '/var/lib/hadoop-hdfs' in '/var/lib/hadoop-hdfs/dn_socket' has permissions 0755 uid 993 and gid 991. It is not protected because it is owned by a user who is not root and not the effective user: '0'. This might help: 'chown root /var/lib/hadoop-hdfs' or 'chown 0 /var/lib/hadoop-hdfs'. For more information: https://wiki.apache.org/hadoop/SocketPathSecurity
        at org.apache.hadoop.net.unix.DomainSocket.validateSocketPathSecurity0(Native Method)
        at org.apache.hadoop.net.unix.DomainSocket.bindAndListen(DomainSocket.java:193)
        at org.apache.hadoop.hdfs.net.DomainPeerServer.<init>(DomainPeerServer.java:40)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.getDomainPeerServer(DataNode.java:1195)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:1162)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1417)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:501)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2783)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2691)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2733)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2877)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2901)
2023-09-17 03:04:54,483 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.io.IOException: The path component: '/var/lib/hadoop-hdfs' in '/var/lib/hadoop-hdfs/dn_socket' has permissions 0755 uid 993 and gid 991. It is not protected because it is owned by a user who is not root and not the effective user: '0'. This might help: 'chown root /var/lib/hadoop-hdfs' or 'chown 0 /var/lib/hadoop-hdfs'. For more information: https://wiki.apache.org/hadoop/SocketPathSecurity

  • 解决办法: 由于前面的/var/lib/hadoop-hdfs的问题,需将其用户修改为root

  • # 三个节点都执行这个操作
[root@node01 ~]#chown root /var/lib/hadoop-hdfs/
[root@node02 ~]#chown root /var/lib/hadoop-hdfs/
[root@node03 ~]#chown root /var/lib/hadoop-hdfs/

4.namenode启动异常，日志显示

aused by: org.apache.hadoop.hdfs.server.namenode.RedundantEditLogInputStream$PrematureEOFException: got premature end-of-file at txid 27027; expected file to go up to 27152
	at org.apache.hadoop.hdfs.server.namenode.RedundantEditLogInputStream.nextOp(RedundantEditLogInputStream.java:197)
	at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.readOp(EditLogInputStream.java:85)
	at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.skipUntil(EditLogInputStream.java:151)
	at org.apache.hadoop.hdfs.server.namenode.RedundantEditLogInputStream.nextOp(RedundantEditLogInputStream.java:179)
	at org.apache.hadoop.hdfs.server.namenode.EditLogInputStream.readOp(EditLogInputStream.java:85)
	at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:213)
	... 12 more

这个错误表明在处理 HDFS（Hadoop分布式文件系统）的编辑日志时遇到了意外的文件结尾。

要解决这个问题，您可以尝试以下方法：

  1. 检查文件完整性：检查导致错误的编辑日志文件是否完整。可能是由于文件损坏或丢失导致了预期范围之外的文件结尾。您可以尝试从备份中恢复丢失的文件或使用其他副本。

  2. 恢复缺失的日志段：如果确定存在缺失的日志段，您可以尝试使用辅助工具（如hdfs oiv命令）来恢复缺失的事务日志。具体步骤可以参考 HDFS 文档和社区支持资源。

  3. 恢复备份：如果有可用的完整备份，您可以尝试将备份数据还原到新的文件系统中，并确保整个过程符合数据一致性和正确性的要求。

  4. 寻求专业支持：如果以上方法无法解决问题，建议您咨询 Hadoop 或 HDFS 的专业支持团队，他们可以提供更具体和针对性的解决方案。

请注意，在进行任何更改或修复操作之前，请务必备份重要数据，并确保在测试环境中进行验证，以避免进一步数据丢失或其他潜在问题。

  • 经测试这个命令hdfs oiv不行

  • 看日志似乎是无法正常写入日志，namenode的元数据可能异常

  • # 使用这个命令修复元数据：hadoop namenode -recover，在出错的机器执行如下命令，一路按c或者y

  • 参考文章链接

5.impala启动出现空进程

  • 说明: 如果进程数启动不对,web页面打不开,去指定的日志目录.

    • jps时出现空白的进程或者process information unavailable

    • #解决办法(注意只删除后缀为impala的即可)
[root@node01 bin]# rm -rf /tmp/hsperfdata_impala*
[root@node02 bin]# rm -rf /tmp/hsperfdata_impala*
[root@node03 bin]# rm -rf /tmp/hsperfdata_impala*

Haproxy负载均衡测试

impala-shell测试

  • 在安装了Haproxy服务的节点执行命令：注意端口25003是配置中绑定的路由端口

  • impala-shell -i node01:25003

  • 看到我们指定的node01 节点，Haproxy转发至node02执行SQL在这里插入图片描述

  • 每次提交SQL任务协调节点都不一样，自动轮询在这里插入图片描述

HDFS高可用集群中standBy 的NameNode无法启动—解决方案

在日常操作中发现自己的高可用hadoop集群，发现存在一台NamNode节点无法启动，但该节点上的DataNode仍可正常运行。其它的NameNode在正常运行。

  • 启动日志如下：

Error: Gap in transactions. Expected to be able to read up until at least txid 27896 but unable to find any edit logs containing txid 27711
java.io.IOException: Gap in transactions. Expected to be able to read up until at least txid 27896 but unable to find any edit logs containing txid 27711

问题可能是由多个NameNode上的元数据信息不一致，解决方法如下：

1、停止HDFS集群。

2、删除每个NameNode节点上的data、logs。（我是在刚搭好HDFS集群遇到的这个问题，所有data和logs中的数据可直接删除。如果data和logs中存在重要的不能删除的数据，还请将数据迁移保存至别处，或使用其它方法进行解决）。

3、在每一个JournalNode节点上，输入以下命令启动journalnode服务。（我是在每一台NameNode上启动的）。

hdfs --daemon start journalnode

4、在一个NameNode节点上，对其元数据进行修复

hadoop namenode -recover
# 如果hdfs上没有重要数据可以直接格式化namenode
//格式化
hdfs namenode -format
//启动namenode
hdfs --daemon start namenode

5、在其它每一个NameNode节点上执行下面这句话，同步<第4步那个NameNode节点>的元数据信息。

hdfs namenode -bootstrapStandby

6、其它NameNode节点都去执行下面这句话启动NameNode——除<第4步那个NameNode节点>。

hdfs --daemon start namenode

然后通过jps就可以查看NameNode已经启动了。

参考博客

  • https://blog.csdn.net/qq_42385284/article/details/88960678
岁月的眸
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
CentOS7搭建Hadoop集群
01-07
2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 node-3 4.SSH免密登录 ssh-keygen ssh-copy-id node-1 2. 配置文件 2.1 ...
Impala编译部署-6集群部署
a6418720的博客
05-19 334
集群部署如果多机采用虚拟机方便一点，可以在一台机器上配置完成后以此为模板创建其他虚拟机，否则就需要在每台机器上做一些重复的工作和检查。尽量借助一些运维工具以减轻工作量。 以3主机集群介绍 1.1 准备集群主机 1.1.1 主机规划 规划各主机的IP地址，主机名，每主机上要部署的服务。例如 IP地址 主机名 Hadoop服务 Imp...
Apache Impala : Impala安装部署
12-10 6616
Impala安装部署 安装前提： 集群提前安装好hadoop，hive。 hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。 hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。 下载安装包、依赖包 由于impala没有提供tar包进行安装，只提供了rpm包。因此在安装impala的时候，需要使用rpm...
HDFS配置详解
weixin_43990680的博客
02-04 3511
HDFS配置详解随笔说明hdfs-site.xmldfs.namenode.name.dirdfs.block.sizedfs.datanode.data.dirdfs.namenode.handler.countdfs.datanode.handler.countdfs.datanode.max.xcieversdfs.permissionsdfs.datanode.du.reserveddfs...
Hadoop学习（十二）——hive的安装与体验
livan1234的博客
07-08 1535
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata
Impala 安装
凉茶铺的博客
10-25 3795
介绍了如何进行Impala的安装
Impala的log4j和glog配置
Stiga Huang的专栏
11-13 734
Impala server的代码由C++和Java两部分组成，C++日志使用glog，Java日志使用log4j。这两部分输出是如何汇聚到同一个日志文件里的呢？日志级别又是如何协调配置的呢？之前在开发Impala的过程中，总发现一些加在构造函数里的日志没被打印出来，比如JniCatalog。最近终于弄清了impala的日志是怎么配置的，在此梳理一下。
Hadoop生态圈（七）- HDFS优化方案
程序园@大Null
01-17 2011
短路本地读取：Short Circuit Local Reads，makeHDFS Block负载平衡器：Balancer，磁盘均衡器：HDFS Disk Balancer，纠删码技术：Erasure Coding，Reed-Solomon（RS）码，Hadoop EC架构，Erasure Coding部署方式，HDFS Disk Balancer相关命令，短路本地读取安全性改进，短路本地读取配置
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 ...centos7下,roo用户进行如下操作: 查看现有配置文件 本次需要修改ifcfg-ens33(其他系统可能稍有区别,比如ifcfg-ens) vim ifcfg-ens33 重启网络服务: 如果是集群配置,其
CentOS 7+Hadoop-2.7.2的hadoop环境搭建（一）快速创建第一台虚拟机和环境准备
01-09
Hadoop环境搭建（一）虚拟机快速创建和环境准备搭建所使用的环境和软件：创建虚拟机(VM)完成虚拟机创建配置后给VM安装操作系统如果时间不对，设置时区和时间同步将一台虚拟机ip修改为静态ip,和修改主机名字用Xshell...
apache impala3.4编译安装
ciqingloveless的博客
03-08 3478
安装 升级cmake 1 版本要求高于 下载地址 https://cmake.org/files/v3.19/cmake-3.19.0-Linux-x86_64.tar.gz yum remove cmake export CMAKE_HOME=/app/cmake export PATH=$PATH:$CMAKE_HOME/bin 2 安装boost scl enable devtoolset-9 bash yum -y install boost 配置编译环境 1 部署配置mave
大数据学习_交互式查询工具 Impala
qq_41612830的博客
02-25 841
目录1 Impala概述(实时交互式查询工具)1.1 Impala是什什么1.2 Impala优势 主要内容 第 1 部分 Impala概述（Impala是什什么，优势，劣势，与Hive对⽐比） 第 2 部分 Impala的安装(制作本地Yum源⽅方式安装) 第 3 部分 Impala的架构原理理(有哪些组件，组件的作⽤用，查询流程，查询计划) 第 4 部分 Impala的使⽤用（使⽤用与Hive类似，编写sql⽅方式； Impala的DDL,查询语法，导⼊入数据） 第 5 部分 Impala的Java 开
【impala】【报错解决】 Impala cannot read or execute the parent directory of dfs.domain.socket.path的解决方法
Mrerlou的博客
03-14 834
前言: 在使用CDH对 impala 服务进行扩容时，新增节点上面并没有部署 datanode 节点，然后在扩容中遇到了报错，这里整理并记录一下。 报错内容： ERROR cc:268 Invalid short-circuit reads configuration: - Impala cannot read or execute the parent directory of dfs.domain.socket.path ERROR cc:271 Aborting Impala Server s
Impala配置与错误解决方案
热门推荐
Dino系我的专栏
05-07 3万+
impala 安装 impala配置问题
大数据生态（十）集成部署遭遇问题（提前、zk、hdfs）汇总
长臂人猿的博客
11-17 2556
目录 1 .bash_profile和/etc/profile 问题说明 问题解答 现象说明 原因说明 解决 操作 2 赋权问题 2.1 e3base应用目录权限 原因 解决方案 2.2 SSH互联失败 原因 解决方案 3 Zookeeper 启动问题 3.1 Log目录错误 原因 解决方案 3.2 zookeeper启动成功，关联集群失败 现象 原因 解决方案 成果 hadoop运行失败 4 Hadoop启动问题 4.1 配置文件问题 说明 原因 解
hadoop集群负载均衡以及配置方法
zcb_data的博客
05-07 4484
    一个良好的hadoop集群应该是数据均匀的分布在各个节点上，而不是一个节点磁盘都满了，而另一个磁盘使用率才不到10%，这里简单介绍一下hadoop数据存储的原理以及如何保证数据均匀的分布在各个节点上。    本地数据上传hdfs存储流程：        第一块副本：首先集群会判断该上传主机是不是DataNode，如果是DataNode，并且空间够用的情况下，会首先把数据存储在本DataNo...
亚信安慧AntDB-M负载均衡
最新发布
weixin_44518445的博客
07-24 214
AntDB-M通过变量antdb_route_mode(session_variable)控制负载均衡暴露节点类型，使用show variables like “antdb_route_mode”查看当前暴露的节点，使用 set session antdb_route_mode=“DN”改变暴露的节点。MN会通过心跳维护集群内所有节点状态信息，负载均衡算法获取到多个符合条件的节点后，会根据各节点当前连接数状态，优先返回连接数最少的节点。以如下集群结构为例，搭建1个MN、1个CN、2个一主两备DN的集群。
centos7上hadoop集群搭建
04-08
在CentOS7中搭建Hadoop集群的步骤如下： 1.安装Java和SSH 2.下载Hadoop并解压 3.配置Hadoop环境变量 4.设置主机名和IP地址 5.配置Hadoop的核心文件中的配置项 6.设置Hadoop的工作目录和存储目录 7.启动Hadoop服务 8.测试Hadoop集群的功能 这是搭建Hadoop集群的基本步骤，需要注意的是，每个步骤都要仔细进行，避免出现错误。如果您不熟悉Hadoop的操作，请先学习相关知识再进行操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值