大数据分布式集群组件安装手册

最新推荐文章于 2023-04-01 19:08:31 发布
最新推荐文章于 2023-04-01 19:08:31 发布
阅读量282 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/einfeng/article/details/107984664
版权

文章目录

1. 手册说明

本手册主要内容为：大数据相关组件的集群安装与部署过程，以及在安装与部署过程中常见问题的处理方法。根据实际需求，本手册内的大数据组件都为原生版本，不包含HDP和CDH的相关发行版本。所有大数据组件都尽可能的部署高可用模式。

2. 部署规划

2.1. 服务器信息

服务器（IP）服务器类型操作系统CPU（core）内存（GB）磁盘（GB）
10.10.195.53虚拟机Centos7.2864800
10.10.195.54虚拟机Centos7.2864800
10.10.195.55虚拟机Centos7.2864800
10.10.195.56虚拟机Centos7.2864800

2.2. 服务器规划

规划10.10.195.5310.10.195.5410.10.195.5510.10.195.56
主机名bigdata-1.mid.neu.combigdata-2.mid.neu.combigdata-3.mid.neu.combigdata-4.mid.neu.com
Zookeeper是是是否
Hadoop-NameNode是是否否
Hadoop-DataNode是是是是
Hadoop-ResourceServer是是否否
Hadoop-NodeManager是是是是
Hadoop-DFSZKFailoverController是是否否
Hadoop-JournalNode是是是否
Kafka是是是否
Clickhouse是是是是
Flink-JobManager是是否否
Flink-TaskManager是是是是

2.3. 组件及其对应版本

组件版本
Hadoop3.1.2
Hive3.1.2
Zookeeper3.5.5
Tez0.9.2
Clickhouse20.1.6.30
Kafka2.3.0
Flink1.10

3. 组件部署

3.1. 服务器基础配置

3.1.1. 解除 Linux 系统限制

1. 解除打开文件数限制：

执行：

vim /etc/security/limits.conf

添加如下内容：

* soft noproc 65535
* hard noproc 65535
* soft nofile 65535
* hard nofile 65535

3.1.2. 修改主机名和主机映射

1. 永久修改主机名：
hostnamectl set-hostname bigdata-1.mid.neu.com
hostnamectl set-hostname bigdata-2.mid.neu.com
hostnamectl set-hostname bigdata-3.mid.neu.com
hostnamectl set-hostname bigdata-4.mid.neu.com
2. 临时修改主机名：
hostname bigdata-1.mid.neu.com
hostname bigdata-2.mid.neu.com
hostname bigdata-3.mid.neu.com
hostname bigdata-4.mid.neu.com

3.1.3 配置主机映射

修改

vim /etc/hosts

添加如下内容：

10.10.195.53 bigdata-1.mid.neu.com bigdata-1
10.10.195.54 bigdata-2.mid.neu.com bigdata-2
10.10.195.55 bigdata-3.mid.neu.com bigdata-3
10.10.195.56 bigdata-4.mid.neu.com bigdata-4

测试：

ping bigdata-1
ping bigdata-2
ping bigdata-3
ping bigdata-4

3.1.3. 关闭防火墙和selinux

1. 关闭防火墙：

查看防火墙状态：

firewall-cmd --state

临时停止firewall：

systemctl stop firewalld.service

永久禁止开启启动firewall：

systemctl disable firewalld.service
2. 关闭SELinux

查看SELinux状态：

getenforce 或者 /usr/sbin/sestatus -v

临时禁用：

setenforce 0

永久禁用：

vim /etc/selinux/config

将SELINUX=enforce改成SELINUX=disabled。

永久禁用需要保存和重启才可以生效。

3.1.4. 服务器之间免密ssh登陆

1. 制作秘钥：

在所有服务器上执行如下命令：

cd ~
ssh-keygen

直接一路回车，采用默认配置即可。

2. 拷贝秘钥：

在所有服务器上执行如下命令：

ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-1.mid.neu.com
ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-2.mid.neu.com
ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-3.mid.neu.com
ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-4.mid.neu.com

cd ~/.ssh

scp id_rsa id_rsa.pub bigdata-2.mid.neu.com:/root/.ssh/
scp id_rsa id_rsa.pub bigdata-3.mid.neu.com:/root/.ssh/
scp id_rsa id_rsa.pub bigdata-4.mid.neu.com:/root/.ssh/

3.1.5. 时钟同步

1. 配置与启动：

在主服务器上执行：

vim /etc/ntp.conf

注释掉原先的默认配置：

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

添加如下配置（配置时钟同步地址为时钟同步服务器）：

server 10.10.195.126 minpoll 4 maxpoll 5
fudge 127.127.1.0 stratum 3
restrict 10.10.195.126

重启ntp服务：

systemctl restart ntpd.service

查看ntp状态：
ntpq -p
f) 设置开机自启动
systemctl enable ntpd

3.2. JDK安装

  1. 在主节点执行如下步骤：
    a) 解压缩：
    tar -xzvf jdk-8u211-linux-x64.tar.gz -C /home
    b) 设置环境变量：
    vim /etc/profile
    c) 添加如下内容：
    export JAVA_HOME=/home/jdk1.8.0_211
    export JRE_HOME= J A V A H O M E / j r e e x p o r t C L A S S P A T H = . : {JAVA_HOME}/jre export CLASSPATH=.: JAVAH​OME/jreexportCLASSPATH=.:{JAVA_HOME}/lib: J R E H O M E / l i b e x p o r t P A T H = {JRE_HOME}/lib export PATH= JREH​OME/libexportPATH={JAVA_HOME}/bin:$PATH
    d) 生效：
    source /etc/profile
    e) 验证：
    java -version

  2. 在其他节点执行如下步骤：
    a) 从主节点复制文件到其他节点：
    scp -r jdk1.8.0_211/ bigdata-2:/home
    scp -r jdk1.8.0_211/ bigdata-3:/home
    scp -r jdk1.8.0_211/ bigdata-4:/home
    b) 设置环境变量：
    vim /etc/profile
    c) 添加如下内容：
    export JAVA_HOME=/home/jdk1.8.0_211
    export JRE_HOME= J A V A H O M E / j r e e x p o r t C L A S S P A T H = . : {JAVA_HOME}/jre export CLASSPATH=.: JAVAH​OME/jreexportCLASSPATH=.:{JAVA_HOME}/lib: J R E H O M E / l i b e x p o r t P A T H = {JRE_HOME}/lib export PATH= JREH​OME/libexportPATH={JAVA_HOME}/bin:$PATH
    d) 生效：
    source /etc/profile
    e) 验证：
    java -version

3.3. Zookeeper组件部署

  1. 下载安装介质：
    https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.5-bin.tar.gz

  2. 解压缩：
    tar -xzvf apache-zookeeper-3.5.5-bin.tar.gz -C /home
    mv apache-zookeeper-3.5.5-bin/ zookeeper-3.5.5

  3. 创建数据目录和日志目录：
    mkdir /home/zookeeper-3.5.5/data
    mkdir /home/zookeeper-3.5.5/logs

  4. 配置：
    执行：
    vim /home/zookeeper-3.5.5/conf/zoo.cfg
    填入以下内容：
    tickTime=2000
    dataDir=/home/zookeeper-3.5.5/data
    dataLogDir=/home/zookeeper-3.5.5/logs
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=bigdata-1.mid.neu.com:2888:3888
    server.2=bigdata-2.mid.neu.com:2888:3888
    server.3=bigdata-3.mid.neu.com:2888:3888

  5. 复制到其它节点（zookeeper的节点必须是奇数）：
    scp -r /home/zookeeper-3.5.5 10.10.195.54:/home
    scp -r /home/zookeeper-3.5.5 10.10.195.55:/home

  6. 配置zookeeper服务器id：
    touch /home/zookeeper-3.5.5/data/myid
    vim /home/zookeeper-3.5.5/data/myid
    填入1（注意，参考配置文件server.1、server.2、server.3的配置主机，配置不同的id，如2，3）

  7. 启动：
    各节点执行：
    /home/zookeeper-3.5.5/bin/zkServer.sh start

  8. 检查状态：
    /home/zookeeper-3.5.5/bin/zkServer.sh status

3.4. Hadoop分布式集群部署

  1. 下载安装介质：
    https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

  2. 解压缩：
    tar -xzvf hadoop-3.1.2.tar.gz -C /home

  3. 设置环境变量：
    执行：
    vim /etc/profile
    添加如下内容：
    export HADOOP_HOME=/home/hadoop-3.1.2
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin
    生效：
    source /etc/profile

  4. 创建存储目录：
    mkdir -p /home/hadoop-3.1.2/data/tmp
    mkdir -p /home/hadoop-3.1.2/data/namenode
    mkdir -p /home/hadoop-3.1.2/data/datanode
    mkdir -p /home/hadoop-3.1.2/data/journal

  5. 修改配置文件：
    a) 进入hadoop配置目录：
    cd /home/hadoop-3.1.2/etc/Hadoop

b) 修改hadoop环境变量脚本：
执行：
vim hadoop-env.sh
添加如下内容：
export JAVA_HOME=/home/jdk1.8.0_211
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export HDFS_DATANODE_SECURE_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_SHELL_EXECNAME=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root

c) 修改hadoop核心配置文件：
执行：
vim core-site.xml
修改为内容：


fs.defaultFS
hdfs://hadoop-cluster


hadoop.tmp.dir
/home/hadoop-3.1.2/data/tmp


ha.zookeeper.quorum
bigdata-1.mid.neu.com:2181,bigdata-2.mid.neu.com:2181,bigdata-3.mid.neu.com:2181


hadoop.proxyuser.root.hosts



hadoop.proxyuser.root.groups


d) 修改hdfs配置文件：
执行：
vim hdfs-site.xml
修改为如下内容：


dfs.nameservices
hadoop-cluster


dfs.ha.namenodes.hadoop-cluster
nn01,nn02


dfs.namenode.rpc-address.hadoop-cluster.nn01
bigdata-1.mid.neu.com:9000


dfs.namenode.rpc-address.hadoop-cluster.nn02
bigdata-2.mid.neu.com:9000


dfs.namenode.http-address.hadoop-cluster.nn01
bigdata-1.mid.neu.com:50070


dfs.namenode.http-address.hadoop-cluster.nn02
bigdata-2.mid.neu.com:50070


dfs.namenode.shared.edits.dir
qjournal://bigdata-1.mid.neu.com:8485;bigdata-2.mid.neu.com:8485;bigdata-3.mid.neu.com:8485/hadoop-cluster


dfs.client.failover.proxy.provider.hadoop-cluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider


dfs.permissions.enabled
false


dfs.support.append
true


dfs.replication
3


dfs.namenode.name.dir
/home/hadoop-3.1.2/data/namenode


dfs.datanode.data.dir
/home/hadoop-3.1.2/data/datanode


dfs.journalnode.edits.dir
/home/hadoop-3.1.2/data/journal


dfs.ha.automatic-failover.enabled
true


dfs.webhdfs.enabled
true


dfs.ha.fencing.ssh.connect-timeout
30000


dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa


dfs.ha.fencing.methods

sshfence
shell(/bin/true)


e) 修改mapreduce配置文件：
执行：
vim mapred-site.xml
修改如下内容：

<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
</configuration>

f) 修改yarn配置文件：
执行：
vim yarn-site.xml
修改如下内容：

<configuration> 
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>bigdata-1.mid.neu.com</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>bigdata-2.mid.neu.com</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>bigdata-1.mid.neu.com:2181,bigdata-2.mid.neu.com:2181,bigdata-3.mid.neu.com:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.localizer.fetch.thread-count</name>
        <value>10</value>
    </property>
    <property>
        <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
        <value>0.6</value>
    </property>
</configuration>

g) 修改主从节点配置：
执行：
vim /home/hadoop-3.1.2/etc/hadoop/workers
添加：
bigdata-1.mid.neu.com
bigdata-2.mid.neu.com
bigdata-3.mid.neu.com
bigdata-4.mid.neu.com

  1. 从主节点复制hadoop目录到其它节点：
    scp -r /home/hadoop-3.1.2/ 10.10.195.54:/home
    scp -r /home/hadoop-3.1.2/ 10.10.195.55:/home
    scp -r /home/hadoop-3.1.2/ 10.10.195.55:/home

  2. 配置其它节点环境变量：
    vim /etc/profile
    添加如下内容：
    export HADOOP_HOME=/home/hadoop-3.1.2
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin
    生效：
    source /etc/profile

  3. 启动journalnode：
    按照规划，在bigdata-1.mid.neu.com、bigdata-2.mid.neu.com、bigdata-3.mid.neu.com节点启动journalnode。
    /home/hadoop-3.1.2/bin/hdfs --daemon start journalnode

  4. 格式化zookeeper：
    在任意namenode节点执行，这里为bigdata-1.mid.neu.com。
    /home/hadoop-3.1.2/bin/hdfs zkfc -formatZK -force

  5. 格式化主namenode节点：
    在bigdata-1.mid.neu.com节点上执行
    /home/hadoop-3.1.2/bin/hdfs namenode -format -force

  6. 启动主namenode节点：
    在bigdata-1.mid.neu.com节点上执行
    /home/hadoop-3.1.2/bin/hdfs --daemon start namenode

  7. 启动zkfc节点：
    按照规划，在bigdata-1.mid.neu.com和bigdata-2.mid.neu.com节点上执行。
    /home/hadoop-3.1.2/bin/hdfs --daemon start zkfc

  8. 格式化备namenode节点：
    在bigdata-2.mid.neu.com节点上执行。
    /home/hadoop-3.1.2/bin/hdfs namenode -bootstrapStandby -force

  9. 启动备namenode节点：
    在bigdata-2.mid.neu.com节点上执行
    /home/hadoop-3.1.2/bin/hdfs --daemon start namenode

  10. 启动datanode节点：
    在所有worker节点上执行：
    /home/hadoop-3.1.2/bin/hdfs --daemon start datanode

  11. 启动resourcemanager节点：
    按照规划，在bigdata-1.mid.neu.com和bigdata-2.mid.neu.com节点上执行
    /home/hadoop-3.1.2/bin/yarn --daemon start resourcemanager

  12. 启动nodemanager节点：
    在所有worker节点上执行：
    /home/hadoop-3.1.2/bin/yarn --daemon start nodemanager

  13. 验证：
    执行：
    jps
    观察内容：
    NameNode
    DataNode
    ResourceManager
    NodeManager
    DFSZKFailoverController
    JournalNode

3.5. Kafka分布式集群部署

  1. 解压缩：
    tar -xzvf kafka_2.12-2.3.0.tar.gz -C /home

  2. 调整配置文件：
    /home/kafka_2.12-2.3.0/config/server.properties
    调整：
    broker.id=1
    log.dirs=/home/kafka_2.12-2.3.0/logs/kafka-logs
    zookeeper.connect=bigdata-1.mid.neu.com:2181,bigdata-2.mid.neu.com:2181,bigdata-3.mid.neu.com:2181

需要注意：broker.id不同服务器是不一样的，如bigdata-1.mid.neu.com为1,bigdata-2.mid.neu.com为2,bigdata-3.mid.neu.com为3。

  1. 启动：
    nohup /home/kafka_2.12-2.3.0/bin/kafka-server-start.sh -daemon /home/kafka_2.12-2.3.0/config/server.properties 2>&1

3.6. Flink分布式集群部署

  1. 解压缩：
    tar -xzvf flink-1.10.0-bin-scala_2.12.tar -C /home

  2. 调整配置文件：
    这里以flink on yarn为例：
    调整文件：
    /home/kafka_2.12-2.3.0/conf/flink-conf.yaml
    调整：
    high-availability: zookeeper
    high-availability.storageDir: hdfs://Hadoop-cluster/flink/ha/
    high-availability.zookeeper.quorum: bigdata-1.mid.neu.com:2181,bigdata-2.mid.neu.com:2181,bigdata-3.mid.neu.com:2181
    state.backend: filesystem
    state.checkpoints.dir: hdfs://hadoop-cluster/flink-checkpoints
    state.savepoints.dir: hdfs://hadoop-cluster/flink-savepoints

3.7. clickhouse分布式集群部署：

  1. 安装：
    rpm -ivh clickhouse-common-static-20.1.6.30-2.x86_64.rpm
    rpm -ivh clickhouse-server-20.1.6.30-2.noarch.rpm
    rpm -ivh clickhouse-client-20.1.6.30-2.noarch.rpm

  2. 修改配置：
    vim /etc/clickhouse-server/config.xml
    修改：
    <tcp_port>19000</tcp_port>
    <listen_host>::</listen_host>

  3. 启动：
    systemctl start clickhouse-server
    附录A：大数据组件原生web管理系统地址整理：
    组件 Web管理系统地址
    HDFS http://10.10.195.53:50070
    YARN http://10.10.195.53:8088
    HBASE http://10.10.195.53:16010

注意：以上端口都不是固定的，可以在相应的配置文件中配置。

幻天一剑
关注
大数据集群安装手册.docx
06-01
全套大数据安装手册，在虚拟化上搭建hadoop集群、安装ambari、集群环境说明、安装CENTOS操作系统
CDH5.13.1大数据集群搭建手册
清平乐的技术专栏
03-29 689
一、环境配置 1.软件环境 本文将介绍Centos7.2 离线安装CDH和Cloudera Manager过程，软件版本如下： 2.配置规划 本次安装共5台服务器，服务器配置及用途如下： 3.所需要的软件资源 1)JDK环境： JDK版本：1.8.0_151 jdk-8u151-linux-x64.rpm 下载地址：http://www.oracle.com/technetwork/java/...
大数据集群环境搭建手册
qq_34968976的博客
04-11 330
大数据集群环境搭建手册一、安装包准备jdk1.8以下操作在root用户下二、安装jdk准备jar包 进行安装，tar到/soft下——{$&gt;tar -zxvf  XXXXXXXX -C /soft} 添加环境变量——{$&gt;nano /etc/profileJAVA_HOME=/soft/jdk1.8.0_101/export JAVA_HOMEJRE_HOME=/soft/jdk1.8...
hadoop spark之常用配置
架构师老狼
02-13 510
1.2 安装配置 1.2.1 安装jdk1.8 #root vim /etc/profile export JAVA_HOME=/data/software/jdk1.8.0_191 export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/jre export CLASSPATH=.:JAVAH​OME/jreexportC...
大数据部署手册（个人）
Kafka_yx的博客
11-07 277
大数据部署手册（个人）安装包下载MySQL 下载:CDH 下载kafka 下载服务器hosts 配置关闭防火墙免密配置时间同步安装 MySQL删除过期文件部署 MySQL初始化数据库创建 cm 组件需要的 数据库**安装cloudera-manager-5.4.3** 安装包下载 MySQL 下载: 下载mysql地址：http://dev.mysql.com/downloads/mysql/5...
HDP大数据集群安装手册
最新发布
05-12
《HDP大数据集群安装手册》全面解析 在大数据领域，Hadoop Distributed File System (HDFS) 和相关的组件构成了处理海量数据的核心基础设施。HDP（Hortonworks Data Platform）是其中一款广泛采用的大数据平台，它...
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档是指利用Cloudera Distributed Hadoop（CDH）搭建大数据集群的指导手册，旨在帮助用户快速搭建大数据环境，学习大数据利器。以下是该文档的知识点总结： 大数据CDH集群概述 CDH是Cloudera...
CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署
07-13
总结，《CDH安装手册》是学习和实施Hadoop大数据集群部署的宝贵资料，涵盖从基础概念到具体操作的全方位指导。通过深入理解并实践其中的知识点，读者将能够熟练地搭建和管理CDH集群，为大数据应用打下坚实基础。
CDH集群软件安装手册@20191118.docx
11-18
3. 安装CDH集群组件：安装CDH集群的各个组件，包括HDFS、MapReduce、YARN、Hive、Impala等。 4. 配置CDH集群：配置CDH集群的各个组件，包括配置HDFS、MapReduce、YARN、Hive、Impala等。 CDH集群组件安装 1. HDFS...
华为HCIA-Big Data V3.0大数据培训教材和实验手册.rar
08-05
Hadoop是大数据处理的核心框架，其核心组件包括HDFS（分布式文件系统）和MapReduce（分布式计算模型）。HCIA-Big Data教程会详细介绍这两个组件的工作原理，并通过实际操作指导学习者如何在集群上部署和管理Hadoop。...
大数据安装步骤【pdf】
12-19
本教程包含大数据平台的安装详细步骤，从安装虚拟机到平台下载，每个步骤都非常详细。
大数据精通组件——Ambari安装全网最详细文档-公司大数据集群部署方案
08-09
Ambari安装全网最详细文档-公司大数据集群部署方案
大数据环境安装部署说明文档
03-25
部署项目所需的Hadoop集群环境。包括分布式文件系统HDFS,分布式应用程序协调服务器Zookeeper,分布式发布订阅消息系统Kafka,关系型数据库MYSQL,基于Hadoop和MYSQL的数据仓库引擎Hive,Hadoop与结构化数据存储之间的数据转换工具Sqoop和计算引擎Spark。
大数据组件介绍PPT
07-14
主要介绍Hadoop,Spark,Sqoop,Hbase,kafka等大数据相关组件，以及Apache原生集群以及CDH一键安装方式，最后介绍作者所在公司的应用场景
大数据实战手册-安装篇之基础环境
Y1551880的博客
02-13 120
1 基础环境 1.1.1 关闭selinux #查看状态：/usr/sbin/sestatus #disabled vim /etc/selinux/config #重启 reboot 1.1.2 关闭防火墙 #查看防火墙规则 firewall-cmd --list-all #查询端口是否开放 firewall-cmd --query-port=8080/tcp #开放80端口f...
分布式集群中的硬件选择
dajuezhao的专栏
12-21 3071
一、背景 最近2个月时间一直在一个阴暗的地下室的角落里工作，主要内容就是hadoop相关的应用。在这期间，Hadoop的应用确实得到认可，但是同时也带来了一些问题，软件方面我就不在这里说了，只说说一些物理方面的局限： 1、众所周知，hadoop能够接受任何类型的机器加入集群，在多不在精。但是这带来一个问题，机房的空间开销以及电费。 2、机器太多，人力维护成本也是增加的。机柜啊、物理空间都是个不小的负担和开销。 刚好，在这个问题产生的同时，十分幸运的被一同事叫出来，去参加一个会议，得以有机会走上地面。
大数据分布式基础环境搭建
01-26 445
安装VMware Workstation Pro和3台linux虚拟机 一 centos7最小化安装后不能上网: 首先一定要选网络适配器NAT 选后service network restart cd /etc/sysconfig/network-scripts vi /etc/sysconfig/network-scripts/ifcfg-ens33#刚开始没有vim只有vi BOOTPRO...
（八）大数据实战——hadoop集群组件启动及服务组件配置修改
厉害哥哥的博客
04-01 620
本节内容我们主要介绍，如何启动hadoop的组件服务，例如hdfs、yarn等，并通过修改自定义配置文件，修改我们组件的配置。
大数据基础一：大数据组件
Phyllis2016的博客
11-01 2150
一、单机、集群、分布式 1、单机 一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构。 2、集群 单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫做这个集群的一个“节点”，所有节点构成了一个集群。每个节点都提供相同的服务，那么这样系统的处理能力就相当于提升了好几倍（有几个节点就相当于提升了这么多倍）。 3、分布式（微服务） 分布式结构就是将一个完整的系统，按
Hadoop2.7X集群分布式安装全攻略
"这是一份关于hadoop2.7X集群分布式安装的手册，涵盖了从环境准备到各个组件的安装步骤，包括CentOS、JDK、Zookeeper、Hadoop、Sqoop、Mysql、HBase和Hive的安装，以及集群规划和具体安装步骤的详细指导。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值