Hadoop Multi Node Cluster安装

最新推荐文章于 2024-05-19 02:35:40 发布
最新推荐文章于 2024-05-19 02:35:40 发布
阅读量358 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 多节点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appsna_blog/article/details/100809686
版权

Hadoop Multi Node Cluster安装

一、软件准备

1. CentOS 虚拟机4台（这里我用的是CentOS 6.8 X64 + VMware）。

2. jdk-8u191-linux-x64.tar.gz

3. hadoop-2.8.5.tar.gz

二、配置要求

hostname

IP地址

OS

用户

密码

master.hadoop

10.13.9.10

CentOS 6.8

hdusr

Hdusr123!

data1.hadoop

10.13.9.11

CentOS 6.8

hdusr

Hdusr123!

data2.hadoop

10.13.9.12

CentOS 6.8

hdusr

Hdusr123!

data3.hadoop

10.13.9.13

CentOS 6.8

hdusr

Hdusr123!

三、安装步骤

1.配置IP地址

根据配置要求分别配置data1、data2、data3、master的ip地址。

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR="10.13.9.11"

PREFIX="24"

GATEWAY="10.13.9.2"

DNS1="10.13.9.2"

 

由于我的虚拟机是复制过来的，重启网卡（#service network restart）出现No suitable device found: no device found for connection "System eth0"错误，通过如下方式解决：

a. 在虚拟机设置里重新生成MAC地址。

b. 启动虚拟机，在/etc/udev/rules.d/70-persistent-net.rules文件里修改eth0设备MAC地址。

c. 在/etc/sysconfig/network-scripts/ifcfg-eth0文件里修改设备MAC地址。

d. 重启操作系统。

2.配置hostname

根据配置要求分别配置data1、data2、data3、master的hostname。

a.编辑network文件修改hostname行（重启生效）

$ vim /etc/sysconfig/network

b. 设置当前的hostname(立即生效）

$ hostname hadoop.data1

c. 编辑hosts文件，给127.0.0.1添加hostname

$ vim /etc/hosts

3. 配置hosts

所有节点hosts增加如下内容。

$ sudo vim /etc/hosts

10.13.9.10     master.hadoop

10.13.9.11     data1.hadoop

10.13.9.12     data2.hadoop

10.13.9.13     data3.hadoop

4. 关闭防火墙

$ sudo chkconfig iptables off

$ sudo service iptables stop

5.创建hdusr用户

分别为data1、data2、data3、master创建hdusr用户。

创建用户

# useradd hdusr

# passwd hdusr

修改文件权限

# chmod u+w /etc/sudoers

编辑/etc/sudoers文件。

找到这一行：”root ALL=(ALL) ALL”在起下面添加”xxx ALL=(ALL) ALL”(这里的xxx是你的用户名)，然后保存。

# vim /etc/sudoers

撤销文件的写权限

# chmod u-w /etc/sudoers

切换至hdusr用户

# su - hdusr

6.设定ssh免密登录

a. 为所有节点创建ssh key

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

b. 为master节点创建authorized_keys

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

c. 将master节点的authorized_keys分别上传至data1、data2、data3节点

$ scp /home/hdusr/.ssh/authorized_keys hdusr@10.13.9.11:/home/hdusr/.ssh/

$ scp /home/hdusr/.ssh/authorized_keys hdusr@10.13.9.12:/home/hdusr/.ssh/

$ scp /home/hdusr/.ssh/authorized_keys hdusr@10.13.9.13:/home/hdusr/.ssh/

d. 为所有节点配置sshd

$ sudo vim /etc/ssh/sshd_config

PasswordAuthentication yes

HostKey /etc/ssh/ssh_host_rsa_key

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

$ sudo /etc/init.d/sshd restart

e. 为所有节点设置权限

$ chown -R hdusr:hdusr /home/hdusr/

$ chmod 700 /home/hdusr/

$ chmod 700 /home/hdusr/.ssh/

$ chmod 644 /home/hdusr/.ssh/authorized_keys

$ chmod 600 /home/hdusr/.ssh/id_dsa

f. 在master节点测试ssh免密登录

$ ssh 10.13.9.11

Last login: Wed Oct 31 05:12:31 2018 from 10.13.9.10

[hdusr@data1 ~]$ exit

logout

Connection to 10.13.9.11 closed.

7.安装并配置java环境变量

分别为data1、data2、data3、master节点安装配置java。

a.解压到安装目录

$ sudo mkdir /usr/local/java

$ sudo chown -R hdusr:hdusr /usr/local/java/

$ tar -zxvf /home/software/jdk-8u192-linux-x64.tar.gz -C /usr/local/java/

b.配置环境变量

$ vim ~/.bashrc

export JAVA_HOME=/usr/local/java/jdk1.8.0_192

export PATH=${JAVA_HOME}/bin:$PATH

$ source ~/.bashrc

$ echo $PATH

$ java -version

java version "1.8.0_192"

Java(TM) SE Runtime Environment (build 1.8.0_192-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.192-b12, mixed mode)

$ javac -version

javac 1.8.0_192

8.安装并配置hadoop环境变量

分别为data1、data2、data3、master节点安装配置hadoop。

a.解压到安装目录

$ sudo mkdir /usr/local/hadoop

$ sudo chown -R hdusr:hdusr /usr/local/hadoop

$ tar -zxvf /home/software/hadoop-2.8.5.tar.gz -C /usr/local/hadoop/

b.配置环境变量

$ vim ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.5

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

$ source ~/.bashrc

$ hadoop version

9.hadoop配置

Step1 修改所有节点hadoop-env.sh

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/hadoop-env.sh

输入下面内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_192

Step2 修改所有节点core-site.xml

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/core-site.xml

<configuration>

        <property>

                <name>fs.default.name</name>

                <value>hdfs://10.13.9.10:9000</value>

        </property>

</configuration>

Step3 修改所有节点yarn-site.xml

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/yarn-site.xml

<configuration>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address</name>

                <value>10.13.9.10:8025</value>

        </property>

        <property>

                <name>yarn.resourcemanager.scheduler.address</name>

                <value>10.13.9.10:8030</value>

        </property>

        <property>

                <name>yarn.resourcemanager.address</name>

                <value>10.13.9.10:8050</value>

        </property>

</configuration>

Step4 修改所有节点mapred-site.xml

$ cp /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/mapred-site.xml

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/mapred-site.xml

<configuration>

        <property>

                <name>mapred.job.tracker</name>

                <value>10.13.9.10:54311</value>

        </property>

</configuration>

Step5 修改所有data节点hdfs-site.xml

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>file:/usr/local/hadoop/hadoop-2.8.5/hadoop_data/hdfs/datanode</value>

        </property>

</configuration>

Step6 修改master节点hdfs-site.xml

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/hdfs-site.xml

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>3</value>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>file:/usr/local/hadoop/hadoop-2.8.5/hadoop_data/hdfs/namenode</value>

        </property>

</configuration>

Step7 设定master档案（master节点）

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/master

输入下面内容：

10.13.9.10

Step8 设定slaves档案（master节点）

$ vim /usr/local/hadoop/hadoop-2.8.5/etc/hadoop/slaves

输入下面内容：

10.13.9.11

10.13.9.12

10.13.9.13

10.格式化HDFS目录

在master节点格式化HDFS目录

$ cd /usr/local/hadoop/hadoop-2.8.5/bin/

$ hadoop namenode -format

11.启动hadoop

$ cd /usr/local/hadoop/hadoop-2.8.5/sbin/

有a和b两种启动方式

a.启动start-dfs.sh，再启动start-yarn.sh

$ start-dfs.sh

$ start-yarn.sh

b.启动全部

$ start-all.sh

查看目前所执行的行程

$ jps

6725 SecondaryNameNode

6518 NameNode

6887 ResourceManager

7086 Jps

12.访问管理界面

Hadoop Resource­Manager Web界面地址

http://10.13.9.10:8088/

NameNode HDFS Web界面地址

http://10.13.9.10:50070/

appsna
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ubuntu上使用Hadoop 2.x 四 Multi-node cluster 基本设置
Dean Chen的专栏
02-22 4832
这次玩分布式了，在多台虚拟机上安装
Hadoop Multi Node Cluster 安装步骤.pdf
05-11
Hadoop Multi Node Cluster 安装步骤.pdf
Hadoop——Hadoop Multi Node Cluster的安装
绝尘
10-23 806
Hadoop Multi Node Cluster的安装 Hadoop Multi Node Cluster 规划如下图 一台主要的计算机master，在HDFS担任NameNode角色，在MapReduce2（YARN）担任ResourceManager角色。 多台辅助计算机data1、data2、data3，在HDFS担任DataNode角色、在MapReduce2（YARN）担任NodeM...
【MySQL精通之路】NDB集群(1)-存储引擎-介绍
最新发布
Anakki的博客
05-19 410
MySQL NDB集群使用带有NDB存储引擎的MySQL服务器。Oracle构建的标准MySQL Server 8.0二进制文件中不包括对NDB存储引擎的支持。相反，来自Oracle的NDB Cluster二进制文件的用户应该升级到支持平台的NDB群集的最新二进制版本，其中包括应该与大多数Linux发行版一起使用的RPM。从源代码构建的NDB Cluster 8.0用户应该使用MySQL 8.0提供的源代码，并使用提供NDB支持所需的选项进行构建。（本节后面列出了可以获得来源的位置。
安装Hadoop Multi Node Cluster
user_lib的博客
04-08 367
详细步骤如下将上一节的single node cluster复制到data1设置data11.设置网络配置2.设置主机名3.编辑Hosts文件4.编辑core-site.xml5.编辑YARN-site.xml6.编辑mapred-site.xml7.编辑hdfs-site.xml重复将data1完整复制到data2,data3,master设置master服务器master连接data1,data2,data3创建并格式化NameNode HDFS启动Hadoop Multi Node Cluster 将
第5章 Hadoop 2.6 Multi Node Cluster安裝指令
HuFeiHu
01-12 753
Hadoop Multi Node Cluster規劃如下圖， 由多台電腦組成: 有一台主要的電腦master，在HDFS擔任NameNode角色，在MapReduce2(YARN)擔任ResourceManager角色有多台的電腦data1、data2、data3，在HDFS擔任DataNode角色，在MapReduce2(YARN)擔任NodeManager角色 
Case-Study-Multi-Node-Cluster:案例分析
05-20
Hadoop多节点集群 案例分析 1.列出所有电影和等级数-MovieRating.java 2.列出所有用户和他们对一部电影所做的等级数-UserRating.java 3.列出所有已评级的电影ID（电影ID具有至少一个用户评分的电影）-MovieIdRating....
Test-Hadoop：在Linux中设置hadoop进行大数据分析
02-06
4. **安装Hadoop**：下载Hadoop的tarball文件，解压到指定目录。然后，配置Hadoop的配置文件，如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`，设置HDFS和YARN的相关参数。 5. **Hadoop...
Apache Hadoop 3 Quick Start Guide
12-29
Then, you will set up a pseudo Hadoop development environment and a multi-node enterprise Hadoop cluster. You will see how the parallel programming paradigm, such as MapReduce, can solve many complex...
两台 Ubuntu 机器实现 Hadoop 集群
03-19
压缩包中的文件 "Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_Cluster).pdf" 可能是一个详细的指南，涵盖以下关键知识点： 1. **Hadoop 架构**：理解 Hadoop 的核心组件，如 NameNode、DataNode、ResourceManager...
安装hadoop集群(Multi Cluster)
weixin_34185512的博客
11-27 87
配置环境 本文档安装hadoop集群环境，一个master作为namenode节点，一个slave作为datanode节点： (1) master： os: CentOS release 6.5 (Final) ip: 172.16.101.58 user：root hadoop-2.9.0.tar.gz (2) slave： os: CentOS re...
MySQL NDB集群部署与维护
04-05
通过学习mysql官方文档，在实验中形成的一份简明扼要的笔记性质文档，适合MySQL NDB集群感兴趣的同学参考。
MAC_Virtual Box_ 安装 Hadoop Multi Node Cluster
Mikowoo007的博客
05-13 243
Hadoop Multi Node Cluster 架构必须有4台实体服务器才能建立，以发挥多台计算机并行处理的优势 使用 Virtual Box 创建4台虚拟机 master, data1, data2, data3 把 Single Node Cluster 复制到 data1 设置 VirtualBox 网卡 网卡1   设置为“NAT网卡”, 可以通过Host主机【安装Virtual Box那台电脑】连接到外部网络(internet) 网卡2   设置为“仅主机适配器”（这里的适配器指的是
Hadoop多节点集群配置
qq_25861361的博客
08-15 330
data1配置（步骤针对虚拟机virtualbox2.5.20） 网络配置文件{ sudo gedit /etc/network/interfaces 将下面代码贴到loopback下面一行 #NAT interface auto eth0 iface eth0 inet dhcp #host only interface auto eth1 iface eth1 inet stati
Hadoop Multi Node Cluster（Hadoop 集群）的安装与配置
weixin_44252609的博客
07-07 673
该篇博客这要是对多台机器的Hadoop集群，以及hadoop 资源管理（ResourceManager）与NameNode HDFS Web界面的介绍。 Hadoop Multi Node Cluster（Hadoop 集群）规划如下： 一台主要计算机master，在HDFS担任NameNode角色、在MapReduce2(YARN)担任ResourceManager角色。 有多台计算机，在HDFS担任DataNode角色、在MapReduce2(YARN)担任NodeManager角色 。 Hado
mysql 分布式数据库 NDB集群概述
nmmbwan的博客
11-26 2244
mysql 分布式数据库介绍 NDB Cluster 介绍 管理节点、数据节点、sql节点
MySQL怎么使用NDB Cluster？MySQL集群解决方案有哪些？
学亮编程手记
06-08 944
MySQL NDB Cluster是一种创建MySQL集群的解决方案之一，它是MySQL官方提供的一种高可用性和实时性的分布式数据库解决方案。NDB Cluster使用分布式架构，将数据分片存储在多个节点上，实现了数据的高可用性、水平扩展和负载均衡。除了NDB Cluster，还有其他一些解决方案可以创建MySQL集群，如下所示：MySQL Replication（MySQL复制）：MySQL复制是一种主从复制的方案，通过将数据从一个主节点复制到多个从节点，实现数据的冗余备份和读写分离。
MySQL NDB Cluster部署方案与实践
m0_38004228的博客
12-23 1684
​ MySQL Cluster是MySQL适用于分布式计算环境的高实用、高冗余版本。他采用了NDB Cluster存储引擎，允许在一个Cluster中运行多个MySQL服务器。​ MySQL Cluster是一种在无共享系统中启用内存数据库集群的技术。无共享架构使系统能够使用非常便宜的硬件，并且对硬件或软件的特定要求最低。MySQL Cluster旨在没有任何单点故障。在无共享系统中，每个组件都应该有自己的内存和磁盘，不推荐也不支持使用网络共享、网络文件系统和 SAN 等共享存储机制。
高级DBA带你从0到1搭建Mysql NDB Cluster 分布式集群搭建实战全网最详细
nasen512的博客
03-28 2685
NDB集群是一种在无共享系统中实现内存数据库集群的技术。无共享体系结构使系统能够使用非常便宜的硬件，并且对硬件或软件的特定要求最低。NDB集群设计为没有任何单点故障。在无共享系统中，每个组件都应该有自己的内存和磁盘，不建议或不支持使用共享存储机制，如网络共享、网络文件系统和SAN。NDB Cluster将MySQL服务器与NDB的内存集群存储引擎集成在一起。NDB集群由一组主机组成，每个主机运行一个或多个进程。
Hadoop分布式安装配置.docx
11-03
虚拟机上安装分布式安装hadoop，恰同学少年，风华正茂，挥斥方遒

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值