4台机器完全分布式安装hadoop，bigbrother的补充

最新推荐文章于 2021-01-10 21:45:33 发布
最新推荐文章于 2021-01-10 21:45:33 发布
阅读量1.5k 收藏 7
点赞数 6
分类专栏： 大数据 文章标签： 1024程序员节 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jjjjjjabnannnan/article/details/109267531
版权

完全分布式
示意图
在这里插入图片描述

Namnode的配置
克隆机器
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.100
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为namenode
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH= P A T H : PATH: PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile

安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH= P A T H : PATH: PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/local</value>
</property>

配置hdfs-site.xml
vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node1:50090</value>
</property>

配置奴隶文件
Vi slaves
添加
node1
node2
node3

NODE1:
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.101
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为node1
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH= P A T H : PATH: PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile

安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH= P A T H : PATH: PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/local</value>
</property>

配置hdfs-site.xml
vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node1:50090</value>
</property>

配置奴隶文件
Vi slaves
添加
node1
node2
node3
NODE2:
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.102
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为node2
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH= P A T H : PATH: PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile

安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH= P A T H : PATH: PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/local</value>
</property>

配置hdfs-site.xml
vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node1:50090</value>
</property>

配置奴隶文件
Vi slaves
添加
node1
node2
node3

NODE3:
1， 克隆，改名
2， 该udev文件 /etc/udev/rules.d/70-…-net… 把最后一行的eth1改为eth0，把前面几行都注释掉
start_udev 开启
改网卡/etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.x.103
把uuid和MAC地址注释掉或者删除
Service network restart
3， 改名
/etc/sysconfig/network
把里面的默认localhost改为node3
重启 reboot
4， 关闭防火墙 service iptables stop
5， 安装JDK ,安装Hadoop
rpm -ivh jdk… 默认安装到/usr/java/jdk… 把它名字改为jdk7
配置环境变量/etc/profile
里面需要添加两行
export JAVAHOME=/usr/java/jdk7
export PATH= P A T H : PATH: PATH:JAVAHOME/bin
文件配置完毕侯需要source一下
source /etc/profile

安装hadoop
tar -zxvf had… -C /opt/
配置环境变量/etc/profile
里面需要添加两行
export HADOOP_PREFIX=/opt/hadoop-2.6.5
export PATH= P A T H : PATH: PATH:HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
文件配置完毕侯需要source一下
source /etc/profile
6, 修改hosts文件，通过名字可以找到对方的IP 写四条
vi /etc/hosts添加下面4条
192.168.x.100 namenode
192.168.x.101 node1
192.168.x.102 node2
192.168.x.103 node3
7，配置三个环境变量文件
/opt/hadoo
p-2.6.5/etc/hadoop/
vi hadoop-env.sh
mapred-env.sh
yarn-env.sh
这三个文件里面修改JAVA_HOME改位自己安装的JDK目录
JAVA_HOME=/usr/java/jdk7
8，配置主要配置文件
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/local</value>
</property>

配置hdfs-site.xml
vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node1:50090</value>
</property>

配置奴隶文件
Vi slaves
添加
node1
node2
node3

以上都做完后，开始免密钥登录
（1） 在4台上产生公钥
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
（2）把自己的公钥进行修改名字
cp ~/.ssh/id_dsa.pub namenode.pub (node1.pub,node2.pub,node3.pub)
(3)把这些公钥放在同一台机器上然后一个authorized文件里面
Cat namenode.pub >> ~/.ssh/authorized_keys
Node1.pub >> ~/.ssh/authorized_keys
Node2.pub >> ~/.ssh/authorized_keys
Node3.pub >> ~/.ssh/authorized_keys
把authorized文件scp各个机器

做免密码测试

把四台机器的时间设置为一样的时间

Date -s “xxxxxx”

格式化hdfs
Hdfs namenode -fromat

启动集群
Start-dfs.sh
最后使用jps看一下集群是否正常!

BigBrother@@U
关注
  • 6
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux单网卡配多IP
09-04
linux单网卡配多IP 1.系统正常安装,先设置一个默认IP, /etc/sysconfig/network-scripts/ifcfg-eth0文件内容如下: DEVICE=eth0 　　IPADDR=202.104.149.25 GATEWAY=202.104.149.1 　　NETMASK=255.255.255.128 　　ONBOOT=yes 检测该网卡,IP ping正常后,做下面操作
从裸机搭建完全分布式模式Hadoop.pdf
04-11
2.搭建完全分布式模式Hadoop 1.克隆出三台虚拟机 2.分别映射好三台虚拟机的IP与主机名 3.设置三台机器时钟同步 4.设置三台机器两两之间SSH密码登录 5.修改主节点配置文件并远程拷贝到从节点 (2)....
Linux单网卡多IP配置
jkh753的专栏
11-20 1350
一、仅一个网卡的情况下，可以让该机器可以通过多个IP被访问，或隐藏常用IP，让他人访问其临时IP。 1.如果临时性的增加一个IP（重启机器或network服务后，丢失），可以使用ifconfig命令 1）先查看目前的网卡信息 [root@test network-scripts]#ifconfig eth0Link encap:EthernetHWaddr 00:0C:29:1
一个网卡配置多个ip配置实现，centos7系统
weixin_33682790的博客
03-10 634
仅一个网卡情况下，配置多个ip可以让该设备通过几个ip被访问，或隐藏常用ip，让其他人访问临时ip一、永久性增加一个IP方法1：vim /etc/sysconfig/network-scripts/ifcfg-em1DEVICE="em1"ONBOOT=yesNETBOOT=yesUUID="07b62e50-0d4c-4a77-a5e2-b62d07d5b121"IPV6I...
Linux单网卡绑定多IP
bingqingsuimeng的专栏
09-24 3142
Linux单网卡绑定多IP 收藏人：gnulinux 2010-12-29 | 阅：  转：  |  分享    |    来源
在linux上单网卡使用多个IP地址
weixin_42244208的博客
08-17 493
我们首先来看看设置多个IP的网卡是怎么样的？ 小编这里的是默认的以太网网卡，eth0。 ifconfig 可以看到我们有3个IP地址。 分别是192.168.1.102、192.168.1.200、192.168.1.201 而且有一个IP还是dhcp自动获取的，在windows上貌似不能这样做，嘿嘿，可想而知linux对网络这块是多么强大。 看到适配器名称...
Hadoop完全分布式安装教程
03-20
Hadoop完全分布式安装教程
虚拟机伪分布式安装hadoop的配置
最新发布
12-23
hadoop安装与配置，虚拟机伪分布式安装hadoop的配置，虚拟机必须NAT 模式。在虚拟机设置界⾯去设置
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
Hadoop完全分布式详细安装过程
11-23
Hadoop安装有三种模式：单机、伪分布式、完全分布式，本文档为完全分布式安装，过程很详细，设计内容包括：在win7上安装虚拟化工具VMware（用于支撑Linux系统），在VMware上安装Ubuntu系统，安装Hadoop前的准备工作...
CentOS7单网卡绑定多个IP地址
02-19
由于Windows电脑是图形化界面，单网卡配置多个IP地址很容易，并且网上教程比较多。然而Linux一般都是用命令行配置IP地址，Linux版本较多，对于CentOS系统而言，CentOS6和CentOS7的很多命令都不一样。本文是对CentOS7版本如何进行单网卡配置多个IP地址的方法。
centos7 网卡配置vlan_Centos7单网卡带VLAN多IP配置
weixin_39743622的博客
12-21 444
1.需要使用到vconfig软件，首先yum安装vconfig；使用指令yum install vconfig；(若是本机找不到vconfig安装包，可以通过其他centos7安装yum-utils：yum -y install yum-utils后,直接通过指令yum downloader vconfig下载vconfig安装包再传输到本机上进行安装；)2.查看核心是否提供VLAN 功能，通过指...
Linux/CentOS服务器 一个网卡绑定多IP地址（永久设置）
adidaos的博客
06-09 8181
有时我们在使用 Linux 服务器时需要配置多个IP地址。如果要配置多个IP地址是否需要多块网卡呢？答案是否定的。以 CentOS 系统为例，多个 IP 地址是可以共享一块物理网卡的。 如何永久为单网卡配置 多个IP？ 以 root 用户登录系统，然后使用 ( ifconfig ) 命令查看网卡信息，可以看到目前系统只有一块网卡，并且只有一个IP地址。 ifconfig cd /...
CentOS单网卡多IP
weixin_33781606的博客
04-11 56
ifcfg-eth2 配置文件 DEVICE=eth2HWADDR=00:0c:29:23:49:abTYPE=EthernetUUID=c5431922-0c75-42e5-b653-8ce5c29bab25ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=noneIPADDR=1.2.3.4PREFIX=29GATEWAY=1...
Linux 单网卡加多IP地址
ang_e的专栏
02-21 716
# ifconfig eth1:0 add *.*.*.* netmask 255.255.255.0 eth1是设备名，单设备上需要设置多个ip时加“:0”、“:1”，等要几个加几个。 Linux命令：ifconfig 语法 ifconfig [网络设备][down up -allmulti -arp -promisc][add][del][] [media][mem_s
Centos单网卡配置多IP
weixin_33851429的博客
08-22 327
1、复制eth0网卡配置文件 $ cd /etc/sysconfig/network-scripts/ $ cp ifcfg-eth0 ifcfg-eth0:0 $ vim ifcfg-etg0:0 DEVICE=eth0:0 #修改为eth0:0 HWADDR=00:0c:29:e4:19:b3 #网卡MAC地址要保持和eth0一致...
Linux系统单网卡绑定多个IP
天乐的博客
01-10 795
1.进入系统网卡配置目录。 cd /etc/sysconfig/network-scripts/ 2.复制一份原有网卡的配置文件(ifcfg-eth0)并修改名称为ifcfg-eth0:0，如果要添加更多的IP，按照0:0、0:1、0:2的顺序继续往下添加就可以了。 cp ifcfg-eth0 ifcfg-eth0:0 3.编辑网卡配置文件，将DEVICE对应信息改成文件名对应的名称并且将IPADDR信息改成要绑定的新IP，如：DEVICE=eth0:0、IPADDR=23.225.151.111 #使
[linux]单网卡绑定多个IP
henku449141932的博客
09-24 225
[linux]单网卡绑定多个IP 配置默认网关： 默认网关的文件：/etc/sysconfig/network 内容如下： 其中test为主机名称 NETWORKING=yes HOSTNAME=test GATEWAY=192.168.168.250 或： NOZEROCONF=yes GATEWAY=10.230.17.1 eth0对应的配置文件/etc/sysconfig/network-scripts/ifcfg-eth0内容如下： DEVICE=eth0 BOO..
完全分布式hadoop安装
09-09
完全分布式Hadoop安装涉及以下步骤： 1. 准备环境：确保所有节点之间可以相互通信，并且每个节点都已经安装了Java开发工具包（JDK）。 2. 下载Hadoop：从Apache Hadoop官方网站（https://hadoop.apache.org/）下载...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值