2020最新安装hadoop2.7.5，3台centos7。

最新推荐文章于 2022-11-19 16:37:41 发布
最新推荐文章于 2022-11-19 16:37:41 发布
阅读量485 收藏 1
点赞数 1
文章标签： 大数据 hadoop centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43603028/article/details/106042610
版权

所有需要的工具：链接: https://pan.baidu.com/s/1zmklr9r9TC7UDn-q0SJ75A 提取码: afdy

VMware没安装的     点这里

安装centos

安装jdk

本人选用的是jdk8+centos7+hadoop2.7.5+zookeeper3.4.10+hbase1.3.1

已经完成centos安装和jdk安装。克隆（方式一）或者相同方式再创2台（方式二）。

规划3台虚拟机名字和IP地址

hadoop1(192.168.10.10),
hadoop2(192.168.10.11),
hadoop3(192.168.10.12)

Gateway（网关）：192.168.10.2

分别修改三台虚拟机主机名和IP地址

方式一：克隆机

克隆机生成自己独特的mac地址

 

接下来所有内容对于方式一，方式二都一样了：

修改主机名的方式：vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop2

修改IP地址的方式：

vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static    #修改为static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=8ac74c01-1bdb-48ec-a0ee-9637dfa9a937
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.10.10  #IP地址
GATEWAY=192.168.10.2  #三台一样的网关
DNS1=192.168.10.2     #三台一样的DNS

重启网络服务 CentOS7中使用如下命令

systemctl restart network.service

编辑3台机器hosts文件

vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.10 hadoop1 www.hadoop1.com
192.168.10.11 hadoop2 www.hadoop2.com
192.168.10.12 hadoop3 www.hadoop3.com
  • 重启三台机器.
  • 测试3台机器之前是否可以相互通信
  • 用hadoop1分别ping hadoop2,hadoop3:
  • 用hadoop2分别ping hadoop1,hadoop3.
  • 用hadoop3分别ping hadoop1,hadoop2

三台机器都新建一个hadoop用户并配置sudo权限。

以hadoop为例：

添加hadoop用户

useradd hadoop

给hadoop设置密码

passwd hadoop

给hadoop配置sudo权限(登录为hadoop用户时，手动在命令前加上sudo,sudo可以执行root权限才能执行的命令)

先给目前登录的root用户配置文件修改权限 （该文件连root用户都是只读的.所以要想修改该文件内容,需要先修改一下该文件的权限,给root添加写权限）

chmod u+w /etc/sudoers
vim /etc/sudoers

##


## Allow root to run any commands anywhere 

root    ALL=(ALL)       ALL

#给hadoop用户添加sudo权限

hadoop  ALL=(ALL)       ALL

## Allows members of the 'sys' group to run networking, software, 


## service management apps and more.


# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS


## Allows people in group wheel to run all commands


# %wheel        ALL=(ALL)       ALL


## Same thing without a password


# %wheel        ALL=(ALL)       NOPASSWD: ALL


# 执行sudo权限时不需要输入密码

%hadoop ALL=(ALL)       NOPASSWD: ALL

## Allows members of the users group to mount and unmount the

测试sudo权限

目前还是root用户

进入在文件名为hadoop的home下新建一个file1文件

touch /home/file1

切换到hadoop用户

su hadoop

删除/home/file1文件

rm -rf hadoop
结果是删除文件失败,权限异常
rm: cannot remove `/home/file1': Permission denied

给命令前添加sudo来删除

sudo rm -rf /home/file1

在hadoop2,hadoop3上同样的分别新建一个hadoop用户,并配置sudo权限

安装hadoop并配置相关文件 

注意切换至hadoop用户

在hadoop的家目录下新建一个apps文件夹
mkdir /home/hadoop/apps

用filezilla传下载的网盘软件包里的hadoop2.7.5   

解压hadoop-2.7.5.tar.gz包:

tar -zxvf /home/hadoop/apps/hadoop-2.7.5.tar.gz

进入到hadoop-2.7.5

cd /home/hadoop/apps/hadoop-2.7.5

在/home/hadoop/apps/hadoop-2.7.5新建一个data目录(hadoop参数的数据存放目录)

mkdir /home/hadoop/apps/hadoop-2.7.5/data

配置hadoop-env.sh文件

cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop/
vim hadoop-env.sh

# set JAVA_HOME in this file, so that it is correctly defined on


# remote nodes.


# The java implementation to use.


#在这里添加JDK安装目录的环境变量,这里我又尝试过 JAVA_HOME=${JAVA_HOME},但是不能起作用,还是老老实实的写吧

export JAVA_HOME=/home/java/jdk1.8.0_231

# The jsvc implementation to use. Jsvc is required to run secure datanodes

配置core-site.xml配置文件
cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop/
vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value><!--这里hadoop需要换成自己配置的第一台机器的hostname,比如我的是hadoop1,所以我这里写的就是hadoop1-->
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <!--配置hadoop集群数据存放路径,注意最后不要有空格-->
                <value>/home/hadoop/apps/hadoop-2.7.5/data</value>
        </property>
</configuration>

设置hdfs-site.xml配置文件
cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop/
vim hdfs-site.xml

<configuration>
        <!--配置副本数量-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

配置mapred-site.xml配置文件
cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop/
默认mapred-site.xml不存在,将mapred-site.xml.template改成mapred-site.xml即可
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<configuration>
        <!--指定mapreduce在yarn上运行-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

配置yarn-site.xml配置文件
cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop/
vim yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop1</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

</configuration>

配置slaves配置文件
cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop/
vim slaves


#指定datanode

hadoop2
hadoop3

配置hadoop1到hadoop2,hadoop3之间的免密通信,完成这一步操作,需要安装ssh软件,注意 如果机器中没有安装ssh-client软件，先需要安装,如果没有安装软件技能,推荐先了解下linux安装安软的知识.安装步骤如下1,2：

    查找适合的软件包:yum list | grep openssh-clients
    安装:yum install openssh-clients.x86_64 (openssh-clients.x86_64 是我查找到的结果).
    启动hadoop2,hadoop3,并都切换到hadoop用户下.
    配置免密登录之前,登录到hadoop2看看效果:
    ssh hadoop2

输入密码即可看到@hadoop2即为手动输入密码登录到了hadoop2

在hadoop1的hadoop用户根目录下(注意,必须用hadoop用户来执行),执行以下命令产来密钥对:

cd ~
ssh-keygen -t rsa

将密钥拷贝到hadoop2,hadoop3:
cd .ssh #.ssh是生成密钥对时产生的文件夹
ssh-copy-id hadoop1              #拷贝到hadoop1(hadoop1就是当前的机器,当前机器也需要设置免密登录)
ssh-copy-id hadoop2              #拷贝到hadoop2
ssh-copy-id hadoop3              #拷贝到hadoop3
拷贝到hadoop2的截图如下:

再来输入

ssh hadoop2

直接登录不用手动输入密码，直接就登录成功了.记得退出登录exit.

配置hadoop软件的环境变量:

配置之前:输入:

which hadoop

发现是找不到hadoop这个命令的.

在/etc/profile文件中添加hadoop的环境变量

sudo vim /etc/profile      #因为只有root用户才能编辑该文件,所以hadoop想要编辑,需要用sudo权限:
```
export JAVA_HOME=/home/java/jdk1.8.0_231
#申明hadoop的路径变量
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.5
#在之前配置JAVA的环境变量之后追加hadoop的环境变量
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

```

source /etc/profile #让环境变量生效

验证配置是否成功:which hadoop

结果如上表示配置成功.

将已经配置好的hadoop整个文件包拷贝到hadoop2,hadoop3,这里需要注意的是hadoop2和hadoop3中即将放置hadoop包的路径需要保持一致,如果不一致,需要在上面配置的那几个hadoop配置文件中修改有路径的地方

1.在hadoop2,hadoop3的hadoop家目录下新建一个apps目录.
2.scp -r /home/hadoop/apps/hadoop-2.7.5 hadoop2:/home/hadoop/apps/
3.scp -r /home/hadoop/apps/hadoop-2.7.5 hadoop3:/home/hadoop/apps/

注意hadoop1同步文件夹到hadoop2命令
scp -r 本机文件目录 hadoop2: 文件目录   
如：scp -r /home/hadoop/apps/hadoop-2.7.5 hadoop2:/home/hadoop/apps/

根据上面配置hadoop软件的环境变量一样去hadoop2和hadoop3上配置好hadoop的环境变量

  • 分别重启3台机器.
  • 在hadoop1上,用户hadoop用户,格式化hadoop 的HDFS(文件系统),第一次使用需要格式化: 
    hadoop namenode -format

     

在hadoop1上启动hdfs文件系统:

start-dfs.sh


待启动完成,再验证是否有该有进程:

jps

在hadoop1上启动yarn集群
 

start-yarn.sh
jps

使用浏览器查看集群状态:http://192.168.10.10:8088
如果没法访问,查看防火墙状态:
sudo service iptables status

关闭防火墙:
sudo service iptables stop

查看HDFS文件系统状态:http://192.168.10.10:50070

 

 

 

 

 

 

driver1999
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop-2.7.5
10-01
hadoop-2.7.5, 源文件, 可直接去官网下载,下载后解压即可, 需要的jar包在 /hadoop/share下面
CentOs7安装集群hadoop2.7.5（2）
qq_25628891的博客
01-13 411
紧接上文，这篇文章主要是修改配置文件 core-site.xml hdfs-site.xml mapred-site.xml.template yarn-site.xml slaves hadoop-2.7.5官方网站 core-site.xml的配置 core-site.xml其他服务都要加载，一些公共的配置参数和一些核心的配置参数都在这个配置文件里面，先进到/usr/
hadoop 2.7.5 安装CentOS 7.5 linux
知识笔记
10-16 337
环境：CentOS 7.5 ,JDK 1.8.0_231, python 2.7 ,python 3.7.5 1.下载：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz 2.上传目录：sftp方式： 3.解压：tar -zxvf hadoop-2.7.5.tar.gz 4.定义系统全局变量： 文件：/etc/profile 添加如下命令： export HADOOP_PATH=/us
hadoop-2.7.5.tar.gz原始安装包
11-07
hadoop原始安装包，hadoop-2.7.5.tar.gz 觉得官网实在眼花头疼可从这里下载。 可用，便捷
Centos6.5编译64位Hadoop2.7.5.tat.gz
11-04
本人将官网32位Hadoop源码编译成64位，解压后的Hadoop2.7.5.tar.gz在Centos6.5 64位系统上安装使用，亲测有效
ambari2.7.5-centos7安装文件
05-10
文件内容包含：ambari-2.7.5.0-centos7.tar.gz、HDP-UTILS-1.1.0.22-centos7.tar.gz、HDP-GPL-3.1.5.0-centos7-gpl.tar.gz、HDP-3.1.5.0-centos7-rpm.tar.gz
Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译
11-18
Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译
hadoop-2.7.5-with-centos7.6.tar.gz
08-24
hadoop-2.7.5-with-centos7.6.tar.gz编译好的，hadoop-2.7.5-with-centos7.6.tar.gz
hadoop-2.7.5.tar.gz 64位CentOS编译
03-02
64位CentOS编译的hadoop-2.7.5，亲测可以使用！！！！！！！！！！！！
hadoop-2.7.5.tar.gz
04-21
Hadoop-2.7.5.tar.gz，官方包下载速度实在是太慢了，所以这里上传一份资源。
Hadoop 2.7.5 Windows 64位 安装依赖文件（winutils支持和hadoop.dll等）
03-08
hadoop在windows上运行需要winutils支持和hadoop.dll等文件。直接解压后把文件丢到D:\hadoop-2.7.5\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署
CentOS 7 安装Hadoop
weixin_47417217的博客
01-16 2662
CentOS 7 安装Hadoop 1、Hadoop安装前的准备 (1)复制文件到CentOS 7 1)建立共享文件夹，如下图所示： 2)将文件复制到hadoop文件夹下 (2)时间同步,如下图所示： (3)修改主机名，如下图所示： (4)配置网络环境，如下图所示： (5)关闭防火墙，如下图所示： (6)配置hosts列表，如下图所示： (7)测试主节点和从节点是否能够相互ping通，如下图所示： (8) 安装jdk 1)新建目录java，并将jdk复制到java下，如下图所示：
CentOS7下安装hadoop
zjjcchina的博客
10-22 644
固定IP 修改文件 /etc/sysconfig/network-scripts/ifcfg-ens33 下面内容为参考 TYPE=Ethernet BOOTPROTO=static NM_CONTROLLED=yes #--------------下面内容根据vmware配置相应变更 IPADDR=192.168.41.199 NETMASK=255.255.255.0 GATEWAY=192.168.41.2 #-----...
centos7 安装hadoop
wish_you_luck的博客
11-19 1245
这里我给解压到opt/module目录里(没有可以自己创建,主要是为了方便管理)首先我们来到hadoop里面，输入pwd，把路径给复制下来(右键复制)路径随意，只要你能到时候能找到压缩文件就行。环境变量一般都写在etc/profile里面。能出来东西就说明环境配置好了。
CentOS7下安装Hadoop
u010590120的博客
07-20 391
CentOS7下安装Hadoop集群详细过程 在Centos上安装Hadoop大概可分为，虚拟机安装、虚拟机配置、JDK安装、SSH免登陆、Hadoop安装几步 这里主要展示Hadoop的安装过程 下载hadoop 安装包并将其拷贝到 opt目录下的hadoop中，键入命令 tar -xvfhadoop-2.8.5.tar.gz解...
centos7 安装hadoop 3.2.1
qq_38892122的博客
03-31 402
配置主机名 vi /etc/sysconfig/network 添加下列内容，保存并关闭 NETWORKING=yes HOSTNAME=你的主机名称 vi /etc/hosts 添加下列内容，保存并关闭 你的ip 你的主机名 然后需要重启reboot才能生效 设置ssh免密登录 一次执行下列命令 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa **如果提示找...
window7安装hadoop2.7.5
黑夜之星的博客
09-29 2676
hadoop本来是在centos上运行的，然而在window7中idea开发时，调试centos上的hadoop下载文件功能，就必须要window环境的hadoop，这就很蛋疼了。。。。 下面介绍一下window的hadoop2.7.5如何配置~ 安装准备： JDK1.8安装，不会的自己百度一下，这里不在累赘 下载hadoop 下载window版的hadoop2.7.5破解包 完成上面3步之...
windows安装hadoop2.7.5
最新发布
08-18
在Windows系统上安装Hadoop 2.7.5需要进行一些配置。首先，确保你已经下载了Hadoop 2.7.5版本的二进制文件。然后，根据需要进行以下步骤: 1. 配置Java环境: Hadoop需要Java环境才能正常运行。请确保你已经正确安装了Java，并设置了JAVA_HOME环境变量。 2. 配置Hadoop环境变量: 将Hadoop的bin目录路径添加到系统的PATH环境变量中，这样你就可以在命令行中运行Hadoop命令了。 3. 配置Hadoop的配置文件: 在Hadoop的安装目录下，找到etc/hadoop目录，并编辑core-site.xml和hdfs-site.xml文件。根据你的需求，修改文件中的配置项，比如文件系统的URL、数据存储路径等。 4. 配置winutils.exe: 下载合适版本的winutils.exe文件，并将其复制到Hadoop的bin目录下。这个文件是Hadoop在Windows上运行所必需的。 5. 启动Hadoop: 执行Hadoop的启动脚本，比如start-all.cmd，来启动Hadoop集群。 需要注意的是，在Windows上安装和配置Hadoop可能会有一些特定的问题，比如路径设置和安全性设置等。因此，你可能需要参考Hadoop官方文档或者在相关的技术论坛上寻求帮助来解决这些问题。另外，你还可以参考引用和中提供的信息来解决特定的错误或问题。<span class="em">1</span><span class="em">2</span> #### 引用[.reference_title] - *1* [在windows系统中配置Hadoop2.7.5运行环境](https://download.csdn.net/download/weixin_47878012/85075777)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Hadoop 2.7.5 Windows 7 64位 编译bin（包含winutils.exe, hadoop.dll等）](https://download.csdn.net/download/bsjia8241/10169697)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值