hadoop的安装总结（一）--hadoop集群基础安装

最新推荐文章于 2023-05-12 18:44:33 发布
最新推荐文章于 2023-05-12 18:44:33 发布
阅读量733 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/demoAOP/article/details/79149415
版权

        目前在练习hadoop的时候发现每次都要在准备基本环境的时候浪费很多时间，俗话说：“工欲善其事,必先利其器”，干脆横下一条心来，花了两周的时间，整理好了各种集群模板，需要哪项技术就直接克隆模板就好，目前主备的模板大概4套：1..最基本的集群（4台主机），2.基本集群+hive（5台主机），3. hadoop集群的的HA模板（7台主机），4.hadoop集群的HA+Hbase模板（7台主机），如下图所示.：


       大数据确实很锻炼人，要求不光有编写代码的能力、理解底层的能力、理解业务的能力，还要具有运维的能力，否则没有“”实操”，那些高大尚的能力根本没机会得到锻炼，很多初学者都会被大数据的环境所难倒，但是不过这一关，是学不好大数据的，在这上面耽误点时间也是值得的，话不多说，将自己整理的hadoop的基础环境安装文档分享一下。

一、主机规划和环境：

机器名

域名

IP

作用

hdp-01

192.168.33.31

NameNode、SecondaryNameNode、ResourceManager

hdp-02

192.168.33.32

DataNode、NodeManager

hdp-03

192.168.33.33

DataNode、NodeManager

hdp-04

192.168.33.34

DataNode、NodeManager

OS: linux-CentOS6.7 64位

hadoop: hadoop-2.6.4         


二、每台机器准备工作

1. 通过root登录

  创建hadoop用户

   Useradd hadoop

   Passwd hadoop

2. 配置好每一台服务器的主机名、网络IP、域名列表

   修改主机名称：vi /etc/sysconfig/network

   修改IP：vi /etc/sysconfig/network-scripts/ifcfg-eth0

   修改主机名和IP的映射关系：vi /etc/hosts

   如：192.168.33.31 hdp-01

3. 配置好yum源 每一台机器需要安装scp（yum install -y openssh-clients）、jdk

4. 关闭防火墙

   #查看防火墙状态：service iptables status

   #关闭防火墙开机启动：chkconfig iptables off

5. 配置hadoop用户的sudo权限vi /etc/sudoers

6. 使用刚创建的hadoop用户登录

 

三、安装Hadoop集群

1. 先上传hadoop的安装包到服务器上去/home/hadoop/

Alt+p：开启一个上传的bash

sftp> lcd D:/大数据资料/5.hadoop/

sftp> put cenos-6.5-hadoop-2.6.4.tar.gz

 

在另一个bash中，运行ll，看到上传成功

[hadoop@hdp-01 ~]$ ll

总用量 176580

-rw-rw-r--. 1 hadoop hadoop 180813065 9月  22 09:23 cenos-6.5-hadoop-2.6.4.tar.gz

 

2. 创建在/home/hadoop中创建目录apps/，以后应用都放到这里

[hadoop@hdp-01 ~]$ mkdir apps/

 

3. 解压hadoop到apps/中

[hadoop@hdp-01 ~]$ tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/

 

4. 进到hadoop的安装目录，找到etc目录

[hadoop@hdp-01 ~]$ cd /home/hadoop/apps/hadoop-2.6.4

[hadoop@hdp-01 hadoop-2.6.4]$ ll

总用量 52

drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 bin

drwxrwxr-x. 3 hadoop hadoop  4096 3月   8 2016 etc

drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 include

drwxrwxr-x. 3 hadoop hadoop  4096 3月   8 2016 lib

drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 libexec

-rw-r--r--. 1 hadoop hadoop 15429 3月   8 2016 LICENSE.txt

-rw-r--r--. 1 hadoop hadoop   101 3月   8 2016 NOTICE.txt

-rw-r--r--. 1 hadoop hadoop  1366 3月   8 2016 README.txt

drwxrwxr-x. 2 hadoop hadoop  4096 3月   8 2016 sbin

drwxrwxr-x. 4 hadoop hadoop  4096 3月   8 2016 share

-rw-r--r--. 1 hadoop hadoop  4436 3月   8 2016 capacity-scheduler.xml

-rw-r--r--. 1 hadoop hadoop  1335 3月   8 2016 configuration.xsl

-rw-r--r--. 1 hadoop hadoop   318 3月   8 2016 container-executor.cfg

-rw-r--r--. 1 hadoop hadoop   774 3月   8 2016 core-site.xml

-rw-r--r--. 1 hadoop hadoop  3670 3月   8 2016 hadoop-env.cmd

-rw-r--r--. 1 hadoop hadoop  4224 3月   8 2016 hadoop-env.sh

-rw-r--r--. 1 hadoop hadoop  2598 3月   8 2016 hadoop-metrics2.properties

-rw-r--r--. 1 hadoop hadoop  2490 3月   8 2016 hadoop-metrics.properties

-rw-r--r--. 1 hadoop hadoop  9683 3月   8 2016 hadoop-policy.xml

-rw-r--r--. 1 hadoop hadoop   775 3月   8 2016 hdfs-site.xml

-rw-r--r--. 1 hadoop hadoop  1449 3月   8 2016 httpfs-env.sh

-rw-r--r--. 1 hadoop hadoop  1657 3月   8 2016 httpfs-log4j.properties

-rw-r--r--. 1 hadoop hadoop    21 3月   8 2016 httpfs-signature.secret

-rw-r--r--. 1 hadoop hadoop   620 3月   8 2016 httpfs-site.xml

-rw-r--r--. 1 hadoop hadoop  3523 3月   8 2016 kms-acls.xml

-rw-r--r--. 1 hadoop hadoop  1325 3月   8 2016 kms-env.sh

-rw-r--r--. 1 hadoop hadoop  1631 3月   8 2016 kms-log4j.properties

-rw-r--r--. 1 hadoop hadoop  5511 3月   8 2016 kms-site.xml

-rw-r--r--. 1 hadoop hadoop 11291 3月   8 2016 log4j.properties

-rw-r--r--. 1 hadoop hadoop   938 3月   8 2016 mapred-env.cmd

-rw-r--r--. 1 hadoop hadoop  1383 3月   8 2016 mapred-env.sh

-rw-r--r--. 1 hadoop hadoop  4113 3月   8 2016 mapred-queues.xml.template

-rw-r--r--. 1 hadoop hadoop   758 3月   8 2016 mapred-site.xml.template

-rw-r--r--. 1 hadoop hadoop    10 3月   8 2016 slaves

-rw-r--r--. 1 hadoop hadoop  2316 3月   8 2016 ssl-client.xml.example

-rw-r--r--. 1 hadoop hadoop  2268 3月   8 2016 ssl-server.xml.example

-rw-r--r--. 1 hadoop hadoop  2237 3月   8 2016 yarn-env.cmd

-rw-r--r--. 1 hadoop hadoop  4567 3月   8 2016 yarn-env.sh

-rw-r--r--. 1 hadoop hadoop   690 3月   8 2016 yarn-site.xml

 

5. 进入etc/hadoop目录，修改5个配置文件

v 第一个：修改hadoop-env.sh

先查看JAVA_HOME的路径

[hadoop@hdp-01 hadoop]$ echo $JAVA_HOME

/usr/local/jdk1.7.0_45

 

修改hadoop-env.sh中的部分内容

[hadoop@hdp-01 hadoop]$ vi hadoop-env.sh

 

将 export JAVA_HOME=${JAVA_HOME}

修改成真正的JAVA_HOME地址 ：export JAVA_HOME=/usr/local/jdk1.7.0_45

 

第二个：修改core-site.xml

<configuration>

   <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址-->

   <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hdp-01:9000</value>

   </property>

   <!-- 指定hadoop运行时产生文件的存储目录-->

   <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/hdpdata</value>

   </property>

</configuration>

 

第三个：修改hdfs-site.xml

<configuration>

   <!-- 指定HDFS副本的数量-->

   <property>

       <name>dfs.replication</name>

       <value>2</value>

   </property>

</configuration>

 

第四个：修改mapred-site.xml (将文件改名：mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

 

<configuration>

   <!-- 指定mr运行在yarn上-->

   <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

   </property>

</configuration>

 

第五个：修改yarn-site.xml

<configuration>

    <!-- 指定YARN的老大（ResourceManager）的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hdp-01</value>

    </property>

    <!-- reducer获取数据的方式-->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

 

6. 将hdp-01的apps/下的hadoop分发到其它机器上去（现在是hadoop登录，切换到root用户拷贝）

[hadoop@hdp-01 ~] sudo scp -r apps/ hdp-02:/home/hadoop

[hadoop@hdp-01 ~] sudo scp -r apps/ hdp-03:/home/hadoop

[hadoop@hdp-01 ~] sudo scp -r apps/ hdp-04:/home/hadoop

 

7. 将HADOOP_HOME配置到/etc/profile下

vi /etc/profile

 

export JAVA_HOME=/usr/local/jdk1.7.0_45

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

8. 将/etc/profile拷贝到其它的机器上（现在是hadoop登录，切换到root用户拷贝）

[hadoop@hdp-01 ~] sudo scp /etc/profile hdp-02:/etc/

[hadoop@hdp-01 ~] sudo scp /etc/profile hdp-03:/etc/

[hadoop@hdp-01 ~] sudo scp /etc/profile hdp-04:/etc/

 

9. 格式化namenode（是对namenode进行初始化）

[hadoop@hdp-01 ~] hdfs namenode -format  或者[hadoop@hdp-01 ~] hadoop namenode -format

18/01/05 21:42:33 INFO common.Storage:Storage directory /home/hadoop/hdpdata/dfs/name has been successfully formatted.

18/01/05 21:42:33 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

 

10. 配置免密登录

[hadoop@hdp-01 ~]$ ssh-keygen

[hadoop@hdp-01 ~]$ ssh-copy-id hdp-01

[hadoop@hdp-01 ~]$ ssh-copy-id hdp-02

[hadoop@hdp-01 ~]$ ssh-copy-id hdp-03

[hadoop@hdp-01 ~]$ ssh-copy-id hdp-04

 

11. 找到hadoop安装目录下的/etc/hadoop/slaves，将要启动的datenode、nodeManager加入到这个文件中

[hadoop@hdp-01 hadoop]$ vi slaves

hdp-02

hdp-03

hdp-04

        现在就可以启动hadoop了。以上的文档，都在本人的机器上调试通过，所整理的文档也是将输入命令记录下来。下一篇将介绍hadoop的集群之上的hive的安装

demoAOP
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop安装使用总结
小白爱学习的专栏
07-28 636
hadoop安装版本：2.7.1 jdk版本：jdk1.7.80-x64 1.linux操作 a）设置网络 网络重启:service network restart ip地址查看：ifconfig b）防火墙操作 关闭防火墙：service iptables stop 防火墙状态查看：service iptables status 关闭防火墙的自动运行：chkconfig iptables off 验证防火墙自动运行是否关闭：chkconfig --list | grep iptable
南大科院大数据Hadoop工程实训
qq_41480495的博客
03-16 1189
科学技术学院 SCIENCE & TECHNOLOGY COLLEGE OF NANCHANG UNIVERSITY 《工 程 训 练》报 告 REPORT ON ENGINEERING TRAINING 题 目 大数据hadoop开发工程实训 学科部、系： 信息学科部计算机系 专业班级： 计算机172 学 号： 7020817074 学生姓名：...
Hadoop的安装实验报告
wujddjdjndn的博客
05-12 7148
如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法;鉴于目前很多读者正在使用Windows操作系统，因此，为了完成本书的后续实验，这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。VMware Workstation Player软件的下载地址: https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html。
【大数据】Hadoop实验报告
weixin_46175018的博客
07-07 8068
文章目录 实验一 熟悉常用的Linux操作和Hadoop操作 1.实验目的 2.实验平台 3.实验内容和要求 实验二 熟悉常用的HDFS操作 1.实验目的 2.实验平台 3.实验步骤 实验三 熟悉常用的HBase操作 1.实验目的 2.实验平台 3.实验步骤 实验四 MapReduce/Spark编程初级实践 1.实验目的 2.实验平台 3.实验步骤 实验一 熟悉常用的Linux操作和Hadoop操作 1.实验目的 Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟
Hadoop集群实验
870166708@qq.com
04-12 1870
实验介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 本实验使用四台虚拟主机搭建集群系统，网络拓扑如下 安装前准备 所需软件： Vmware Workstation 15 Pro Ubuntu 18.04.4镜像 参考教程： https://hadoop.ap...
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Hadoop集群安装
01-07
Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 服务器hadoop103 HDFS NameNode DataNode DataNode DataNode ...
hadoop-3.3.4 版本（最新版）
12-14
Hadoop 架构是一个开源的、基于 Java 的编程框架，设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台，能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 ...
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
Hadoop-3.3.0集群环境配置文件
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发...
Hadoop集群构建实训报告.doc
04-06
Hadoop集群构建实训报告
Hadoop搭建实验报告
08-02
NULL 博文链接：https://daxiangwanju.iteye.com/blog/1962175
Hadoop实验常见的错误总结
xujingran的博客
11-10 3259
文章目录1、bash: *****: command not found...（未找到命令）2、显示SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: linuxprobe: linuxprobe等信息3、执行start-dfs.sh只输入了一次或者两次密码就结束了开启状态4、提示Error:JAVA_HOM...
Hadoop简单的学习总结
hyf199的博客
08-18 8874
1.什么是Hadoop？ Hadoop是一款进行数据处理和分析的软件，包含HDFS（分布式文件存储系统）,MapReduce（分布式计算框架），Yarn（分布式资源调度任务分配框架）。 Hadoop来源于谷歌2003-2004年发布的三篇论文，基于这三篇论文doug cutting( 来自 lucene )，用了两年业余时间，开发出来了 hdfs 和 mr 的代码雏形，2005年Hadoop项目进...
Hadoop安装总结
sunzhenzhencomeon的博客
09-12 662
在Linux中安装JDK,并设置环境变量： 1.安装好jdk: apt-get install openjdk-7-jdk 2.配置环境变量： vim /etc/profile export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$JAVA
Hadoop安装报错总结
Wielun
05-19 849
下面为本人安装Hadoop报错的个人总结！！！ Hadoop版本：hadoop-3.1.0 官网：http://hadoop.apache.org/releases.html 报错: [root@server1 hadoop-3.1.0]# ./bin/hdfs namenode -format Exception in thread "main" java.lang.Un...
Hadoop总结
学习笔记
07-20 3717
0. Hadoop 开源的分布式系统基础架构 优点 对大量数据进行分布式处理 可靠, 假设硬件失效为常态, 针对失败节点进行重新分布处理 高效, 并行处理提高处理速度 可伸缩, 在横向扩展至上千个节点, 可处理PB级数据 低成本, 项目开源,与同类产品比较成本低廉 相关组件包括 HDFS MapReduce Yarn Hive HBase ZooKeeper Sqoop Flu...
基于Hadoop部署实践对网站日志分析（大数据分析案例）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
05-09 7938
本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。至此，我们通过Python网络爬虫手段进行数据抓取，将我们网站数据（2013-05-30,2013-05-31）保存为两个日志文件，由于文件大小超出我们一般的分析工具处理的范围，故借助Hadoop来完成本次的实践。
安装 Hadoop-Eclipse-Plugin
最新发布
08-20
通过Hadoop-Eclipse-Plugin的视图，可以方便地管理和操作Hadoop集群，包括上传和下载文件，提交和监控MapReduce任务等。 安装Hadoop-Eclipse-Plugin后，可以更加方便地开发和调试Hadoop应用程序，提高工作效率。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值