centos7安装配置Hadoop集群

于 2020-06-02 14:25:23 发布
阅读量254 收藏
点赞数
分类专栏： Hadoop
原文链接：https://blog.csdn.net/u013457387/article/details/87856770
版权

1、下载Hadoop以及JAVA
本文用的是hadoop-3.2.0
下载地址：
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

本文用的是JAVA1.81
下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html


2、安装3台虚拟机并实现SSH免密登录
（1）安装三台虚拟机centos7
第一台正常安装，后两台做克隆。配置好IP地址，关闭防火墙跟SELINUX。

这三台机器的用户名以及对应的IP
192.168.10.198 server1
192.168.10.199 server2
192.168.10.200 server3

（2）修改用户名以及对应的IP
# vi /etc/hostname
改为server1

# vi /etc/hosts

另外两台虚拟机也按同样的设置，例如：centos7 2 为server2

设置完成后每台虚拟机都需要重启，重启生效。

配置完成后使用ping命令检查这3个机器是否相互ping得通，以server1为例，在什么执行命令：

# ping -c 3 server2


（3）进行SSH免密互登设置
#ssh-keygen -t dsa
在命令执行过程中敲击两遍回车，然后在/root/.ssh文件下生成id_dsa id_dsa.pub
在该文件下建立一个authorized_keys文件，将id_dsa.pub文件内容拷贝到authorized_keys文件中

另外两个虚拟机也执行 #ssh-keygen -t dsa操作，并分别将id_dsa.pub内容拷贝到第一台虚拟机的authorized_keys文件中。将第一台的authorized_keys文件拷贝到另外两台虚拟机的/root/.ssh/ 下面。

通过命令# ssh server2 看是否可以免密互登。通过命令exit退出。

3、给3台机器安装JAVA环境
（1）将文件拷贝到/usr/lib/jvm 解压缩
tar -xzvf jdk-8u201-linux-x64.tar
看到生成了jdk1.8.0_121文件

（2）修改/etc/profile这个文件，修改的方法很多，可以用远程工具下载该文件到本地系统，修改后，在上载上去，也可以直接使用vim命令对该文件进行修改（这里不打算详细展开讲vim命令），不管用什么方法只要在/etc/profile文件中增加如下配置即可，增加的内容是：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121

export  CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/

export  PATH=$PATH:$JAVA_HOME/bin
1
2
3
4
5
（3）测试是否安装成功，执行命令 java -version回车


4、给3台机器安装Hadoop
注意：以下搭建过程中的端口设置，请先检查个人服务器是否有端口冲突。

（1）在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-3.2.0.tar.gz解压到该目录。
tar -xzvf hadoop-3.2.0.tar.gz
1
(2)新建几个目录
在/root目录下新建几个目录，复制粘贴执行下面的命令：

mkdir  /root/hadoop
mkdir  /root/hadoop/tmp
mkdir  /root/hadoop/var
mkdir  /root/hadoop/dfs
mkdir  /root/hadoop/dfs/name
mkdir  /root/hadoop/dfs/data
1
2
3
4
5
6
(3)修改etc/hadoop中的一系列配置文件
/opt/hadoop/hadoop-3.2.0/etc/hadoop/

修改core-site.xml
在<configuration>节点内加入配置:

<property>

        <name>hadoop.tmp.dir</name>

        <value>/root/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>

        <value>hdfs://server1:9000</value>

   </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
注意： <value>hdfs://server1:9000</value> 此处应与hostname保持一致

修改hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}

修改为：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121

说明：修改为自己的JDK路径。此处可以与系统JAVA环境一致，也可以单独配置。
1
修改hdfs-site.xml
在<configuration>节点内加入配置:

<property>

   <name>dfs.name.dir</name>

   <value>/root/hadoop/dfs/name</value>

   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

   <name>dfs.data.dir</name>

   <value>/root/hadoop/dfs/data</value>

   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

<property>

      <name>dfs.permissions</name>

      <value>false</value>

      <description>need not permissions</description>

</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

新建并且修改mapred-site.xml
在该版本中，有一个名为mapred-site.xml的文件，复制该文件，后改名mapred-site.xml.template，命令是：
cp mapred-site.xml mapred-site.xml.template

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

 <property>

   <name>mapred.job.tracker</name>

   <value>server1:49001</value>

</property>

<property>

      <name>mapred.local.dir</name>

       <value>/root/hadoop/var</value>

</property>


<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
注意： <value>server1:49001</value>

修改worker文件（hadoop3.2版本没有slaves文件,之前版本修改slaves文件）
修改worker文件，将里面的localhost删除，添加如下内容：
server2
server3
第二台虚拟机添加如下内容：
server1
server3

修改yarn-site.xml文件
在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为虚拟机安装测试):

<property>

        <name>yarn.resourcemanager.hostname</name>

        <value>server1</value>

   </property>

   <property>

        <description>The address of the applications manager interface in the RM.</description>

        <name>yarn.resourcemanager.address</name>

        <value>${yarn.resourcemanager.hostname}:8032</value>

   </property>

   <property>

        <description>The address of the scheduler interface.</description>

        <name>yarn.resourcemanager.scheduler.address</name>

        <value>${yarn.resourcemanager.hostname}:8030</value>

   </property>

   <property>

        <description>The http address of the RM web application.</description>

        <name>yarn.resourcemanager.webapp.address</name>

        <value>${yarn.resourcemanager.hostname}:8088</value>

   </property>

   <property>

        <description>The https adddress of the RM web application.</description>

        <name>yarn.resourcemanager.webapp.https.address</name>

        <value>${yarn.resourcemanager.hostname}:8090</value>

   </property>

   <property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

        <value>${yarn.resourcemanager.hostname}:8031</value>

   </property>

   <property>

        <description>The address of the RM admin interface.</description>

        <name>yarn.resourcemanager.admin.address</name>

        <value>${yarn.resourcemanager.hostname}:8033</value>

   </property>

   <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

   </property>

   <property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>2048</value>

        <discription>每个节点可用内存,单位MB,默认8182MB</discription>

   </property>

   <property>

        <name>yarn.nodemanager.vmem-pmem-ratio</name>

        <value>2.1</value>

   </property>

   <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>2048</value>

</property>

   <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
注意：端口号与里面的值，后期优化配置需要修改，第一次配可以全复制。
说明：yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是实体机上，并且内存够多，可以将这个配置去掉。

（5）另外两台虚拟机也要配置
重复上述步骤。

4、启动Hadoop
因为server1是namenode，server2和server3都是datanode，所以只需要对server1进行初始化操作，也就是对hdfs进行格式化。

（1）进入到hserver1这台机器的/opt/hadoop/hadoop-3.2.0/bin目录，也就是执行命令：
 cd   /opt/hadoop/hadoop-3.2.0/bin
1
执行初始化脚本，也就是执行命令：

 ./hadoop  namenode  -format
1
等几秒没报错就是执行成功，格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件。


（2）在namenode上执行启动命令
因为server1是namenode，server2和server3都是datanode，所以只需要再server1上执行启动命令即可。

进入到server1这台机器的/opt/hadoop/hadoop-3.2.0/sbin目录

执行初始化脚本，也就是执行命令：

 ./start-all.sh
1
第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车。

执行过程中发生报错

解决办法：
修改start_dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh

在start_dfs.sh 、stop-dfs.sh两个文件开头位置添加如下配置：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

注意：一定要是开头位置。

在start_yarn.sh 、stop-yarn.sh两个文件开头位置添加如下配置：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=root
YARN_NODEMANAGER_USER=root

正常登陆的截图：

server1是我们的namanode，该机器的IP是192.168.10.198，在本地电脑访问如下地址:

http://192.168.10.198:9870/

自动跳转到了overview页面
注明：3.x 版本 NameNode 50070端口 -> 9870端口了
我以为端口号是50070，结果打不开，感谢网友yuanziqiang1995的指导，我才知道3.X版本后改了端口号！

在本地浏览器里访问如下地址：

http://192.168.10.198:8088/
1
自动跳转到了cluster页面


5、关闭Hadoop

本文为第一次搭建Hadoop集群的整理记录，在此感谢陈南志老师的博文，通过看陈老师的博文一步步搭建起来。再次对陈老师进行诚挚的感谢！
陈老师原博地址：https://blog.csdn.net/pucao_cug/article/details/71698903
————————————————
版权声明：本文为CSDN博主「星巴克拿铁咖啡」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013457387/article/details/87856770

扬州宇尚网络科技有限公司
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
智慧城市AI节能照明亮化平台
06-14 1258
智慧路灯系统除了实现节能、环保、智能的照明系统外，还可承载各种应用系统：如环境监测、LED信息发布系统、充电桩、视频监控等系统，承担了基于智慧城市建设目标的物联网感知入口和服务大众的出口，成为智慧城市前端的信息中枢，也可应用于公园、小区等小范围的应用场景，形成服务闭环，实现提升管理效能和更好地服务大众的目标。...
博客
高校智慧实验室综合管理系统
02-28 6812
采用人工智能、工业物联网、大数据技术，建立一个以控制为根基、以数据流为主干、软件支撑平台为入口、各个业务应用模块灵活搭配的智能控制系统，通过智能控制、数据采集和统计分析，达到智能化管理的目的。1，智慧实验室设备2，物联网控制——智能控制 • 门禁管理3，物联网控制——智能控制 • 电源管理4，物联网控制——智能控制 • 门禁管理5，物联网控制——智能控制 • 环境监测6，业务应用——大数据看板7，智慧实验室建设目的...
博客
智慧食堂安全管控系统解决方案
01-19 5783
食品安全管控系统解决方案利用物联网、视频监控、AI智能分析等技术手段，为社会餐饮、学校食堂及机构食堂管理者，市场监管人员以及公众就餐人员精心打造的集应用、监管、服务于一体的一站式后厨综合管理平台，为食品卫生安全远程监管提供可视化、智能化服务。1、行业需求海量视频汇聚实现对原有明厨亮灶的兼容利旧，对传统监控视频流进行压缩和视频截图、截屏技术。实时智能分析实现实时违规分析处理，证据留存、语音提醒和违规自动推送。数据统一管理各种工作现场视频实时记录统一存储...
博客
宇尚网络——智慧消防解决方案与产品介绍
06-08 356
1，消防救援大队智慧消防APP：登录页、我的主页、请假流程、用车流程。2，消防宣传栏大屏：常规页面、单页面设计两种风格。 常规页面：月工作计划、周工作计划、安全工作警示、通知公告、内务卫生检查、队容风纪检查等六大模块，其他新增模块可以在第二页中呈现。点击其中一个进入详情浏览页面。管理后台能够做模块内容进行编辑。3，智能手机柜，通过人脸，指纹，钥匙开关手机柜。班长、教导员、大队长可以打开查看所有手机柜权限功能。 工作时间，人脸识别后，消防员无法取手机。 规格40格子4，消防员到达指定地点巡
博客
考研ASK平台
06-08 248
项目介绍：考研ASK是高登教育旗下集全力打造的针对硕士研究生招生考试资讯发布与问答平台。考研资讯全掌握。考研ASK致力于整合全省最专业的研究生招生考试资讯信息。该信息覆盖省级考试院及全省硕士研究生招生单位发布的研究生招生考试各阶段（考试报名、网上确认、考点考试、复试调剂及录取后续）官方信息，链接各高校官方的研究生招生信息网，避免误入虚假网站，为考生提供一站式的信息资讯服务。考研咨询不求人。考研ASK致力于打造全省最权威的研究生招生考试问答咨询。考生或考生家长，可针对研究生招生考试涉及的所有相关环
博客
高校食堂安全风险源管控平台
03-11 517
如今，人工智能的应用领域越来越广。目前，扬州宇尚网络科技有限公司就打造了一套智能化的食品安全管理体系，守护学生“舌尖上的安全”。在扬州大学文汇路校区食堂的员工通道，有一个智能晨检系统，不同于一般的人脸识别，这个系统有答题的程序，内容和食品安全相关，将专业知识和日常工作联系在一起。经过人脸识别、健康证筛查、额温枪测温以及自我评估健康状况后，再答题成功，厨房的铁门便应声打开。这套系统是扬州大学自主研发的食品安全风险源管控系统，而晨检仅仅是“开机程序”。进入员工通道，就会看到一个茶杯架，茶杯架
博客
智慧信访系统
11-10 3055
近年来，随着社会的进步和经济的发展，我国社会主义现代化建设进程不断加快，国有企业改革也进入深水区，在改革过程中的矛盾愈发凸显。其中，信访工作作为维系企业与员工情感的桥梁，其健全和完善对于维护企业运营的和谐稳定有着重要的意义。但在新形势下，经济社会的发展给国有企业信访工作带来了新的挑战。我国国有企业信访工作的开展面临着严峻的形势，存在着诸多问题,给企业发展造成了障碍。 基于大数据人工智...
博客
pip国内镜像源-Python安装第三方库（一篇足以、都是干货，内含快捷方法）
10-20 1万+
如果使用的是带界面的电脑，嫌弃每次记网址很麻烦，还得去复制粘贴，我们可以使用搜狗输出法的“高级功能”中的“自定义短语”功能。步骤为：1）下载安装搜狗输入法（有则跳过）搜狗输入法下载页面​shurufa.sogou.com/​编辑从图上我们可知，目前搜狗输入法支持多种操作系统，按照操作系统下载对应的安装包，然后安装即可，基本上就是选默认的配置就行了。2）打开“属性设置”，点击“高级”。3）下滑至“候选扩展”-->使“自定义短语”处于打开状态。4）点击“自定义短语”，选择“添加新短语”。
博客
Java：项目license证书控制
11-21 4753
学习记录……原文：Spring Boot项目中使用 TrueLicense 生成和验 | zifangsky的个人博客Java：项目license证书控制_LLLLLiSHI的博客-CSDN博客_java licenselicense即版权许可证。实际使用中部署给客户的项目，不能随意被二次使用。那么就需要license证书对项目做出控制。1 pom： <!-- license处理 --> <dependency> <grou
博客
Ambari集群部署全流程
08-08 340
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。服务器资源目录ip地址 节点 组件192.168.186.164 master 192.168.186.167 slave1 ...
博客
ICCV 2019 | 旷视研究院11篇接收论文抢先读
08-03 220
两年一度的国际计算机视觉大会 ICCV 2019 ( IEEE International Conference on Computer Vision) 将于 10 月 27 日 - 11 月 2 日在韩国首尔举行。近期，大会官方公布了最终的论文接收决定，旷视研究院共有 11 篇论文被收录，研究领域涵盖通用物体检测及数据集、文字检测与识别、半监督学习、分割算法、视频分析、影像处理、行人及车辆再识别、模型压缩、度量学习、强化学习、元学习等众多领域。本文把 11 篇论文汇在一起，逐篇做了亮点抢先解读。作..
博客
技术大拿们的书单
07-29 365
今天，就简单列下我看过的书籍的清单，暂时不写详细介绍了，不然文章太长了，下面的清单中有些是实体书，有些是电子书，都是冰河看过的，强烈推荐给大家。冰河出版与原创《海量数据处理与大数据技术实战》《MySQL技术大全：开发、优化与运维实战》《深入理解高并发编程》《并发编程核心知识（源码分析篇）》《冰河的渗透实战笔记》《亿级流量下的分布式解决方案》《深入浅出Java23种设计模式》《Java8新特性教程》《跟冰河学习分布式存储技术》《跟冰河学习Nginx技术》《跟冰..
博客
熬夜爆肝！C++核心进阶知识点汇总整理【万字干货预警 建议收藏】
07-29 709
前言前段时间有粉丝问我，大一结束c++刚学完，不知道自己目前学得怎么样？要掌握的知识点有没有都弄懂了？是否基础入门了？前几天已经整理过C++基础入门知识点，没看过的可以看看喔！熬夜爆肝！C++基础入门大合集【万字干货预警 建议收藏】今天继续整理C++进阶篇知识点，一起来看看吧~目录前言C++核心编程1 内存分区模型1.1 程序运行前1.2 程序运行后1.3 new操作符2 引用2.1 引用的基本使用2.2 引用注意事项2.3 引用做函数参数2.4 引用做函数返回值2.5
博客
Apache Griffin对MYSQL数据源的扩展
08-01 1244
概述Apache Griffin定位为大数据的数据质量监控工具，支持批处理数据源hive、text文件、avro文件和实时数据源kafka，而一些以关系型数据库如mysql、oracle为存储的项目也同样需要可配置化的数据质量监控工具，所以扩展griffin的mysql数据源就可以为项目的数据质量监控提供多一种选择。代码结构从上一篇文章apache griffin 中已经介绍了griffin的特性、执行流程及其架构，本文主要介绍一下其代码结构及扩展数据源的简单实现，先了解一下代码结构：.
博客
一表弄清类之间的关系 依赖 关联 聚合 组合
07-09 252
博客
关联关系、依赖关系总结
07-09 781
关联关系、依赖关系总结一、关联关系总结：1.对象和对象之间的连接。在Java中，关联关系的代码表现形式为一个类做为另一个类的属性类型存在。即“有”的关系：”has-a”。2.关联关系的方向：关联关系分为单向关联和双向关联①单向关联：A类关联B类。②双向关联：A类关联B类,B类关联A类。3.关联关系的多重性：①一对一关联：一个学生，只能在一个班级里学习。②一对多关联：一个学生，可以参加多个班级学习。③解决一对多的关联的方案：集合和数组。集合例：publ...
博客
Kettle开源工具二次开发
07-04 1545
转自：https://www.jianshu.com/p/47640cc4b71cETL之kettle进行二次开发简单demo:https://blog.csdn.net/qq_21178933/article/details/54576458kettle工具二次开发-代码启动JOB:https://blog.csdn.net/fengshuiyue/article/details/10054623kettle工具二次开发-代码启动JOB:https://www.cnblogs.com/...
博客
docker的应用部署与迁移备份
06-04 356
1 Docker应用部署# mysql服务 在docker中运行 -e表示环境变量，root密码docker run -id --name=mysql1 -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7# redis服务 在docker中运行docker run -id --name=myredis -p 6379:6379 -e REDIS_ROOT_PASSWORD=Admin123 redis # docker中部署django
博客
使用docker安装分布式hadoop（阿里hadoop镜像）
06-01 678
前面使用了docker自带的镜像安装，那么这篇使用阿里镜像搭建hadoop集群，也参考了网上部分播客，但是多多少少有问题，我这篇播客是全部经过实践测试成功跑起来的。1、安装hadoop镜像1）拉取镜像拉取阿里的hadoop镜像docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop查看镜像docker images3)创建hadoop容器（1）创建master节点docker run --name master -d -h
博客
docker如何进行移植
06-01 2349
docker如何进行移植尚2020-04-01 11:17:02原创201docker进行移植的方法：1、使用export命令导出docker容器docker export 容器名或者容器ID > 导出的路径以及tar包的名字例如： 1 docker export centos > ./centos.tar 2、在其他机器上导入：docker import tar包路径 REPOSITORY ：tag --------.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值