hadoop环境搭建_hadoop集群环境搭建

最新推荐文章于 2021-12-27 20:08:54 发布
最新推荐文章于 2021-12-27 20:08:54 发布
阅读量63 收藏
点赞数
文章标签： hadoop环境搭建 hadoop配置文件 hadoop集群

3.1 虚拟机环境准备

  • 克隆虚拟机
  • 修改克隆虚拟机的静态IP
  • 修改主机名
  • 关闭防火墙
  • 创建hadoop用户
  • 配置hadoop用户具有root权限
  • 在/opt目录下创建文件夹

1). 在/opt目录下创建module、software文件夹

[hadoop@mini1 opt]$ sudo mkdir module [hadoop@mini1 opt]$ sudo mkdir software

4ed2cb710d0183478e2ce7a7b60800f6.png

2). 修改module、software文件夹的所有者cd

[hadoop@mini1 opt]$ sudo chown hadoop:hadoop module/ software/ [hadoop@mini1 opt]$ ll 总用量 8 drwxr-xr-x. 2 hadoop hadoop 4096 1月 17 14:37 module drwxr-xr-x. 2 hadoop hadoop 4096 1月 17 14:38 software

4ed2cb710d0183478e2ce7a7b60800f6.png


3.2 安装JDK

1.卸载现有JDK

查询是否安装Java软件：

[hadoop@mini1 opt]$ rpm -qa | grep java

4ed2cb710d0183478e2ce7a7b60800f6.png

如果安装的版本低于1.7，卸载该JDK：

[hadoop@mini1 opt]$ sudo rpm -e 软件包

4ed2cb710d0183478e2ce7a7b60800f6.png

查看JDK安装路径：

[hadoop@mini1 ~]$ which java

4ed2cb710d0183478e2ce7a7b60800f6.png

2. 将JDK导入到opt目录下面的software文件夹下面

3. 在Linux系统下的opt目录中查看软件包是否导入成功

[hadoop@mini1 opt]$ cd software/ [hadoop@mini1 software]$ ls hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz

4ed2cb710d0183478e2ce7a7b60800f6.png

4. 解压JDK到/opt/module目录下

[hadoop@mini1 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

4ed2cb710d0183478e2ce7a7b60800f6.png

5. 配置JDK环境变量
1.先获取JDK路径

[hadoop@mini1 jdk1.8.0_144]$ pwd /opt/module/jdk1.8.0_144

4ed2cb710d0183478e2ce7a7b60800f6.png

2. 打开/etc/profile文件， 在profile文件末尾添加JDK路径

[hadoop@mini1 software]$ sudo vi /etc/profile #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin ## 保存并退出 :wq

4ed2cb710d0183478e2ce7a7b60800f6.png

3.让修改后的文件生效

[hadoop@mini1 jdk1.8.0_144]$ source /etc/profile

4ed2cb710d0183478e2ce7a7b60800f6.png

6. 测试JDK是否安装成功

[hadoop@mini1 jdk1.8.0_144]# java -version java version "1.8.0_144"

4ed2cb710d0183478e2ce7a7b60800f6.png

注意：重启（如果java -version可以用就不用重启）

[hadoop@mini1 jdk1.8.0_144]$ sync [hadoop@mini1 jdk1.8.0_144]$ sudo reboot

4ed2cb710d0183478e2ce7a7b60800f6.png


3.3 安装Hadoop

.Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 1. 将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面2. 进入到Hadoop安装包路径下

[hadoop@mini1 ~]$ cd /opt/software/

4ed2cb710d0183478e2ce7a7b60800f6.png

3. 解压安装文件到/opt/module下面

[hadoop@mini1 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4ed2cb710d0183478e2ce7a7b60800f6.png

4. 查看是否解压成功

[hadoop@mini1 software]$ ls /opt/module/ hadoop-2.7.2

4ed2cb710d0183478e2ce7a7b60800f6.png

5. 将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[hadoop@mini1 hadoop-2.7.2]$ pwd /opt/module/hadoop-2.7.2

4ed2cb710d0183478e2ce7a7b60800f6.png

（2）打开/etc/profile文件， 在profile文件末尾添加JDK路径：（shitf+g），保存并退出

[hadoop@mini1 hadoop-2.7.2]$ sudo vi /etc/profile ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin :wq

4ed2cb710d0183478e2ce7a7b60800f6.png

（3）让修改后的文件生效

[hadoop@mini1 hadoop-2.7.2]$ source /etc/profile

4ed2cb710d0183478e2ce7a7b60800f6.png

6. 测试是否安装成功

[hadoop@mini1 hadoop-2.7.2]$ hadoop version Hadoop 2.7.2

4ed2cb710d0183478e2ce7a7b60800f6.png

7. 重启(如果Hadoop命令不能用再重启)

[hadoop@mini1 hadoop-2.7.2]$ sync [hadoop@mini1 hadoop-2.7.2]$ sudo reboot

4ed2cb710d0183478e2ce7a7b60800f6.png


3.4 集群配置

1. 配置集群
（1）核心配置文件
配置core-site.xml

[hadoop@mini1 hadoop]$ vim core-site.xml

4ed2cb710d0183478e2ce7a7b60800f6.png

在该文件中编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mini1:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
（2）HDFS配置文件
配置hadoop-env.sh

[hadoop@mini1 hadoop]$ vim hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

4ed2cb710d0183478e2ce7a7b60800f6.png

配置hdfs-site.xml

[hadoop@mini1 hadoop]$ vi hdfs-site.xml

4ed2cb710d0183478e2ce7a7b60800f6.png

在该文件中编写如下配置
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>mini3:50090</value>
</property>
（3）YARN配置文件
配置yarn-env.sh

[hadoop@mini1 hadoop]$ vim yarn-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

4ed2cb710d0183478e2ce7a7b60800f6.png

配置yarn-site.xml

[hadoop@mini1 hadoop]$ vim yarn-site.xml

4ed2cb710d0183478e2ce7a7b60800f6.png

在该文件中增加如下配置
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini2</value>
</property>
（4）MapReduce配置文件
配置mapred-env.sh

[hadoop@mini1 hadoop]$ vi mapred-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144

4ed2cb710d0183478e2ce7a7b60800f6.png

配置mapred-site.xml

[hadoop@mini1 hadoop]$ cp mapred-site.xml.template mapred-site.xml [hadoop@mini1 hadoop]$ vi mapred-site.xml

4ed2cb710d0183478e2ce7a7b60800f6.png

在该文件中增加如下配置
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> 2．在集群上分发配置好的Hadoop配置文件

[hadoop@mini1 hadoop]$ xsync /opt/module/hadoop-2.7.2/

4ed2cb710d0183478e2ce7a7b60800f6.png

3．查看文件分发情况

[hadoop@mini2 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

4ed2cb710d0183478e2ce7a7b60800f6.png

3.4 集群单点启动
（1）如果集群是第一次启动，需要格式化NameNode

[hadoop@mini1 hadoop-2.7.2]$ hadoop namenode -format

4ed2cb710d0183478e2ce7a7b60800f6.png

（2）在mini1上启动NameNode

[hadoop@mini1 hadoop-2.7.2]$ hadoop-daemon.sh start [hadoop@mini1 hadoop-2.7.2]$ jps 3461 NameNode

4ed2cb710d0183478e2ce7a7b60800f6.png

（3）在mini2、mini3以及mini4上分别启动DataNode

[hadoop@mini1 hadoop-2.7.2]$ hadoop-daemon.sh start datanode [hadoop@mini1 hadoop-2.7.2]$ jps 3461 NameNode 3608 Jps 3561 DataNode [hadoop@mini2 hadoop-2.7.2]$ hadoop-daemon.sh start datanode [hadoop@mini2 hadoop-2.7.2]$ jps 3190 DataNode 3279 Jps [hadoop@mini3 hadoop-2.7.2]$ hadoop-daemon.sh start datanode [hadoop@mini3 hadoop-2.7.2]$ jps 3237 Jps 3163 DataNode

4ed2cb710d0183478e2ce7a7b60800f6.png


3.5 SSH无密登录配置

1. 配置ssh
（1）基本语法 ssh另一台电脑的ip地址
（2）ssh连接时出现Host key verification failed的解决方法

[hadoop@mini1 opt] $ ssh 192.168.1.103 The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established. RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06. Are you sure you want to continue connecting (yes/no)? Host key verification failed.

4ed2cb710d0183478e2ce7a7b60800f6.png

解决方案如下：直接输入yes 2. 无密钥配置
（1）生成公钥和私钥：

[hadoop@mini1 .ssh]$ ssh-keygen -t rsa

4ed2cb710d0183478e2ce7a7b60800f6.png

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（2）将公钥拷贝到要免密登录的目标机器上

[hadoop@mini1 .ssh]$ ssh-copy-id hadoop102 [hadoop@mini1 .ssh]$ ssh-copy-id hadoop103 [hadoop@mini1 .ssh]$ ssh-copy-id hadoop104

4ed2cb710d0183478e2ce7a7b60800f6.png

注意：
还需要在mini1 上采用root账号，配置一下无密登录到mini1、mini2、mini3；
还需要在mini2 上采用hadoop账号配置一下无密登录到mini1、mini2、mini3服务器上。 3. .ssh文件夹下（~/.ssh）的文件功能解释
known_hosts 记录ssh访问过计算机的公钥(public key)
id_rsa 生成的私钥
id_rsa.pub 生成的公钥
authorized_keys 存放授权过得无密登录服务器公钥

3.6 群起集群

1. 配置slaves

cd /opt/module/hadoop-2.7.2/etc/hadoop/slaves [hadoop@mini1 hadoop]$ vi slaves

4ed2cb710d0183478e2ce7a7b60800f6.png

在该文件中增加如下内容：
mini1(hostname)主机名
mini2(hostname)主机名
mini3(hostname)主机名
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

[hadoop@mini1 hadoop]$ xsync slaves

4ed2cb710d0183478e2ce7a7b60800f6.png

2. 启动集群
（1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[hadoop@mini1 hadoop-2.7.2]$ bin/hdfs namenode -format

4ed2cb710d0183478e2ce7a7b60800f6.png

（2）启动HDFS

[hadoop@mini1 hadoop-2.7.2]$ sbin/start-dfs.sh [hadoop@mini1 hadoop-2.7.2]$ jps 4166 NameNode 4482 Jps 4263 DataNode [hadoop@mini2 hadoop-2.7.2]$ jps 3218 DataNode 3288 Jps [hadoop@mini3 hadoop-2.7.2]$ jps 3221 DataNode 3283 SecondaryNameNode 3364 Jps

4ed2cb710d0183478e2ce7a7b60800f6.png

（3）启动YARN

[hadoop@mini2 hadoop-2.7.2]$ sbin/start-yarn.sh

4ed2cb710d0183478e2ce7a7b60800f6.png

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
（4）Web端查看SecondaryNameNode
（5）浏览器中输入：http://hadoop104:50090/status.html

weixin_39723102
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop生态之HDFS动态扩容(四)
05-30 902
当HDFS现有集群不能够满足业务需求的时候，需要在不影响现有HDFS集群运行的情况下，动态扩容现有HDFS集群。 操作步骤： 1> 安装一台CentOS Linux服务器 2> 修改计算机名称 命令：vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop1 GATEWAY=192.168.248.1 3> ...
profile文件Java&hadoop项配置
l826267308的博客
08-08 1074
配置环境：vi /etc/profile JAVA_HOME=/usr/local/jdk1.7.0_79/ JDK所在目录 JRE_HOME=/usr/local/jdk1.7.0_79/jdk1.7.0_79/jre HADOOP_HOME=/usr/local/hadoop-2.7.1/ CLASS_PATH=.:JAVAHOME/lib/dt.jar:JAVAHOM...
Hadoop集群搭建过程中profile初始化问题
方法属性类，一个都不会
08-10 221
profile初始化： source /etc/profile
Hadoop（1）——Hadoop集群构建（8）——Hadoop集群配置
weixin_54348877的博客
09-28 3052
可以通过查看目录，来看每一个主要步骤。 主要配置文件： 一. 配置Hadoop集群主节点 1.修改hadoop-env.sh文件 1.1 进入Hadoop配置文件目录 输入： cd /export/servers/ 输入： cd hadoop-2.7.4/ 输入：ls 输入：cdetc/hadoop/ 输入： ls 1.2打开hadoop-env.sh文件 输入：vi hadoop-env.sh 找到JAVA_HOME这个配置信息 1.3修改JAVA_HOM...
Hadoop配置文件介绍
Hannah_zh的博客
07-23 449
Hadoop配置文件介绍 1、core-site.xml &amp;amp;lt;configuration&amp;amp;gt; &amp;amp;lt;!--指定namenode的地址--&amp;amp;gt; &amp;amp;lt;property&amp;amp;gt; &amp;amp;lt;name&amp;amp;gt;fs.defau
配置Hadoop环境变量bash_profile
weixin_33963594的博客
11-12 1522
1.配置hadoop的环境变量bash_profile,配置内容如下 PATH=$PATH:$HOME/bin exportPATH exportJAVA_HOME=/usr/java/jdk1.7.0_79 exportPATH=$PATH:$JAVA_HOME/bin exportHADOOP_HOME=/home/hadoop-2.5.1...
hadoop系列四之配置文件说明
weixin_43497829的博客
02-23 1007
1.环境配置文件hadoop-env.sh hadoop运行需要jre环境，可以直接在/etc/profile中配置，也可以在hadoop-env.sh文件中进行配置，在hadoop-env.sh中可以对JVM虚拟机相关参数进行设置。 （1）通过/etc/profile文件进行设置 sudo vim /etc/profile 在profile文件末尾添加：（shitf+g） HADOOP_HOME=/opt/module/hadoop-3.1.3 PATH=$PATH:$JAVA_HOME/bin:$HA
HADOOP的搭建和配置（一）基础环境配置
m0_58092229的博客
12-27 3702
第1章平台的基础环境配置 实验一：基础环境配置 实验任务一：Linux基础环境配置 步骤一：查看ip [root@VM-M-01594949483071~]# ip a [root@VM-M-01594949481966~]# ip a [root@VM-M-01594949480907~]# ip a 步骤四：修改主机名 [root@VM-M-01594949483071~]#hostnamectlset-hostnamemaster [root@VM-M-015...
hadoop配置
随心笔记
09-09 304
32位 安装配置JRE 解压hadoop 配置/etc/profile 配置 host 如/etc/hosts exportHADOOP_HOME=/home/hadoop/hadoop exportHADOOP_COMMON_HOME=$HADOOP_HOME exportHADOOP_HDFS_HOME=$HADOOP_HOME exportHADOOP_MAPRED_HOME=$HADOOP_HOME exportHADOOP_YARN_HOME=...
Hadoop，相关配置文件
weixin_44851055的博客
03-27 222
Hadoop配置 这篇博文，添加了一些Hadoop的配置文件，设置historyserver，以及日志查看。 core-site.xml <!-- 指定hadoop数据的存储目录，没有则创建一个 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoop_data/tmp</value> <des
配置Hadoop环境变量
方法属性类，一个都不会
08-07 1265
1.修改etc文件夹下的profile 2.在profile文件里面配置 export PATH=$PATH:/opt/hadoop/hadoop-2.6.0/sbin:/opt/hadoop/hadoop-2.6.0/bin 如图： 3.配置好之后，使文件生效： source /etc/profile 4.验证： hadoop version 返回： 成功！ ...
财务报表，项目费用支出明细.xlsx
08-09
工资表，财务报表，对账表，付款申请，财务报告，费用支出表 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
ppap-第四版.pdf
08-09
ppap-第四版
铁路转辙机 ZD6 使用说明书
08-09
铁路转辙机 ZD6 使用说明书
黑马商城docker镜像elasticsearch资源
08-09
黑马商城docker镜像elasticsearch资源
Matlab课设 - 基于图像特征的遥感图像相似匹配+源代码+文档说明
08-09
<项目介绍> - 基于图像特征的遥感图像相似匹配 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
数据库系统课程设计-仓库管理系统-java-精品.doc
最新发布
08-09
数据库系统课程设计-仓库管理系统-java-精品
ssm_127_mysql_私人书店管理系统_.zip
08-09
电子商务在近些年来已经成为了我国重要的第三产业之一，电子商务成为了我国经济增速中一个不可缺少的组成部分，而随着互联网技术的不断发展，现在的电子商务也已经日趋成熟，不仅仅是在技术层面实现了线上商品展示、线上咨询以及线上支付等功能，更是通过战略发展的角度进一步的完善了该行业的发展空间，使得其能够长期处于健康发展的状态。互联网的思维模式下，虚拟网络带给人们全新的生活体验，而电子商务的出现更是极大的方便了人们的日常生活，带动着全球化的深度改革。而随着网络化的不断发展，当下任何商品、服务都可以通过网络来实现销售，图书作为最为传统的一项商品也能够实现在网络的销售、借阅管理等功能。利用计算机手段可以从功能和技术两个方面按照图书销售的要求来开发必须的功能模块。 本次是通过以JSP技术为主要的开发技术，结合了MySQL数据库来打造一款私人书店管理系统，该系统是基于B/S结构打造的系统，本次的系统开发能够实现图书的网络展示、销售、借阅等功能，利用线上化的功能来进行图书推广。
CentOS环境下Hadoop集群详细搭建指南
在搭建Hadoop集群的过程中，首先需要对基础环境进行准备。这里推荐使用Linux操作系统，特别是CentOS发行版，因为它是许多大数据解决方案的常用平台。在本教程中，选择了VMware Workstation 8.0.0作为虚拟化工具，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值