hadoop 2.6 环境搭建

最新推荐文章于 2023-04-03 15:43:54 发布
最新推荐文章于 2023-04-03 15:43:54 发布
阅读量297 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_26054561/article/details/53036541
版权

一、环境说明

1、机器：一台物理机(MASTER)和一台虚拟机(SLAVE)

2、集群节点：两个 MASTER(Master）, SLAVE(Slave)

MASTER 10.12.2.182

SLAVE 10.12.2.90

3, 设置主机名称

1)

Vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=MASTER

2) vi /etc/hostname

MASTER

Vi /etc/hosts

10.12.2.182 MASTER

10.12.2.90 SLAVE

二、准备工作

1， 安装JDK,

下载JDK安装包， 解压到/usr/java/jdk1.8.0_111

配置环境变量 ~/.bashrc:

exportJAVA_HOME=/usr/java/jdk1.8.0_111

exportJRE_HOME=/usr/java/jdk1.8.0_111/jre

exportCLASSPATH=/usr/java/jdk1.8.0_111/lib

exportPATH=$JAVA_HOME/bin:$PATH

2， 改变root用户的根路径：

[root@MASTER hadoop-2.6.0]# cat /etc/passwd

把根路径从/home/rli

root:x:0:0:root:/home/rli:/bin/bash

改成

root:x:0:0:root:/root:/bin/bash

 

1)   先logout, 再用root用户登录系统

2)   如果crash,  在登录前把/home/rli/.bash* 所有问题copy到/root/下；

     

3，SSH 免校验设置

首先在MASTER

进去.ssh文件: [root@MASTER ]$ cd ~/.ssh/

生成秘钥 ssh-keygen : ssh-keygen -t rsa , 连续按回车键

最终生成（id_rsa,id_rsa.pub两个文件） 

生成authorized_keys文件：[root@MASTER .ssh]$ cat id_rsa.pub >> authorized_keys  

在另一台机器SLAVE 也生成公钥和秘钥,步骤与上面相同。

 

将SLAVE 的id_rsa.pub文件copy到MASTER机器：[root@SLAVE.ssh]$ scp id_rsa.pub root@10.12.2.182:~/.ssh/id_rsa.pub_sl

此切换到机器MASTER 合并authorized_keys; [root@MASTER.ssh]$ cat id_rsa.pub_sl>> authorized_keys 

 

将authorized_keys copy到SLAVE机器（/home/rli/.ssh）：[root@MASTER .ssh]$ scp authorized_keys  root@10.12.2.182:~/.ssh/

现在讲两台机器 .ssh/ 文件夹权限改为700，authorized_keys文件权限改为600（or 644）

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

 

三、安装Hadoop

这是下载后的hadoop-2.6.0.tar.gz压缩包，   

1、解压 tar -xzvf hadoop-2.6.0.tar.gz 

2、move到指定目录下：[root@MASTER ]$ mv hadoop-2.6.0  /root/cluster/opt/ 

3、进入hadoop目前  [root@MASTER ~]# cd /root/cluster/opt/hadoop-2.6.0/

[root@MASTERhadoop-2.6.0]# pwd

/root/cluster/opt/hadoop-2.6.0

4, 配置之前，先在本地文件系统创建以下文件夹：/root/cluster/opt/hadoop-2.6.0/tmp

/root/cluster/opt/hadoop-2.6.0/dfs/data,

/root/cluster/opt/hadoop-2.6.0/dfs/name。主要涉及的配置文件有7个：都在/ hadoop-2.6.0/etc/hadoop文件夹下，可以用gedit命令对其进行编辑。

/root/cluster/opt/hadoop-2.6.0//etc/hadoop/hadoop-env.sh
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/yarn-env.sh
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/slaves
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/core-site.xml
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/hdfs-site.xml
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/mapred-site.xml
/root/cluster/opt/hadoop-2.6.0//etc/hadoop/yarn-site.xml

[root@MASTER  hadoop-2.6.0]# ls

bin  etc     lib      LICENSE.txt  NOTICE.txt sbin   tmp

dfs  include libexec  logs         README.txt  share

 

4、进去hadoop配置文件目录

[root@MASTER hadoop-2.6.0]$ cd etc/hadoop/
[root@MASTER hadoop]$ ls
capacity-scheduler.xml  hadoop-env.sh              httpfs-env.sh            kms-env.sh           mapred-env.sh              ssl-client.xml.example
configuration.xsl       hadoop-metrics2.properties httpfs-log4j.properties  kms-log4j.properties mapred-queues.xml.template  ssl-server.xml.example
Container-executor.cfg  hadoop-metrics.properties  httpfs-signature.secret  kms-site.xml         mapred-site.xml             yarn-env.cmd
core-site.xml           hadoop-policy.xml          httpfs-site.xml         log4j.properties      mapred-site.xml.template   yarn-env.sh
hadoop-env.cmd          hdfs-site.xml              kms-acls.xml            mapred-env.cmd        slaves                     yarn-site.xml

4.1、配置 hadoop-env.sh文件-->修改JAVA_HOME

# The javaimplementation to use.
export JAVA_HOME=$JAVA_HOME ( 保持原状，已经设置JAVA_HOME环境变量)

4.2、配置 yarn-env.sh 文件-->>修改JAVA_HOME

# some Java parameters

 exportJAVA_HOME= $JAVA_HOME

4.3、配置slaves文件-->>增加slave节点 

 10.12.2.90

4.4、配置 core-site.xml文件-->>增加hadoop核心配置（hdfs文件端口是9000、file: /root/cluster/opt/hadoop-2.6.0/tmp、）

<configuration>

 <property>

  <name>fs.defaultFS</name>

 <value>hdfs://10.12.2.182:9000</value>

 </property>

 

 <property>

  <name>io.file.buffer.size</name>

  <value>131072</value>

 </property>

 <property>

  <name>hadoop.tmp.dir</name>

 <value>file:/root/cluster/opt/hadoop-2.6.0/tmp</value>

  <description>Abasefor other temporarydirectories.</description>

 </property>

 <property>

 <name>hadoop.proxyuser.spark.hosts</name>

  <value>*</value>

 </property>

<property>

 <name>hadoop.proxyuser.spark.groups</name>

  <value>*</value>

 </property>

</configuration>

4.5、配置  hdfs-site.xml 文件-->>增加hdfs配置信息（namenode、datanode端口和目录位置）

<configuration>

 <property>

 <name>dfs.namenode.secondary.http-address</name>

  <value>10.12.2.182:9001</value>

 </property>

 

  <property>

   <name>dfs.namenode.name.dir</name>

  <value>file:/root/cluster/opt/hadoop-2.6.0/dfs/name</value>

 </property>

 

 <property>

 <name>dfs.datanode.data.dir</name>

 <value>file:/root/cluster/opt/hadoop-2.6.0/dfs/data</value>

  </property>

 

 <property>

  <name>dfs.replication</name>

  <value>3</value>

 </property>

 

 <property>

  <name>dfs.webhdfs.enabled</name>

  <value>true</value>

 </property>

 

</configuration>

4.6、配置 mapred-site.xml 文件-->>增加mapreduce配置（使用yarn框架、jobhistory使用地址以及web地址）

<configuration>

  <property>

   <name>mapreduce.framework.name</name>

   <value>yarn</value>

 </property>

 <property>

 <name>mapreduce.jobhistory.address</name>

  <value>10.12.2.182:10020</value>

 </property>

 <property>

 <name>mapreduce.jobhistory.webapp.address</name>

  <value>10.12.2.182:19888</value>

 </property>

</configuration>

4.7、配置  yarn-site.xml  文件-->>增加yarn功能

<configuration>

  <property>

  <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

  </property>

  <property>

   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

  <property>

  <name>yarn.resourcemanager.address</name>

   <value>10.12.2.182:8032</value>

  </property>

  <property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>10.12.2.182:8030</value>

  </property>

  <property>

  <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>10.12.2.182:8035</value>

  </property>

  <property>

   <name>yarn.resourcemanager.admin.address</name>

   <value>10.12.2.182:8033</value>

  </property>

  <property>

  <name>yarn.resourcemanager.webapp.address</name>

   <value>10.12.2.182:8088</value>

  </property>

 

</configuration>

5、将配置好的hadoop文件copy到另一台slave机器上

[root@rli_linuxopt]$ scp -r hadoop-2.6.0/ root@10.12.2.90:/root/cluster/opt/


四、验证

1、格式化namenode:

[root@MASTER opt]$ cdhadoop-2.6.0/
[root@MASTER hadoop-2.6.0]$ ls
bin  dfs  etc  include  input  lib  libexec LICENSE.txt  logs  NOTICE.txt  README.txt  sbin share  tmp
[root@MASTER hadoop-2.6.0]$ ./bin/hdfs namenode -format

[root@MASTER .ssh]$ cd~/opt/hadoop-2.6.0
[root@MASTER hadoop-2.6.0]$ ./bin/hdfs  namenode -format

2、启动hdfs:

[root@MASTERhadoop-2.6.0]$ ./sbin/start-dfs.sh 
3、停止hdfs:

[root@MASTER  hadoop-2.6.0]$./sbin/stop-dfs.sh 
4、启动yarn:

[root@MASTERhadoop-2.6.0]$./sbin/start-yarn.sh 
[root@MASTER hadoop-2.6.0]$ jps
5、停止yarn:

[root@MASTERhadoop-2.6.0]$ ./sbin/stop-yarn.sh 

6、查看集群状态：

[root@MASTERhadoop-2.6.0]$ ./bin/hdfsdfsadmin -report
7、查看hdfs：http://10.12.2.182:50070/

8、查看RM：http://10.12.2.182:8088/

9， 启动hadoop 集群

root@MASTERhadoop-2.6.0]$./sbin/start-all.sh

[root@MASTER hadoop-2.6.0]# jps
11253 Jps
9977 NameNode
10410 ResourceManager
10253 SecondaryNameNode

[root@SLAVE hadoop-2.6.0]# jps

2162 NodeManager

2091 Datanode



reylee911
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 2.6.0的安装与配置
蔡先生的专栏
01-17 8046
系统：Ubuntu 14.10，其部署在VMware workstation 11.0.0上 JDK：jdk-7u25-linux-i586.tar.gz Hadoop:hadoop-2.6.0.tar.gz（下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/） Step1：上传安装包        在windows系统预
Hadoop集群搭建1Master、3Slaves
ITwangnengjie的博客
08-29 4931
master.hadoop  10.9.148.193 slave1.hadoop  10.9.148.190 slave2.hadoop  10.9.148.191 slave3.hadoop  10.9.148.192 root 123456   hadoop 123456 1. 重装系统 Centos6 2. 设置固定IP IPv4： 手动 地址           子网
hadoop2.6安装
weipanp的专栏
01-14 951
1. 准备工作 1) 版本选择 Hadoop+Hbase+Hive一般设计大数据业务的必选组件，首先选择兼容的组件进行搭建至关重要，环境搭建好不会轻易的换版本，选择一个兼容性强，稳定的版本。 本文选择组件hadoop2.6.0,Hbase0.96.2,Hive1.13.1,现阶段此种组合算是比较新的。0.98.8版本兼容性不好，以至于遗弃而选择0.96.2. 软件官方下载地址：http:/
Hadoop2.8集群安装详细教程
nuc2015的博客
07-06 4129
一、网络及主机名配置 192.168.1.2 master.hadoop 192.168.1.3 slave1.hadoop 192.168.1.4 slave2.hadoop 1.修改主机名 [root@master /]# vi /etc/hostname #主机名 master.hadoop [root@master ~]# hos...
hadoop2.6版本集群环境搭建
stark_summer
01-05 381
一、环境说明 1、机器：一台物理机 和一台虚拟机 2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK:[spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"Java(TM) SE Run...
hadoop的环境搭建
weixin_42604344的博客
07-23 204
  hdfs有三种版本：单机版   伪分布式版   全分布式版 1.单机版的安装： 首先将安装包拖入sftp工具中，解压：tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local 配置环境变量：vi  /etc/profile export HADOOP_HOME=/usr/local/hadoop-2.7.1 export PATH=$PATH:$HADO...
hadoop环境搭建
yingboling的博客
04-03 500
如果是stdin输入，hdfs的目录必须是全路径。firewall-cmd --zone=public --add-port=10000/tcp --permanent hiveserver2端口。firewall-cmd --zone=public --add-port=2181/tcp --permanent zookeeper端口。firewall-cmd --zone=public --add-port=8020/tcp --permanent HDFS端口。
hadoop2.6_windows_x64.zip
10-22
总之，"hadoop2.6_windows_x64.zip"提供了在64位Windows环境中运行Hadoop2.6的便利，与Hive1.2.2兼容，适合本地开发和学习。在使用过程中，理解并配置Hadoop和Hive的相关配置文件、环境变量以及掌握基本的命令行操作...
hadoop2.6集群搭建手册
06-23
在IT行业中，Hadoop是一个广泛使用的开源框架，...在这个过程中，文档如《hadoop2.6集群搭建手册》是不可或缺的指南，它详细解释了每个步骤并提供了配置示例，对于初学者和经验丰富的管理员来说都是宝贵的参考资料。
hadoop2.6 hadoop.dll+winutils.exe
12-15
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件：`hadoop.dll` 和 `winutils.exe`，这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的，...
hadoop2.6_Win_x64-master
05-16
总之，"hadoop2.6_Win_x64-master"压缩包提供了一种简便的方式来解决在Windows上使用Eclipse进行Hadoop开发时遇到的挑战，使得开发者可以更专注于编写和测试MapReduce或Spark程序，而不用过多地关注底层的环境配置...
基于Yarn运行spark应用的进程分析
reylee的博客
06-05 1940
首先配置HADOOP_CONF_DIR或者YARN_CONF_DIR指向hadoop集群，从而可以调用Yarn 的资源管理器。 两种模式： 1，Yarn-client： Spark driver运行在client进程中，只是利用AM(applicationMaster)向Yarn的资源管理模块申请资源。 运行此种模式只需指定参数yarn-client即可，例如： [root@l
ssh免密码登录问题分析
reylee的博客
11-02 275
环境说明： 一台linux虚拟机和一台linux PC 1， 配置机器 虚拟机hostname #hostname  rli_vb 查看： #hostname rli_vb 命名成功。 2， 添加hosts: 添加 10.12.2.90 rli_vb 10.12.2.182 rli_linux 到 /etc/h
【SCI一区】Matlab实现蛇群优化算法SO-CNN-LSTM-Attention的风电功率预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
Axure大屏可视化模板科技感原件.rp
最新发布
07-29
Axure大屏可视化是指使用Axure RP这款原型设计工具来创建具有视觉冲击力和数据展示功能的大屏幕界面。Axure以其强大的交互设计和丰富的组件库，成为了实现大屏可视化的重要工具之一。
【创新未发表】Matlab实现斑马优化算法ZOA-Kmean-Transformer-BiLSTM负荷预测算法研究.rar
07-29
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
编程报错总结及其可能的原因.pdf
07-29
编程报错是开发者经常会遇到的问题，正确理解和处理这些报错对于提高编程技能和项目稳定性至关重要。以下是一些常见的编程报错总结及其可能的原因 为了有效管理和预防编程报错，建议采取以下措施： 1、编写清晰的代码：确保代码易于理解和维护，遵循命名约定和编码规范。 2、使用单元测试：编写测试用例来验证代码的正确性，确保在更改代码时不会引入新的错误。 3、持续集成/持续部署（CI/CD）：将代码集成和部署自动化，以便在发现问题时及时修复。 4、代码审查：通过代码审查来发现潜在的问题和改进点，提高代码质量。 5、学习和分享：不断学习新的编程技术和最佳实践，与团队成员分享经验和知识，共同提高编程水平。
电路分析与波特图中的零点与极点
07-29
零点与极点
XEN下Hadoop 2.6全分布环境搭建指南
本文主要介绍了如何基于XEN虚拟化技术实现Apache Hadoop 2.6.0的全分布式环境搭建，包括多机部署。首先，实验目的是构建一个Hadoop集群，以支持大数据处理和分布式计算任务。整个过程针对的是Ubuntu 14.04 64位操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值