CentOS 7上安装hadoop集群

21人阅读 评论(0) 收藏 举报
分类:

环境:CentOS 7虚拟机两台(192.168.31.224、192.168.31.225)、Hadoop-2.8.0 、jdk 1.8

实现两台虚拟机SSH免密码登录

1、修改主机名,192.168.31.224(hserver1),192.168.31.225(hserver2)

在主机192.168.31.224上执行
>hostname hserver1

在主机192.168.31.225上执行
>hostname hserver2

2、修改主机224和225的/etc/hosts文件,在hosts文件末尾加上

192.168.31.224 hserver1
192.168.31.225 hserver2

这里写图片描述
3、测试:分别在两个主机上执行 ping hserver1和ping hserver2,主机连通即可。
这里写图片描述

4、给两台机器生成SSH密钥文件

ssh-keygen -t rsa -P ''

这里写图片描述

查看/root/.ssh下会有两个文件

ls /root/.ssh

这里写图片描述
5、在两台主机的/root/.ssh目录下分别生成authorized_keys文件,内容为224主机的.ssh目录下id_rsa.pub和225主机.ssh目录下id_rsa.pub文件内容合并。若主机多了,可以采取在一台上创建,然后分发到其它主机的/root/.ssh目录的方式。
这里写图片描述
6、测试ssh免密是否配置成功,在hserver1主机上执行ssh hserver2,在hserver2上执行ssh hserver1,如下图,表示配置成功。使用exit可以登出远程ssh连接。
这里写图片描述

问题:
1、安装完成后,使用ssh 连接测试,报错:sign_and_send_pubkey: signing failed: agent refused operation
这里写图片描述

这里写图片描述
解决方法:
执行

eval "$(ssh-agent -s)"
ssh-add

安装配置hadoop

1、下载hadoop 2.8.0
2、将tar包放到opt目录下,并解压。
3、创建目录

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data 

4、修改hserver2主机下的/opt/hadoop-2.8.0/etc/hadoop下的配置文件
a、修改core-site.xml,并用修改完成的core-site.xml替换hserver1主机的core-site.xml。设置fs.default.name用于定位文件系统的namenode

<configuration></configuration>中加入
----------
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://hserver2:9000</value>
   </property>

b、修改hdfs-site.xml, dfs.replication HDFS的备份参数。

在<configuration></configuration>中加入
----------
<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

c、新建并修改mapred-site.xml, mapred.job.tracker参数用于定位JobTracker所在的主节点。

cp ./mapred-site.xml.template ./mapred-site.xml

<configuration></configuration>中加入
----------
<property>
    <name>mapred.job.tracker</name>
    <value>hserver2:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

d、修改slaves,删除localhost,在里面加上

hserver1
hserver2

e、修改yarn-site.xml

<configuration></configuration>中加入
----------
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hserver2</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
       <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
  </property>
  <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
  </property>
 <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

f、修改/opt/hadoop-2.8.0/etc/hadoop/hadoop-env.sh (系统已经设置了JAVA_HOME环境变量,但是此处不改,启动的时候会报错:Error: JAVA_HOME is not set and could not be found.)
将export JAVA_HOME=${JAVA_HOME}改成export JAVA_HOME=/opt/jdk1.8.0_161

启动hadoop

1、进入hserver2主机的/opt/hadoop-2.8.0/bin目录,格式化HDFS

 ./hadoop  namenode  -format

这里写图片描述
没报错表示初始化成功。
2、查看/root/hadoop/dfs/name/目录下生成current目录,current目录下面生成一些文件。
这里写图片描述
3、在namenode上启动hadoop,主机192.168.31.225(hserver2)为namenode。进入/opt/hadoop-2.8.0/sbin下执行

./start-all.sh 

这里写图片描述
这里写图片描述
4、测试,访问http://192.168.31.225:50070/
这里写图片描述
访问:http://192.168.31.225:8088
这里写图片描述
5、停止

./stop-all.sh
查看评论

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

写在前边的话:        最近找了一个云计算开发实习生的工作,本以为来了会直接做一些敲代码,处理数据的活,没想到师父给了我一个课题“基于质量数据的大数据分析”,NameNode问题来了首先要做的就...
  • Gamer_gyt
  • Gamer_gyt
  • 2016年07月25日 15:57
  • 15003

在Hadoop集群上的Hive配置

环境介绍 系统:Ubuntu14.04 64位 Hadoop版本:hadoop-2.7.2 Hive版本:apache-hive-2.1.0-bin 集群环境: ### 环境介绍 系统:Ubun...
  • predict_wise
  • predict_wise
  • 2016年07月21日 18:00
  • 2012

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0) 版本:CentOS7 Hadoop2.8.0 JDK1.8
  • pucao_cug
  • pucao_cug
  • 2017年05月11日 23:13
  • 21963

hadoop2.X集群上Hbase的安装

hadoop2.X集群上Hbase的安装一、下载解压 Hbase http://mirror.olnevhost.net/pub/apache/hbase/hbase-1.0.3/ 下载hbase-...
  • haoyutiangang
  • haoyutiangang
  • 2016年03月09日 18:20
  • 714

hadoop集群搭建-Mysql安装

## 安装的版本是MySQL-5.6.22-1.el6.i686.rpm-bundle.tar 其他版本安装步骤基本一致,官网进行下载## 1.查看CentOS自带的mysql 1 1.1输入...
  • qq_36711289
  • qq_36711289
  • 2017年09月05日 10:30
  • 222

Centos7.3安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群

前言本文是以前辈文档做基础,配上了自己(蓝色字体)安装过程的一些理解和解决办法原文档连接:https://www.yp14.cn/2016/12/09/Centos7-2%E5%AE%89%E8%A3...
  • sunshinepx
  • sunshinepx
  • 2017年10月29日 14:55
  • 882

centos7+hadoop2.8.1集群安装

环境要求:centos7   三台虚拟机       软件要求:jdk1.8     hadoop-2.8.1.tar.gz    //添加用户hadoop ,组名为adminuseradd  -g ...
  • q_a_z_w_s
  • q_a_z_w_s
  • 2017年09月26日 18:36
  • 366

Hadoop从安装Linux到搭建集群环境

简介与环境准备   hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年,随着大数据、云计算、物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里...
  • u012017783
  • u012017783
  • 2017年05月06日 17:07
  • 702

Centos7 下 Hadoop 2.6.4 分布式集群环境搭建

摘要在实际集群上搭建 Hadoop 2.6.4 分布式集群环境。集群准备有五台机器,通过已经更改机器名称为master,slaver1,slaver2,slaver3,slaver4,并设置了面密码s...
  • SA14023053
  • SA14023053
  • 2016年07月19日 09:58
  • 2132

UBUNTU环境安装hadoop集群

UBUNTU环境 ubuntu-16.10-desktop-amd64.iso 虚拟机使用VMWare 12.5.2,可以把窗口关闭后台运行,VirturelBox每一个虚拟机启动后都弹出来一个新...
  • aptweasel
  • aptweasel
  • 2017年03月10日 17:29
  • 322
    个人资料
    持之以恒
    等级:
    访问量: 5万+
    积分: 1594
    排名: 3万+