在CentOS6.9上配置Hadoop集群(二)

标签: Hadoop
14人阅读 评论(0) 收藏 举报
分类:
四、安装Hadoop集群

(1)将hadoop上传至master,可以用WinSCP上传,我这里以hadoop-2.5.1.tar.gz为例:
这里写图片描述
(2)在master上创建一个新文件用来装hadoop:

mkdir /home/hadoop

(3)将hadoop目录的写权限分配给gznc-hadoop用户:
chown –R gznc-hadoop:gznc-hadoop /home/hadoop

(4)解压文件:tar -zxvf hadoop-2.5.1.tar.gz

(5)在hadoop目录下创建mydata文件:mkdir mydata
(6)在hadoop-env.sh中配置运行时需要的jdk环境变量:
vim hadoop-env.sh 或 gedit hadoop-env.sh

将 export JAVA_HOME=${JAVA_HOME}修改为
export JAVA_HOME=/usr/java/jdk1.7.0_80

(7)配置yarn-env.sh环境变量:vim yarn-env.sh
将 #export JAVA_HOME= 修改为
export JAVA_HOME=/usr/java/jdk1.7.0_80

(8)配置core-site.xml文件

(9)配置hdfs-site.xml文件

(10)配置yarn-site.xml文件

(11)配置计算框架,复制mapred-site.xml.template为mapred-site.xml
命令:cp mapred-site.xml.template mapred-site.xml
然后对mapred-site.xml文件进行编辑:

(12)在slave中配置DataNode节点
命令:vim slaves
我这只有一个从节点,如果有多个就要写多个,一行一个

(13)分发hadoop-2.5.1到其他从节点上(DataNode)
命令:
scp –r /home/hadoop/hadoop-2.5.1 slave01:/home/hadoop/

scp –r /home/hadoop/mydata/ slave01:/home/hadoop/

(14)在master、slave01上配置/home/gznc-hadoop/.bash_profile

配置完成后不要忘了source /home/gznc-hadoop/.bash_profile

(15)在master上启动hadoop集群:
命令:cd /home/hadoop/hadoop-2.5.1
./sbin/start-all.sh
start-all.sh
验证:jps
这样显示则表示启动成功

停止:

配置时间戳:ntpdate us.pool.ntp.org
如果没有namenode进程,在master下进行namenode格式化,命令:
stop-all.sh
hdfs namenode –format

然后再启动就可以看到正常了:

例子:计算
cd /home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.5.1.jar pi 10 10

查看评论

在CentOS6.9上配置Hadoop集群(一)

在CentOS6.9上配置Hadoop集群(一) 一、Centos的系统配置 1、配置网络环境 master和slave必须在同一网段下才能实现连接。 网络安装命令:setup 重新启动...
  • vpqtxzmzezeqjj9977
  • vpqtxzmzezeqjj9977
  • 2018年03月27日 20:06
  • 148

阿里云搭建Hadoop集群

这篇blog主要是讲如何搭建Hadoop集群,是继我上一篇手把手教你如何使用阿里云搭建Hadoop环境 环境下进行的,如果你还没看过上一篇blog,建议你先看一下如何搭建Hadoop环境,在继续...
  • qq_22600319
  • qq_22600319
  • 2017年10月15日 16:30
  • 672

在Hadoop集群上的Hive配置

环境介绍 系统:Ubuntu14.04 64位 Hadoop版本:hadoop-2.7.2 Hive版本:apache-hive-2.1.0-bin 集群环境: ### 环境介绍 系统:Ubun...
  • predict_wise
  • predict_wise
  • 2016年07月21日 18:00
  • 2010

Centos 6.9搭建Hadoop分布式

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它...
  • qq_30158837
  • qq_30158837
  • 2017年11月03日 18:22
  • 433

在Ubuntu9.04上配置Hadoop集群

参考《Hadoop开发者入门专刊.pdf》实践环境:Ubuntu9.04+jdk1.6.20+hadoop-0.20.2(两台实体机)机器名                 IP           ...
  • malik76
  • malik76
  • 2010年07月12日 22:02
  • 1747

Centos 6.9 Install gitlab 9.2

依赖环境 yum -y install curl policycoreutils policycoreutils-python openssh-server openssh-clients postf...
  • hanzheng260561728
  • hanzheng260561728
  • 2017年07月20日 15:53
  • 820

云服务器搭建hadoop集群

1:环境准备 3台服务器配置如下公网ip 119.29.186.83 内网ip10.104.157.113 公网ip 119.29.250.47 内网ip 10.104.9.181 公网...
  • qq_30259339
  • qq_30259339
  • 2016年05月13日 23:46
  • 893

Hadoop集群中Hive的配置

1. 解压缩apache-hive-1.2.1-bin.tar.gz 文件。 tar -zxf apache-hive-1.2.1-bin.tar.gz //这里解压在/opt目录下    ...
  • Angelababy_huan
  • Angelababy_huan
  • 2016年11月05日 23:07
  • 404

CentOS6.9网络配置

在真实服务器中,系统安装应该是采用最小化安装的方式。毕竟软件安装越少,安全性也就越高。因为最小化安装的过程中,网络默认是使用的dhcp来配置的,这种情况可能并不符合我们的要求,因此,安装完毕之后我们一...
  • king_kgh
  • king_kgh
  • 2017年07月10日 10:00
  • 8158

windows下搭建hadoop集群

1. 安装虚拟机配置网络, 本教程是基于centos下进行的 2.改Hadoop节点的名字     sudo vi /etc/sysconfig/network 3.将节点名字和ip地址进行...
  • suifengdechen
  • suifengdechen
  • 2017年09月08日 16:08
  • 313
    个人资料
    等级:
    访问量: 489
    积分: 110
    排名: 122万+
    文章分类
    文章存档
    最新评论