关闭

Hadoop2.7.3伪分布式搭建

标签: JDK安装Hadoop伪分布式搭建
194人阅读 评论(0) 收藏 举报
分类:

1.安装JDK

①找到自己的jdk压缩文件的目录,解压:tar -zxvf jdk-8u112-linux-x64.tar.gz -c /usr/java

②配置环境变量:

输入命令:vim /etc/profile

在结尾添加以下内容:


刷新资源:source  /etc/profile

2.安装Hadoop-2.7.3

①解压Hadoop到指定文件夹中:tar -zxvf hadoop-2.7.3.tar.gz -c /hadoop

②修改相关配置文件:

修改hadoop-env.sh文件

cd /hadoop/hadoop-2.7.3/etc/hadoop


输入命令:vi hadoop-env.sh

修改文件中的JAVA_HOME:


export JAVA_HOME=/usr/java/jdk1.8.0_112

修改core-site.xml:

输入命令:vi core-site.xml

添加以下配置:

第一个property:指定HDFS的老大(NameNode)的地址

第二个property:指定hadoop运行时产生文件的存储目录

修改hdfs-site.xml:

输入命令:vi hdfs-site.xml

property:指定HDFS保存数据副本的数量        

      修改mapred-site.xml:

输入命令:vi  mapred-site.xml

若无此文件,执行此命令:mv mapred-site.xml.template mapred-site.xml

注:告诉Hadoop以后mapreduce运行在yarn上

修改yarn-site.xml:

输入命令:vi yarn-site.xml

第一个property:指定YARN的老大(ResourceManager)的地址

第二个property:reduce获取数据的方式shuffle

③将hadoop添加到环境变量:

输入命令:vim /etc/proflie

刷新资源配置source /etc/profile

3.初始化HDFS(格式化文件系统)

#hadoop namenode -format(已过时)

hdfs namenode -format

出现以下信息则表示格式化成功:

4.启动HDFS和YARN

进入sbin目录:cd /hadoop/hadoop-2.7.3/sbin

执行命令:#./start-all.sh(已过时)

分别指行:./start-dfs.sh

,/start-yarn.sh

执行完成后,输入命令:jps

注:若出现此图中的信息则成功了


1
0
查看评论

hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装

1. 第一步        上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/home/hadoop/ 2.  第二步 配置hadoop hadoop-2.7.3的搭建需要修改5个配置文件 ...
  • hongchenlingtian
  • hongchenlingtian
  • 2016-11-17 20:08
  • 2622

centos7环境下hadoop-2.7.3伪分布式搭建

centos7环境下hadoop-2.7.3伪分布式搭建1、 修改主机名称###永久生效 hostnamectl set-hostname hadoop012、下载解压将下载的hadoop-2.7.3.tar.gz解压到/usr/local目录下3、修改配置首先切换目录到/usr/local/had...
  • tszxlzc
  • tszxlzc
  • 2017-03-12 20:41
  • 777

Mac下hadoop2.7 伪分布式安装

一。MAC OS下的JDK安装及其路径 1、首先安装jdk,直接百度或者Google搜索就有MAC版本的jdk,本实验环境是jdk1.8.0_66.jdk,Hadoop的安装也必须在jdk 1.6版本以上。 2、MAC中自带有安装的jdk,查看其默认路径如图: /Java>/Syste...
  • u013475704
  • u013475704
  • 2017-02-09 10:58
  • 973

CENTOS7搭建伪分布式HADOOP2.7.3

一、下载安装JDK1.8.1 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 安装JDK,配置换将变量 二、下载安装HADOOP2.7.3 archive.apac...
  • u010864748
  • u010864748
  • 2017-04-12 14:04
  • 651

Hadoop2.7.3的安装详细过程(伪分布式)

1.安装java 2.设置ssh免密码登入 3.安装Hadoop1.安装java:rpm -ivh jdk-8u101-linux-i586.rpm然后设置环境变量 vi /etc/profile 在最末端添加: #set java env JAVA_HOME=/usr/java/jdk...
  • q5390498
  • q5390498
  • 2016-10-29 18:19
  • 1915

Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.3/Ubuntu16.04

当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是...
  • chen381051010
  • chen381051010
  • 2016-12-13 15:00
  • 1966

hadoop2.7.3伪分布式搭建

系统:Ubuntu15 1.创建Java环境(安装jdk7): (1)输入jdk:会提示下载版本 (2)下载jdk :apt-get install openjdk-7-jdk(所有命令均在root权限下) (3)修改配置文件/etc/profile:gedit /etc/profile(添加标...
  • hahahahalll
  • hahahahalll
  • 2017-05-18 20:45
  • 84

Hadoop2.7.3伪分布式搭建过程详解

Hadoop2.8伪分布式安装过程分享: 一.实验环境 Vmwareworkstation12 Centos7 网络我选择的是host模式 主机名hadoop  ip地址192.168.40.66 二. 1.首先看一下主机的ip地址 2.然后去这个目录下修改固定ip地址...
  • lengedary
  • lengedary
  • 2017-05-19 20:43
  • 239

hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6版本集群环境搭建
  • stark_summer
  • stark_summer
  • 2015-02-06 15:56
  • 47391

Hadoop简单入门之伪分布式搭建

前面两章主要讲解了完全分布式的搭建,这章主要讲解服务器单机完成伪分布的搭建,介绍Hadoop配置,启动,以及简单测试。我的机器:阿里云服务器,64位,Java64,Hadoop2.4.1(64)
  • peace1213
  • peace1213
  • 2016-05-08 10:04
  • 2936
    个人资料
    • 访问:11643次
    • 积分:289
    • 等级:
    • 排名:千里之外
    • 原创:15篇
    • 转载:0篇
    • 译文:0篇
    • 评论:9条
    最新评论