hadoop搭建教程

标签: hadoop ssh jdk 大数据
29人阅读 评论(0) 收藏 举报
分类:

    最近准备学习一些大数据的入门知识,当然是从搭建环境开始了,下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。

    搭建前的准备:

    centos7环境

    jdk环境

    ssh免密登录

    用户组

    准备好以上几步之后就可以搭建hadoop了。

    安装centos的步骤就不在这里赘述了。

    jdk环境如果centos操作系统自带的话那么找到JAVA_HOME很难,至少我试了将java命令的路径设为JAVA_HOME没有通过,which java设为JAVA_HOME也没有通过,好吧,可能是我知识不到家,我只能采用最简便粗暴的方法,将centos自带的java卸载,并且在网上下载新的jdk包。我下载的是jdk8的tar.gz包,安装java环境还是很简单的,只需要下载一个jdk包,然后将这个包的解压路径写到环境变量中java环境就算安装好了。

具体步骤如下:

  1. sudo yum remove java java........  #后边的省略号可以使用tab键来不全,我也记不得全部名称
  2. tar -zxvf jdk-8u161-linux-x64.tar.gz
  3. vim .bash_profile
  4. export JAVA_HOME=/home/hadoop/jdk1.8.0_161 
  5. export PATH=$PATH:$JAVA_HOME/bin       #在.bash_profile中添加4,5两行的内容,并保存退出
  6. source .bash_profile
  7. java

    安装好java环境之后我们再来配置ssh的免密登录,一般centos都自带了ssh,配置免密登录的步骤如下

    首先修改ssh的配置文件,让其支持免密登录,ssh的配置文件路径是/etc/ssh/sshd_config

    sudo vim /etc/ssh/sshd_config

    做如下修改(如果配置文件中没有这几项内容,就按照下图把他们加上),其中黄色框圈住的内容就是我们要写入到配置文件中的内容。

  

    修改过配置文件之后,保存并退出,在终端输入:

    ssh-keygen -t dsa 

    一路回车即可。然后进入根目录下的.ssh目录下,执行如下命令:

    cat id_dsa.pub >> authorized_keys

    chmod 600 600 ~/.ssh/authorized_keys

    chmod 700 ~.ssh

最后重启ssh服务即可,在centos7中有两种方法如下:

    service sshd restart

    or  

    systemctl restart sshd.service

    接下来我们可以试试是否成功设置了免密登录,在终端输入ssh localhost如果没有让我们输入密码,我们就设置成功,如果还是让我们输入密码,保证前边的步骤都正确的话,可能的原因就是selinux的问题。

    首先我们来确定一下SELinux安全子系统的状态,可以使用 sestatus -v命令来检测,如下图我的是已经关闭了的,他有三种状态“enforcing”,“disabled”,“permissive”


如果没有关闭进入/etc/sysconfig/selinux关闭即可,如下图所示:


    配置好ssh免密登录之后,进行用户组的设置

    groupadd Hadoop

    gpasswd -a hadoop Hadoop

    至此,我们的准备工作已经做完了,下面我们开始搭建hadoop环境了。

    首先我们下载一个hadoop的tar包,并解压到/home/hadoop目录下。下载地址:点击打开链接,我们选择2.7.5版本。

    一、环境变量的配置

  1. vim ~/.bash_profile
  2. export HADOOP_HOME=~/hadoop-2.7.5
  3. export HADOOP_CONF_DIR=~/hadoop-2.7.5/etc/hadoop
  4. export YARN_CONF_DIR=~/hadoop-2.7.5/etc/hadoop
  5. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
  6. source .bash_profile    # 保存退出之后使环境变量生效
  7. hadoop version       # 检查是否配置好了环境变量

    二、在hadoop-2.7.5文件夹下创建几个hadoop专用的文件夹

  1. mkdir -p tmp
  2. mkdir -p hdfs/data
  3. mkdir -p hdfs/name
  4. mkdir -p mapred/local
  5. mkdir -p mapred/system
  6. chown -R hadoop:Hadoop ~/hadoop-2.7.5

     三、配置hadoop

    主要是对一下几个配置文件进行配置(etc/hadoop)

  1. hadoop-env.sh
  2. yarn-env.sh
  3. core-site.xml
  4. hdfs-site.xml
  5. mapred-site.xml
  6. yarn-site.xml

    其中1-2是添加JAVA_HOME,2-6都是在 configuration中做一些配置

vim hadoop-env.sh


    vim yarn-env.sh


    vim core-site.xml,在这个配置文件中有一个坑,其中fs.default.name有的地方是fs.default.FS,我在配置的时候使用的是FS,但是最后启动的时候有异常,所以查完资料之后将FS换成了name,就正常启动了。


    vim hdfs-site.xml


    vim mapred-site.xml ,在2.7.5中没有改文件,可以复制mapred-site.xml.template


    vim yarn-site.xml


至此所有配置文件已经完成

四、启动hadoop

    格式化文件系统,本地模式不需要格式化文件系统,这是因为本地模式会启用操作系统本身的文件系统,这里格式化是指创建一个面向hadoop的分布式文件系统 —— HDFS,而不是格式化用户的额硬盘,所以不用担心

    hdfs namenode -format    #注意终端让输入Y/N的时候,请输入大写的Y

如下图中黄框中Exiting with status 0即说明格式化成功,否则请检查配置文件。


    启动hadoop

  1. start-dfs.sh
  2. start-yarn.sh
  3. mr-jobhistory-daemon.sh start historyserver
  4. jps

输入jps,如果如下图所示所有进程都起来了,说明hadoop正常启动。


启动成功之后再浏览器中输入localhost:50070来验证,如下图所示:


关闭hadoop

  1. mr-jobhistory-daemon.sh stop historyserver
  2. stop-yarn.sh
  3. stop-dfs.sh
查看评论

# 从零开始搭建Hadoop2.7.1的分布式集群

从零开始搭建Hadoop2.7.1的分布式集群Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况。尽量保...
  • zl007700
  • zl007700
  • 2016-01-17 21:49:43
  • 14378

hadoop2.x单机搭建分布式集群超详细教程

【前言】 1.个人PC机配置:戴尔,笔记本,内存8G,硬盘西数500G,CPU酷睿i5 2.由于工作中需要经常在集群上做测试,另外我一直想学习大数据,因此结合百度+同事,有了此篇教程,初学者,不足之...
  • wy_0928
  • wy_0928
  • 2017-02-12 12:38:55
  • 3974

hadoop&spark; 环境搭建教程

  • 2018年02月01日 10:23
  • 525KB
  • 下载

Hadoop集群完全分布式搭建教程-CentOS

本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建,所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。 1. 说明        本教程中电脑为8G内存,故而...
  • u012909091
  • u012909091
  • 2015-12-27 18:03:14
  • 4805

阿里云hadoop安装教程_完全分布式_Hadoop 2.7.4/CentOS 7.4

一、环境本教程中使用两台阿里云服务器,其配置为单核CPU,2G内存,操作系统为CentOS 7.4。使用JDK1.8及Hadoop2.7.4进行安装。 二、配置服务器hostname进入实例的基本信息...
  • bqw18744018044
  • bqw18744018044
  • 2018-01-19 10:47:30
  • 459

hadoop 搭建教程

  • 2016年03月02日 04:27
  • 7.22MB
  • 下载

小白自学搭建单机版的Hadoop生态圈(持续更新)

安装虚拟机VM免费版 下载这个免费的VM,用虚拟机装Linux,所以你本机的内存至少要8G,不然就很慢啦。 安装过程,复选框都可以去掉,除了选快捷方式的那一栏。注意不要装在C盘哦。 Ubuntu...
  • xuyaoqiaoyaoge
  • xuyaoqiaoyaoge
  • 2016-12-11 17:04:41
  • 1289

Spark分布式搭建(4)——ubuntu下Hadoop分布式搭建

0.前言我要搭建的集群是一台Master和3台Worker。先按照前面博客内容配置好。 Spark伪分布式搭建(1)——ubuntu14.04 设置root自动登入 http://blog.cs...
  • xummgg
  • xummgg
  • 2016-02-06 23:20:23
  • 1338

Eclipse下搭建Hadoop2.7.3开发环境

  • 2016年10月26日 19:42
  • 32.17MB
  • 下载

hadoop完全分布式集群搭建(Ubuntu14.04+Hadoop2.5.1)(自测成功)

一、准备工作1、所需软件:http://pan.baidu.com/disk/home#from=share_pan_logo&path=%252Fhadoop 虚拟机 vmware wo...
  • u012859691
  • u012859691
  • 2015-03-10 20:03:25
  • 1522
    个人资料
    等级:
    访问量: 572
    积分: 63
    排名: 162万+
    文章存档
    最新评论