hadoop搭建教程

    最近准备学习一些大数据的入门知识,当然是从搭建环境开始了,下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。

    搭建前的准备:

    centos7环境

    jdk环境

    ssh免密登录

    用户组

    准备好以上几步之后就可以搭建hadoop了。

    安装centos的步骤就不在这里赘述了。

    jdk环境如果centos操作系统自带的话那么找到JAVA_HOME很难,至少我试了将java命令的路径设为JAVA_HOME没有通过,which java设为JAVA_HOME也没有通过,好吧,可能是我知识不到家,我只能采用最简便粗暴的方法,将centos自带的java卸载,并且在网上下载新的jdk包。我下载的是jdk8的tar.gz包,安装java环境还是很简单的,只需要下载一个jdk包,然后将这个包的解压路径写到环境变量中java环境就算安装好了。

具体步骤如下:

  1. sudo yum remove java java........  #后边的省略号可以使用tab键来不全,我也记不得全部名称
  2. tar -zxvf jdk-8u161-linux-x64.tar.gz
  3. vim .bash_profile
  4. export JAVA_HOME=/home/hadoop/jdk1.8.0_161 
  5. export PATH=$PATH:$JAVA_HOME/bin       #在.bash_profile中添加4,5两行的内容,并保存退出
  6. source .bash_profile
  7. java

    安装好java环境之后我们再来配置ssh的免密登录,一般centos都自带了ssh,配置免密登录的步骤如下

    首先修改ssh的配置文件,让其支持免密登录,ssh的配置文件路径是/etc/ssh/sshd_config

    sudo vim /etc/ssh/sshd_config

    做如下修改(如果配置文件中没有这几项内容,就按照下图把他们加上),其中黄色框圈住的内容就是我们要写入到配置文件中的内容。

  

    修改过配置文件之后,保存并退出,在终端输入:

    ssh-keygen -t dsa 

    一路回车即可。然后进入根目录下的.ssh目录下,执行如下命令:

    cat id_dsa.pub >> authorized_keys

    chmod 600 600 ~/.ssh/authorized_keys

    chmod 700 ~.ssh

最后重启ssh服务即可,在centos7中有两种方法如下:

    service sshd restart

    or  

    systemctl restart sshd.service

    接下来我们可以试试是否成功设置了免密登录,在终端输入ssh localhost如果没有让我们输入密码,我们就设置成功,如果还是让我们输入密码,保证前边的步骤都正确的话,可能的原因就是selinux的问题。

    首先我们来确定一下SELinux安全子系统的状态,可以使用 sestatus -v命令来检测,如下图我的是已经关闭了的,他有三种状态“enforcing”,“disabled”,“permissive”


如果没有关闭进入/etc/sysconfig/selinux关闭即可,如下图所示:


    配置好ssh免密登录之后,进行用户组的设置

    groupadd Hadoop

    gpasswd -a hadoop Hadoop

    至此,我们的准备工作已经做完了,下面我们开始搭建hadoop环境了。

    首先我们下载一个hadoop的tar包,并解压到/home/hadoop目录下。下载地址:点击打开链接,我们选择2.7.5版本。

    一、环境变量的配置

  1. vim ~/.bash_profile
  2. export HADOOP_HOME=~/hadoop-2.7.5
  3. export HADOOP_CONF_DIR=~/hadoop-2.7.5/etc/hadoop
  4. export YARN_CONF_DIR=~/hadoop-2.7.5/etc/hadoop
  5. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
  6. source .bash_profile    # 保存退出之后使环境变量生效
  7. hadoop version       # 检查是否配置好了环境变量

    二、在hadoop-2.7.5文件夹下创建几个hadoop专用的文件夹

  1. mkdir -p tmp
  2. mkdir -p hdfs/data
  3. mkdir -p hdfs/name
  4. mkdir -p mapred/local
  5. mkdir -p mapred/system
  6. chown -R hadoop:Hadoop ~/hadoop-2.7.5

     三、配置hadoop

    主要是对一下几个配置文件进行配置(etc/hadoop)

  1. hadoop-env.sh
  2. yarn-env.sh
  3. core-site.xml
  4. hdfs-site.xml
  5. mapred-site.xml
  6. yarn-site.xml

    其中1-2是添加JAVA_HOME,2-6都是在 configuration中做一些配置

vim hadoop-env.sh


    vim yarn-env.sh


    vim core-site.xml,在这个配置文件中有一个坑,其中fs.default.name有的地方是fs.default.FS,我在配置的时候使用的是FS,但是最后启动的时候有异常,所以查完资料之后将FS换成了name,就正常启动了。


    vim hdfs-site.xml


    vim mapred-site.xml ,在2.7.5中没有改文件,可以复制mapred-site.xml.template


    vim yarn-site.xml


至此所有配置文件已经完成

四、启动hadoop

    格式化文件系统,本地模式不需要格式化文件系统,这是因为本地模式会启用操作系统本身的文件系统,这里格式化是指创建一个面向hadoop的分布式文件系统 —— HDFS,而不是格式化用户的额硬盘,所以不用担心

    hdfs namenode -format    #注意终端让输入Y/N的时候,请输入大写的Y

如下图中黄框中Exiting with status 0即说明格式化成功,否则请检查配置文件。


    启动hadoop

  1. start-dfs.sh
  2. start-yarn.sh
  3. mr-jobhistory-daemon.sh start historyserver
  4. jps

输入jps,如果如下图所示所有进程都起来了,说明hadoop正常启动。


启动成功之后再浏览器中输入localhost:50070来验证,如下图所示:


关闭hadoop

  1. mr-jobhistory-daemon.sh stop historyserver
  2. stop-yarn.sh
  3. stop-dfs.sh
如果想IP访问,就把配置中的localhost换成IP,并且关闭防火墙,关闭防火墙,关闭防火墙
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Li_and_Li/article/details/79947096
文章标签: hadoop ssh jdk 大数据
个人分类: 大数据学习
上一篇ubuntu安装Torch7教程
下一篇eclipse添加hadoop插件
想对作者说点什么? 我来说一句

hadoop 搭建教程

2016年03月02日 7.22MB 下载

没有更多推荐了,返回首页

关闭
关闭