CentOS7搭建hadoop2.7伪分布式

原创 2018年04月13日 16:06:25

 

 

一、下载hadoop

前往镜像地址下载

http://mirror.bit.edu.cn/apache/hadoop/common/

这里我选择下载2.7.5版本,下载编译过后的版本

Hadoop-2.7.5.tar.gz

二、下载完成后将安装包上传到系统目录中,我默认使用/opt/data/存放所有安装包

修改虚拟机hosts

使用命令vi /etc/hosts

添加映射

192.168.249.128 iflytek01

这里之所以添加映射,是为了配置环境以及集群修改环境方便

 

使用命令解压安装包

Tar –xzvf ‘压缩文件路径’ –C ‘需要存放的目录’

跳转到解压后的目录 这里使用/opt/app/存放解压后文件

打开/opt/apps/

配置hadoop环境变量

Cd 进入hadoop目录

Pwd查看hadoop的安装路径,这里安装路径就是/opt/apps/hadoop-2.7.5

 

复制该路径,使用命令打开 vi/etc/profile

在下方添加

HADOOP_HOME=/opt/apps/hadoop-2.7.5

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

环境变量配置完成

使用source /etc/profile刷新配置文件

 

Cd 进入/opt/apps/hadoop-2.7.5/etc/hadoop/目录下,可以看到配置文件,配置环境属性

首先我们打开hadoop-env.sh

Vim Hadoop-env.sh

 

         添加自己的java安装路径

修改core-site.xml

Vim core-site.xml或者通过其他工具修改

<configuration>

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://iflytek01:8020</value>

    </property>

         <property>

       <name>hadoop.tmp.dir</name>

        <value>/opt/apps/hadoop-2.7.5/data/tmp</value>

    </property>

         <property>

       <name>fs.trash.interval</name>

       <value>420</value>

    </property>

</configuration>

 

修改hdfs-site.xml

<configuration>

    <property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>iflytek01:50090</value>

    </property>

</configuration>

 

修改mapred-site.xml

<configuration>

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

    </property>

         <property>

        <name>mapreduce.jobhistory.address</name>

       <value>iflytek01:10020</value>

    </property>

         <property>

       <name>mapreduce.jobhistory.webapp.address</name>

        <value>iflytek01:19888</value>

    </property>

</configuration>

 

修改slaves

Iflytek01

 

修改yarn-site.xml

<configuration>

    <property>

       <name>yarn.resourcemanager.hostname</name>

       <value>iflytek01</value>

    </property>

         <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

    </property>

    <property>

       <name>yarn.log-aggregation-enable</name>

       <value>true</value>

    </property>

         <property>

       <name>yarn.log-aggregation.retain-seconds</name>

       <value>420</value>

    </property>

</configuration>

 

配置完成

接下来

配置免密码登陆

进入/root/.ssh

如果没有运行下方命令就有了

使用命令ssh-keygen

回车之后在/root/.ssh下会生成两个文件,

然后使用命令  ssh-copy-id ‘本机ip’ 输入密码免密码配置完成

这里我出现了错误

SSH 登录时出现如下错误:Permissiondenied, please try again

执行以下操作

Vi /etc/ssh/sshd_config

找到         PermitRootLogin

将后面设置为yes

service sshdrestart

然后重启服务

 

关闭防火墙(这是centos7的命令)

systemctl stopfirewalld.service 关闭防火墙

开始格式化 输入命令

hadoop namenode –format

格式化后start-all.sh      启动

 

 

 


关于用VC,VB进行图像数据(二进制大对象)存储数据库的一点心得

       网上经常有人问如何把图像存入数据库中,原先我也是不得要领。经过多方指点和自己在开发过程中的摸索,终于解决这一问题。       下面给出用VC,VB如何操作图像文件存取数据库的原码,帮助...
  • bluestar
  • bluestar
  • 2001-05-05 16:05:00
  • 904

Hadoop2.7+Centos7伪分布式环境步骤记录

思路:准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。第一步 安装虚拟机与Linux系统 (1)...
  • hou610433155
  • hou610433155
  • 2016-08-03 09:07:53
  • 1873

centos7环境下hadoop-2.7.3伪分布式搭建

centos7环境下hadoop-2.7.3伪分布式搭建1、 修改主机名称###永久生效 hostnamectl set-hostname hadoop012、下载解压将下载的hadoop-2.7.3...
  • tszxlzc
  • tszxlzc
  • 2017-03-12 20:41:19
  • 1091

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN。详细步骤如下:...
  • dream_an
  • dream_an
  • 2016-04-03 09:08:31
  • 6838

windows+vmware+centos7+hadoop2.7搭建伪分布式集群

折腾了几天,终于把伪分布式的Hadoop搭建起来了。对于没什么linux基础的我来说,这中间遇到的问题有时真能把我搞崩溃。皇天不负苦心人,总算是搭好了,wordcount也成功跑起来了。 首先说明,...
  • fxdaniel
  • fxdaniel
  • 2015-09-21 18:23:55
  • 3117

CENTOS7搭建伪分布式HADOOP2.7.3

一、下载安装JDK1.8.1 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ...
  • u010864748
  • u010864748
  • 2017-04-12 14:04:49
  • 763

hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装

1. 第一步        上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/home/hadoop/ 2.  第二步 配置hadoop hadoop-2.7....
  • hongchenlingtian
  • hongchenlingtian
  • 2016-11-17 20:08:40
  • 2875

Hadoop安装教程_伪分布式配置_CentOS7.x/Hadoop2.7.3

我只提醒下,这里的坑。ssh登录时,切记用hadoop帐号登录,否则格式化的所有权不是hadoop,那么无法启动。 本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于...
  • a5601564
  • a5601564
  • 2016-11-01 16:28:03
  • 4252

Hadoop 2.7.1 + HBase 1.1.2伪分布式环境搭建小记

时隔一年多,还来重新弄弄Hadoop,因为工作当中涉及到相关的Hadoop平台及相关技术。。今天先整了Hadoop和HBase,后面找时间再将其他整合进来.     本文也是借鉴了不少帖子,主要是@d...
  • chendongyi
  • chendongyi
  • 2015-10-06 22:37:29
  • 1264

Mac下hadoop2.7 伪分布式安装

一。MAC OS下的JDK安装及其路径 1、首先安装jdk,直接百度或者Google搜索就有MAC版本的jdk,本实验环境是jdk1.8.0_66.jdk,Hadoop的安装也必须在jdk 1.6版...
  • u013475704
  • u013475704
  • 2017-02-09 10:58:43
  • 1134
收藏助手
不良信息举报
您举报文章:CentOS7搭建hadoop2.7伪分布式
举报原因:
原因补充:

(最多只允许输入30个字)