hadoop学习(一)配置单节点hadoop环境

原创 2016年06月01日 00:01:04
想要搞大数据,那么hadoop是必不可少的知识,拖了很久,终于下定决心学习大数据相关的东西,那么今天就从hadoop开始。
我的环境:Linux CentOS6.5/x-shell5/jdk1.8/hadoop-2.7.2

第一步:(不要忘记装jdk,hadoop是java写的,所以必须要装jdk,否则不能运行)
下载hadoop,网址:http://apache.fayea.com/hadoop/common/hadoop-2.7.2/
我这里选择的是hadoop-2.7.2.tar.gz,这个是最大的一个包,里面应该是比较全的东西,第一个是源码,这里暂且不管它。

第二步:安装
使用pscp将下载的hadoop包上传至linux服务器,我这里是使用的局域网上传,模拟远程服务器,至于pscp是什么,度娘去找
我喜欢将软件安装在/usr/local/目录下,这里新建了一个目录programs

上传完成之后,运行命令tar -zxvf hadoop-2.7.2.tar.gz将hadoop安装包解压缩到当前目录会出现hadoop-2.7.2目录(上图蓝色部分左一)


第三步:配置hadoop
我这里电脑有限,就不配置集群了,按照官方文档来,先配置一个单节点hadoop,单节点的hadoop不影响MapReduce和HDFS(Hadoop Distributed File System)等的使用

切到hadoop-2.7.2目录执行vi etc/hadoop/hadoop-env.sh这里需要配置一下JAVA_HOME如果安装好jdk的童鞋请自觉配置JAVA_HOME否则就要在这里指定java的路径,我在安装jdk的时候已经配置过JAVA_HOME这里就不做配置了
上图上面蓝色框内写的很清楚,唯一必须的环境变量就是JAVA_HOME其他的都是可选的。如果你的jdk没配置JAVA_HOME这里直接把${JAVA_HOME}改成你的jdk路径就行了,比如我的/usr/local/programs/jdk1.8.0_91
配置完了之后直接esc然后英文半角冒号,输入w确认键保存,然后冒号q!确认键退出vim即可。

配置完成之后,在命令行运行bin目录下的hadoop命令,你会看到一些hadoop脚本的文档提示


至此,单节点hadoop配置完成!

接下来就是hadoop的三种集成方式了:
Local (Standalone) Mode(单机模式)
Pseudo-Distributed Mode(伪分布式模式)Fully-Distributed Mode(完全分布式模式)

时间有限,下次有机会继续介绍这三种模式。
















版权声明:本文为博主原创文章,未经博主允许不得转载。

Ubuntu下配置单节点伪分布式hadoop

单节点伪分布式Hadoop配置 首先申明,这里的配置方法也是我在网上找来的,并不完全时我个人经验的总结,这也是我看到的最简单和直接的配置方式,我虽然按照上面的配置闭关没有得到我想要的结果...

Mac配置单节点Spark环境

Last login: Thu Apr 28 16:15:47 from ::1 1、下载spark并解压到指定路径下 spirit:opt spirit$ cd /opt spirit:opt...

hadoop的单节点安装与配置

  • 2016年09月27日 15:22
  • 419KB
  • 下载

Ubuntu下安装及配置单点hadoop

环境:Ubuntu10.10,Hadoop 0.21.0首先准备工作: 1,我是在deskTop版本的Ubuntu下安装的所以,需要先安装ssh server。这个很好找,直接到到新立得里搜索ssh...
  • yuyin86
  • yuyin86
  • 2012年02月21日 14:49
  • 840

ORACLE 11G双节点RAC配置单实例DG

一、环境 database db_unique_name net service name SID os version DB version primary jgsb jg...
  • orabing
  • orabing
  • 2017年02月14日 17:10
  • 570

Hadoop单节点环境搭建

下面介绍怎么在linux系统上设置和配置一个单节点的Hadoop,让你可以使用Hadoop的MapReduce和HDFS(Hadoop Distributed File System)做一些简单的操作...

Centos 6.5 下Hadoop 1.2.1单节点环境的创建

安装以及配置Java JDK安装 #chmod 777 jre-6u31-linux-x64-rpm.bin #./jre-6u31-linux-x64-rpm.bin ...

ubuntu 13.04 搭建Hadoop环境 (单节点)

一、在ubuntu下创建hadoop用户组和用户 1、创建hadoop用户组: sudo addgroup hadoop 2、创建hadoop用户: sudo adduser -ingroup...

Mac下的hadoop环境搭建(单节点)

一.安装Java 1.下载以及安装 官网下载jdk,我下载的是1.8.0_45 网址:http://www.oracle.com/technetwork/java/javase/downlo...

RedHat7.2安装和配置单节点或多节点kubernetes

一、环境创建三台操作系统为RedHat7.2的虚拟机,其中一台用于master主机,另两台作为node。由于Redhat是商业系统,需注册才可用yum进行软件安装,但是我们可以通过修改yum为Cent...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop学习(一)配置单节点hadoop环境
举报原因:
原因补充:

(最多只允许输入30个字)