linux hadoop 2.7 伪分布式安装简单几步实现

原创 2015年11月21日 13:17:23

本机配置

1. ubuntu 64bit

2. hadoop 2.7.1


Contents

1.安装jdk

2.安装ssh

3.安装hadoop


Steps

1.安装jdk

a)下载这个网址中跟自己操作系统相对应的jdk版本:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html   我选择的是jdk-7u79-linux-x64.tar.gz。

b)解压后移动到/opt目录下

sudo tar -zxvf jdk-7u79-linux-x64.tar.gz

mv jdk1.7.0_79 /opt

c)编辑/etc/profile配置jdk环境变量

vim /etc/profile

按i进入插入模式,在文件末尾添加

# set java jdk path
export JAVA_HOME=/opt/jdk1.7.0_79 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
export JRE_HOME=/opt/jdk1.7.0_79/jre
export PATH=$PATH:$JRE_HOME/bin
保存后,在命令行中输入source /etc/profile回车就能保存jdk的配置

d)检查jdk安装是否成功

运行javac -version查看:

couragek@couragek:~/下载$ javac -version
javac 1.7.0_79

-------------------------------------------------------------分割线---------------------------------------------------------------------------------

2.安装ssh

a)在终端中输入命令: 

sudo apt-get install ssh openssh-server

b)创建ssh-key,采用rsa方式:

ssh-keygen -t rsa -P ""

c)无密码登陆ssh:

ssh localhost

-------------------------------------------------------------分割线---------------------------------------------------------------------------------

3.安装hadoop

a)下载hadoop安装包,可直接采用命令,如下:

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

b)解压缩hadoop安装包,如下:

sudo tar -zxvf hadoop-2.7.1.tar.gz

c)配置hadoop文件夹中的配置文件,所有文件位于hadoop2.7.1/etc/hadoop下:

I) core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>
II) mapred-site.xml.template

<pre name="code" class="html"><configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:9001</value>
	</property>
</configuration>


III)
 hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>
IV) hadoop-env.sh,在该文件中添加下面一行:

export JAVA_HOME=/opt/jdk1.7.0_79

d) 运行hadoop

I) 初始化hdfs系统

在hadoop2.7.1目录下输入如下命令:

bin/hdfs namenode -format 

II) 开启namenode和datanode守护进程:

sbin/start-dfs.sh

III) 查看进程信息,采用命令jps,如下所示:

couragek@couragek:~/hadoop-2.7.1$ jps
2814 NameNode
3298 Jps
3177 SecondaryNameNode
2977 DataNode
IV) 查看web UI,在浏览器中输入网址:http://localhost:50070,如下所示:

4.参考文献

http://www.tuicool.com/articles/bmeUneM

http://www.linuxidc.com/Linux/2015-10/123983.htm

http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html


centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN。详细步骤如下:...
  • dream_an
  • dream_an
  • 2016年04月03日 09:08
  • 6333

hadoop2.7.1伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode。 Hadoop 的配置文件位于 /usr/...
  • u011630575
  • u011630575
  • 2015年07月30日 15:51
  • 915

centos7环境下hadoop-2.7.3伪分布式搭建

centos7环境下hadoop-2.7.3伪分布式搭建1、 修改主机名称###永久生效 hostnamectl set-hostname hadoop012、下载解压将下载的hadoop-2.7.3...
  • tszxlzc
  • tszxlzc
  • 2017年03月12日 20:41
  • 767

ubuntu16.04(64位)+Hadoop2.7.3伪分布式环境下部署Spark

由于Hadoop的伪分布式环境已经搭建好,下面就是部署Spark 1.去官网下载Spark。     我是下载的最新版spark-2.1.0-bin-hadoop2.7.tgz。 2.解...
  • he582754810
  • he582754810
  • 2017年01月09日 11:34
  • 235

Hadoop2.7.3的安装详细过程(伪分布式)

1.安装java 2.设置ssh免密码登入 3.安装Hadoop1.安装java:rpm -ivh jdk-8u101-linux-i586.rpm然后设置环境变量 vi /etc/profile...
  • q5390498
  • q5390498
  • 2016年10月29日 18:19
  • 1900

ubuntu 14.04 下单机安装 hadoop 2.7.2+scala 2.11.8+spark 2.0伪分布式教程

听说高大上的spark2.0版本发布啦,凑个热闹来安装一下。 本文安装方式及教程截图均基于ubuntu 14.04系统 需要下载以下4个软件: 说明:自己尝试发现手动下载这些软件的压缩包再解压...
  • u010469126
  • u010469126
  • 2016年07月29日 12:51
  • 369

Hadoop 2.7.1 + HBase 1.1.2伪分布式环境搭建小记

时隔一年多,还来重新弄弄Hadoop,因为工作当中涉及到相关的Hadoop平台及相关技术。。今天先整了Hadoop和HBase,后面找时间再将其他整合进来.     本文也是借鉴了不少帖子,主要是@d...
  • chendongyi
  • chendongyi
  • 2015年10月06日 22:37
  • 1223

Hadoop伪分布式-----Spark的安装和配置

在前面几章已经搭建好Hadoop环境,本节主要介绍在Hadoop基础上搭建Spark平台 1 下载所需安装包 1)下载spark安装包      2)下载Scala安装包,并解压安装包本例以下面版...
  • u012535605
  • u012535605
  • 2017年03月30日 20:27
  • 487

Hadoop2.7+Centos7伪分布式环境步骤记录

思路:准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。第一步 安装虚拟机与Linux系统 (1)...
  • hou610433155
  • hou610433155
  • 2016年08月03日 09:07
  • 1777

Spark1.2+Hadoop2.6伪分布式安装

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop...
  • freedomboy319
  • freedomboy319
  • 2015年02月27日 10:06
  • 1614
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:linux hadoop 2.7 伪分布式安装简单几步实现
举报原因:
原因补充:

(最多只允许输入30个字)