Hadoop2安装——单机模式

最新推荐文章于 2024-05-05 09:41:45 发布

weixin_33828101

最新推荐文章于 2024-05-05 09:41:45 发布

阅读量59

点赞数

文章标签：大数据 java

原文链接：https://my.oschina.net/mynote/blog/93340

版权

Hadoop有三种模式单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha

安装前确定java安装略

一、拷贝到/usr/local 解压 hadoop

cp hadoop-2.0.2-alpha.tar.gz /usr/local
cd /usr/local
tar -zxvf hadoop-2.0.2-alpha.tar.gz

目录结构和配置文件这里就省略（）

二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下，由于默认情况下是单机模式，一般不用做修改就可以直接做第三步测试实例，下面只是安装实际情况修改。

1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过，就可用使用默认的，不需修改

export JAVA_HOME=/opt/java

/opt/java 也就是jdk安装的路径

2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m，当运行hadoop的一些自带的实例会报内存溢出，其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

三、运行实例 Hello Hadoop

切换到该安装目录下，建立要上传到hadoop的两个文件 test1.txt、test2.txt

mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..

运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

查看结果

$cat output/*

hadoop 1
hello 2
world 1

OK，Hadoop单机模式就OK了

转载于:https://my.oschina.net/mynote/blog/93340

关注