Hadoop安装---单机模式
单机模式(Standalone Mode)是指Hadoop运行在一台主机上,按默认配置以非分布式模式运行一个独立的Java进程。单机模式的特点是:没有分布式文件系统,直接在本地操作系统的文件系统读/写;不需要加载任何Hadoop的守护进程。单机模式是Hadoop的默认模式,一般用于本地MapReduce程序的调试,MapReduce处理的是本地Linux的文件数据。
下表为安装Hadoop单机模式所需要配置的文件、属性名称、属性值及含义。
文件名称 | 属性名称 | 属性值 | 含义 |
---|---|---|---|
hadoop-env.sh | JAVA_HOME | /home/用户名/jdk | JAVA_HOME |
1、安装前准备
参考
2、设置Hadoop配置文件
进入Hadoop配置文件所在目录,修改hadoop-env.sh文件。
$ cd ~/hadoop/etc/hadoop
$ vi hadoop-env.sh
找到export JAVA_HOME一行,把行首的#去掉,并按实际修改JAVA_HOME的值。注意:JAVA_HOME=/home/hadoop/jdk,其中的hadoop为用户名,注意要按实际修改。
3、测试Hadoop
创建文件并输入文件内容,
$ mkdir ~/input
$ cd ~/input
$ vi data.txt
往data.txt写入如下内容,
Hello World
Hello Hadoop
运行MapReduce WordCount例子(注意:output不用自己建,系统会自动新建),
$ cd ~/hadoop/share/hadoop/mapreduce
$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt ~/output
查看结果。
$ cd ~/output
$ ll
$ cat part-r-00000