windows下安装hadoop

windows下安装hadoop主要用于开发测试用

1、安装cygwin

2、把hadoop-2.9.2.tar.gz拷贝到$HOME下，这个位置在

$ echo $HOME
/home/Administrator

3、创建文件夹

mkdir  /HOME/ hadoopstandalone

4、解压缩

tar -zxf /HOME/hadoop-2.9.2.tar.gz  -C /HOME/hadoopstandalone/

5、配置java，这里就是你windows安装的jdk

$ echo ${JAVA_HOME}
C:\Program Files (x86)\Java\jdk1.8.0_192
 

6、修改etc下配置文件

可参考

修改core-site.xml，配置内容如下

1 2 3 4 5 6 7 8 9 10 11 12

<configuration>     <!-- 指定HDFS老大（namenode）的通信地址 --> <property>     <name>fs.defaultFS</name>     <value>hdfs://locahost:9000</value> </property>     <!-- 指定hadoop运行时产生文件的存储路径 --> <property>         <name>hadoop.tmp.dir</name>         <value>/cloud/hadoop/tmp</value> </property> </configuration>

 

修改hdfs-site.xml，修改配置如下

1 2 3 4 5

<!-- 设置hdfs副本数量 --> <property>     <name>dfs.replication</name>     <value>1</value> </property>

 

修改mapred-site.xml 由于在配置文件目录下没有，需要修改名称：mv mapred-site.xml.template mapred-site.xml

<configuration>
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

修改yarn-site.xml，修改内容如下

1 2 3 4 5 6 7 8 9 10 11

<configuration> <!-- reducer取数据的方式是mapreduce_shuffle --> <property>     <name>yarn.nodemanager.aux-services</name>     <value>mapreduce_shuffle</value> </property> <property>     <name>yarn.resourcemanager.hostname</name>     <value>localhost</value> </property> </configuration>

 

7、配置环境变量

$ export HADOOP_HOME=/HOME/hadoopstandalone/hadoop-2.9.2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

8、启动hadoop

格式化hadoop     

hdfs namenode -format先启动HDFS
sbin/start-dfs.sh

这个时候报错缺winutils.exe

下载到hadoop的bin文件夹下,
因为版本似乎有点不一样，我在覆盖的时候选择了跳过

然后出现了：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 错误

执行：

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

再启动YARN
sbin/start-yarn.sh

验证是否成功，使用命令：jps，输出如下即表示配置成功。

1 2 3 4 5 6 7

12272 Jps 4135 JobTracker 9500 SecondaryNameNode 9943 NodeManager 9664 ResourceManager 8898 NameNode 9174 DataNode

可以在浏览器中查看hdfs和mr的状态.hdfs管理界面：http://localhost:50070  MR的管理界面：http://localhost:8088 

9、