首先下载hadoop,具体地址为:http://archive.apache.org/dist/hadoop/core/,我下载的是hadoop-2.8.3.tar.gz
由于hadoop天生为linux开发的,所以官方包并不支持完美支持在windows上运行,还需下载 winutils来让hadoop正常运行。具体地址为:https://gitee.com/hailei_yan/winutils
将两个包都下载后解压到同一文件夹如下图所示:
再将 winutils\hadoop-2.8.3\bin里的文件 复制到 hadoop-2.8.3\bin目录下
再配置 hadoop环境变量以及JDK环境变量并将它们的bin目录添加到path里
接着在hadoop-2.8.3目录下创建 data/datanode、data/namenode、tmp文件夹
编辑etc\hadoop\core-site.xml文件,设置临时文件夹目录以及dfs的uri,具体如下:
编辑etc\hadoop\hadoop-env.cmd文件,设置jdk的目录:
编辑etc\hadoop\hdfs-site.xml文件,设置副本数以及元数据和数据的存放目录,具体如下:
用管理员身份启动cmd:hdfs namenode -format
运行完后启动dfs,到hadhood的sbin目录下运行命令:start-dfs
运行命令行后会弹出两个窗口,namenode和datanode:
不报错说明hadoop的dfs启动成功,可以上传下载文件了。可以先在hadoop的文件系统里先创建file文件夹,再上传图片,具体如下:
hadoop fs -mkdir /file
hadoop dfs -put /E:/test/01.jpg /file
接着访问:http://127.0.0.1:50070/explorer.html#/file,即可看到页面上传的文件了