安装
安装jdk:操作。jdk安装目录不能有空格
下载: hadoop-2.8.5.tar.gz
下载: winutils-master.zip。Hadoop在windows下运行工具
解压hadoop-2.8.5.tar.gz到D:\hadoop-2.8.5
将winutils-master.zip中hadoop-2.8.3下文件直接覆盖到D:\hadoop-2.8.5
配置
在路径D:\hadoop-2.8.5\etc\hadoop下修改文件
①core.site.xml(配置默认hdfs的访问端口)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.0.0.77:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name><!--临时文件夹 -->
<value>file:/hadoop/tmp</value>
</property>
<!--单机下面不用配置 -->
<property>
<name>fs.checkpoint.period</name><!--检查时间,同步时间 -->
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name><!--检查大小,同步大小 -->
<value>67108864</value>
</property>
</configuration>
②hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name><!--副本个数,不超过节点数量 -->
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
<property>
<name>dfs.permissions</name><!--访问权限 -->
<value>false</value>
</property>
<property>
<name>dfs.datanode.du.reserved</name>
<!-- reserved space in bytes -->
<value>1000000000</value>
<description>预留磁盘的空间大小</description>
</property>
<!--单机下面不用配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name><!--检查点节点, -->
<value>192.0.0.77:50090</value>
</property>
</configuration>
③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容(设置mr使用的框架,这里使用yarn)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
④yarn-site.xml(这里yarn设置使用了mr混洗)
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name><!--集群状态地址,默认端口8088 -->
<value>192.0.0.77:8077</value>
</property>
</configuration>
⑤hadoop-env.cmd
设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错!)
set JAVA_HOME=C:\Java\jdk1.8.0_05
⑥集群ip配置
新建slaves文件,把全部节点ip以换行的形式列出来,类似于白名单
#此步骤只在主节点执行
进入D:\hadoop-2.8.5\bin目录,格式化hdfs
在cmd中运行命令 hdfs namenode -format
进入D:\hadoop-2.8.5\sbin目录
start-dfs.cmd文件最上面添加 cd D:\hadoop-2.8.5\bin
在cmd中运行命令start-all.cmd
http://localhost:8077查看集群状态
http://localhost:50070查看Hadoop状态
linux配置
遇到Permission denied (publickey,password)
如下处理:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/