Hadoop windows版安装和集群

安装

安装jdk：操作。jdk安装目录不能有空格
下载： hadoop-2.8.5.tar.gz
下载： winutils-master.zip。Hadoop在windows下运行工具
解压hadoop-2.8.5.tar.gz到D:\hadoop-2.8.5
将winutils-master.zip中hadoop-2.8.3下文件直接覆盖到D:\hadoop-2.8.5

配置

在路径D:\hadoop-2.8.5\etc\hadoop下修改文件
①core.site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.0.0.77:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name><!--临时文件夹 -->
        <value>file:/hadoop/tmp</value>
    </property>
    <!--单机下面不用配置 -->
    <property>
        <name>fs.checkpoint.period</name><!--检查时间，同步时间 -->
        <value>60</value>
    </property>
    <property>
        <name>fs.checkpoint.size</name><!--检查大小，同步大小 -->
        <value>67108864</value>
    </property>
</configuration>

②hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name><!--副本个数，不超过节点数量 -->
        <value>2</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
    <property>
        <name>dfs.permissions</name><!--访问权限 -->
        <value>false</value>
    </property>
    <property>
		<name>dfs.datanode.du.reserved</name>
		<!-- reserved space in bytes -->
		<value>1000000000</value>
		<description>预留磁盘的空间大小</description>
	</property>
    <!--单机下面不用配置 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name><!--检查点节点， -->
        <value>192.0.0.77:50090</value>
    </property>
</configuration>

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
     <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name><!--集群状态地址，默认端口8088 -->
        <value>192.0.0.77:8077</value>
    </property>
</configuration>

⑤hadoop-env.cmd
设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错！)
set JAVA_HOME=C:\Java\jdk1.8.0_05
⑥集群ip配置
新建slaves文件，把全部节点ip以换行的形式列出来，类似于白名单

#此步骤只在主节点执行
进入D:\hadoop-2.8.5\bin目录，格式化hdfs
在cmd中运行命令 hdfs namenode -format

进入D:\hadoop-2.8.5\sbin目录
start-dfs.cmd文件最上面添加 cd D:\hadoop-2.8.5\bin
在cmd中运行命令start-all.cmd

http://localhost:8077查看集群状态
http://localhost:50070查看Hadoop状态

linux配置

遇到Permission denied (publickey,password)如下处理：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/