Hadoop准备

伪分布式模式的安装和配置步骤：

下载解压Hadoop

配置：

hadoop-env.sh中的JAVA_HOME：当前系统JDK安装目录如：E:\JAVA\JDK\jdk7
core-site.xml：
<property>
	<name>fs.default.name</name>#(NameNode的IP地址和端口)
	<value>hdfs://localhost:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>#(指定Hadoop运行时产生文件的存放目录)
	<value>/hadoop/tmp</value>
</property>
hdfs-site.xml：
<property>
	<name>dfs.data.dir</name>#(数据节点里的数据存放位置)
	<value>/hadoop/data</value>
</property>
<property>
	<name>dfs.replication</name>#数据块复制多少份
	<value>1</value>
</property>
mapred-site.xml(mapred-site.xml在2.0名字变成mapred-site.xml.template
<property>(1.0配置)
	<name>mapred.job.tracker</name>#(作业跟踪器的位置)
	<value>loaclhost:9001</value>
</property>
<property>(2.0配置)<name>mapreduce.framework.name</name>(告诉hadoop以后mr运行在year上)<value>yarn</value></property>
yarn-site.xml(2.0才有)：
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
</property>
</span>

管理界面：

hdfs       http://ip:50070

yarn      http://ip:8088

生成SSH密钥，使到SSH可以免密码连接localhost：

第一条命令：ssh-keygen -t rsa会生成两个密钥一个public一个Private

 命令提交后会提示存放位置，上面是默认

第二条命令：进入隐藏目录.ssh

第三条命令：查看.ssh内容

 id_rsa.pub是公钥，di_rsa是私钥

第四条命令：将公钥复制到.ssh/authorized_keys如何提示覆盖，将可以进行免密码连接

 上图中命令敲错，应该是cp id_rsa.pub authorized_keys。上面的将rsa敲成dsa

cat id_rsa.pub >>authorized_keys如果没有authorized_key文件，需要这个命令

格式化HDFS：

bin/hadoop namenode -format(过时)

hdfs namenode -format(新)

使用bin/start-all.sh启动Hadoop

HADOOP_HOME/bin/hadoop dfs -ls命令可查看是否启动成功

使用bin/stop-all.sh关闭Hadoop