hadoop本地测试和伪分布式

Hadoop:
1.安装
官网
http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/SingleCluster.html
1.三种运行模式
1.本地模式 standalone
不需要启动任何服务，直接使用命令去运行任务
2.伪分布式模式
运行规则和分布式一样，但是只运行在一个节点上

配置文件
（1）etc/hadoop/core-site.xml:
fs.defaultFS–>hdfs://hadoop1:9000
hadoop.tmp.dir --> /opt/programs/hadoop-2.6.0/data/tmp

<configuration>
    				<property>
    					<name>fs.defaultFS</name>
    					<value>hdfs://localhost:9000</value>
    				</property>
    				<property>
    					 <name>hadoop.tmp.dir</name>
    					 <value>/opt/module/hadoop-2.6.0/data/tmp</value>
    				</property>
    		</configuration>
	
	（2）etc/hadoop/hdfs-site.xml
		dfs.replication --> 1
		<configuration>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
		</configuration>

1.初始化HDFS
先创建hadoop.tmp.dir指向的文件夹
bin/hdfs namenode -format
2.启动服务
namenode：组长，hdfs的主节点
datanode：小弟，提供保存数据服务的节点
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
3.jps看一下守护进程
namenode
datanode
4.使用webUI查看服务状态
直接用浏览器访问地址
hadoop1:50070