1.linux下安装hadoop伪分布式环境（新）

前言：
hadoop分为单机，伪分布式，完全分布式
1.单机(非分布式)模式
　　这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试

2.伪分布式运行模式
　　这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)
　　请注意分布式运行中的这几个结点的区别：

从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。
从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个TaskTracker组成，JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上，既当namenode，又当datanode,或者说 既 是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。开启多个进程模拟完全分布式，但是并没有真正提高程序执行的效率
3.完全分布式模式
　　真正的分布式，由3个及以上的实体机或者虚拟机组件的机群。

cd /opt/    tar -zxf /opt/hadoop-2.6.0-cdh5.14.2.tar.gz   
 mv /opt/hadoop-2.6.0-cdh5.14.2 /opt/soft/hadoop260

1.hadoop-env.sh (etc/hadoop/hadoop-env.sh)

export JAVA_HOME=/opt/soft/jdk180
2.core-site.xml  hadoop260/etc/hadoop/core-site.xml

<property><name>hadoop.proxyuser.root.groups</name><value>*</value></property>
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property>
<property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop260/tmp</value></property>
<property><name>fs.defaultFS</name><value>hdfs://192.168.6.150:9000</value></property>
3.hdfs-site.xml（hadoop260/etc/hadoop/hdfs-site.xml）


<property><name>dfs.permission</name><value>false</value></property>
<property><name>dfs.replication</name><value>1</value></property>

4.复制

cp /opt/soft/hadoop260/etc/hadoop/mapred-site.xml.template  /opt/soft/hadoop260/etc/hadoop/mapred-site.xml

5.mapred-site.xml（etc/hadoop/mapred-site.xml）

<property><name>mapreduce.framework.name</name><value>yarn</value></property>


6.yarn-site.xml（etc/hadoop/yarn-site.xml）

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.resourcemanager.localhost</name><value>localhost</value></property>


7./etc/profile

export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

8.#source /etc/profile

9.完成之后需要格式化namenode是将文件系统格式化为hdfs文件系统

hadoop namenode -format

10.启动Hadoop
start-all.sh