hadoop单点分布式部署

准备：CentOS （包含JDK）

1、下载需要的hadoop安装包

2、修改hostname：

命令： hostname 新hostname（方便看）

3、设置hosts

本机ip hadoop0

4、解压hadoop安装包，配置环境变量

5、修改配置文件，位置etc/hadoop

5.1、hadoop-env.sh

配置JAVA_HOMEexport JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65
5.2、core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/whh/hadoopDir</value>
                <description>hadoop运行文件</description>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoop0:9000</value>
                <description>HDFS访问路径</description>
        </property>
</configuration>

5.3、hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
                <description>保存副本数</description>
        </property>
</configuration>

5.4、cp mapred-site.xml.template mapred-site.xml

5.5、mapred-site.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>yarn</value>
        </property>
</configuration>

6、配置本地ssh，免密码登陆

ssh-keygen -t rsa -P ''

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorzied_keys

chmod 600 authorzied_keys

7、启动hadoop
7.1、新建hadoophdfs文件所在位置

mkdir hadoopDir

7.2、格式化

hadoop namenode -format

7.3、启动hadoop

sbin/start-all.sh(一次性都启动)

分别启动

启动hdfs

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

启动yarn

sbin/start-yarn.sh

启动historyserver

mr-jobhistory-daemon.sh start historyserver