Hadoop（二）——hadoop伪分布式配置及启动（CentOS7.x_64+jdk8_64+hadoop2.4.0_64)

一、安装jdk8与hadoop（hadoop的源码编译网上有很多做参考，具体操作请查看网上案例）

• 备注：本次演示是以编译好的hadoop2.4.0的linux64位操作系统为例(网上下载)

1. 以root用户进入虚拟机；
2. 安装jdk8及减压hadoop2.4.0
3. source /etc/profile
4. 查看jdk与hadoop版本

二、配置hadoop的伪分布式

1. 创建数据存储位置
   
2. 配置hadoop-env.sh
   
3. 配置core-site.xml配置namenode和datanode

<configuration>
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-ip-100:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/tools/hadoop-2.4.0/data/tmp</value>
    </property>
</configuration>

4. 配置hdfs-site.xml配置数据数据备份节点数及SecondaryNameNode

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop-ip-100:50090</value>
	</property>
</configuration>

将上述所有的hadoop-port-100修改为 hadoop-ip-100(2019-6-21)

三、配置mapred-env.sh与mapred-site.xml

1. 配置mapred-env.sh
   
2. 配置mapred-site.xml

<configuration>
	<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

四、配置yarn-env.sh与yarn-site.xml

1. 配置mapred-env.sh
   
2. 配置mapred-site.xml

<configuration>
	<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop-ip-100</value>
	</property>
</configuration>

五、hadoop的启动

1. 格式化文件系统 :hdfs namenode -format
2. 启动所有hadoop相关进程：start-all.sh或者分别启动start-dfs.sh,start-yarn.sh
   
3. 浏览器输入：192.168.0.100：50070
   
4. 输入192.168.0.100:8088/cluster
   

转载于:https://my.oschina.net/ittzg/blog/3063621