大数据准备——安装hadoop(下)

上一篇博客地址：https://blog.csdn.net/IPOmonkey/article/details/82802190

8.修改core-site.xml

vim core-site.xml

在<configuration></configuration>标签中添加如下代码

<configuration></configuration>标签中添加如下代码
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop01:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/software/hadoop-2.7.1/tmp</value>
	</property>
</configuration>
<!--第一个property参数用来指定hdfs的老大，namenode的地址-->
<!--第二个property参数用来指定hadoop运行时产生文件的存放目录-->

9.修改hdfs-site.xml

vim hdfs-site.xml

在<configuration></configuration>标签中添加如下代码

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>
<!--第一个property参数指定hdfs保存数据副本的数量，包括自己，默认值是3。如果是伪分布模式，此值是1 -->
<!--第二个property参数设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件 -->

10.修改mapred-site.xml

> cp mapred-site.xml.template mapred-site.xml	
# 拷贝模板文件并重命名
> vim mapred-site.xml	

在<configuration></configuration>标签中添加如下代码

<configuration></configuration>标签中添加如下代码
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
<!--property参数指定mapreduce运行在yarn上 -->
<!--yarn是Hadoop的资源协调工具。 -->

11.修改yarn-site.xml

vim yarn-site.xml	

在<configuration></configuration>标签中添加如下代码

<configuration>
	<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
<!--第一个property参数用来指定yarn的老大resoucemanager的地址 -->
<!--第二个property参数用来指定NodeManager获取数据的方式 -->

12.配置slaves文件

vim slaves

写入hadoop01

13.配置hadoop的环境变量

> vim /etc/profile

修改配置文件，使hadoop命令可以在任何目录下执行，下面是修改后的代码。

JAVA_HOME=/home/software/jdk1.8.0_111 HADOOP_HOME=/home/software/hadoop-2.7.1 JAVA_BIN=/home/software/jdk1.8.0_111/bin PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME

加粗的地方都是需要修改的地方，注意PATH多个参数值之间用冒号隔开，所有的参数都在$PATH之前

> source /etc/profile
# 使配置文件生效

14.格式化namenode

hadoop namenode -format

中间如果提示是否需要重新格式化，则根据自己的需求输入即可。

如果出现successfully formatted，则表示格式化成功。

15.启动分布式文件系统

> cd /home/software
> cd hadoop-2.7.1/
> cd sbin

进入Hadoop安装目录下的sbin目录，执行：sh start-dfs.sh

如果要停止,执行sh stop-dfs.sh

之后执行jps，如果出现下图则表示执行成功

16. HDFS控制台页面

通过浏览器访问，访问地址是(虚拟机的ip) ip:50070来查看hdfs系统