node08中安装伪分布式HDFS

最新推荐文章于 2024-07-20 18:08:06 发布

十指演绎悲伤

最新推荐文章于 2024-07-20 18:08:06 发布

阅读量78

点赞数

分类专栏：集群安装文章标签： hdfs 分布式 hadoop java

本文链接：https://blog.csdn.net/weixin_40118888/article/details/125381372

版权

集群安装专栏收录该内容

11 篇文章 0 订阅

订阅专栏

node08中安装伪分布式HDFS

node08中安装伪分布式HDFS（namenode datanode  SecondaryNameNode 都在同一个节点）
搭建主机：node08
环境要求：
一：操作系统环境：hosts,hostname，jdk，免密钥，时间设置
二：hadoop部署

在node08中安装hdfs伪分布式的配置步骤：
【1】时间设置
	命令：date  -s "2018-3-24 15:10:00"
【2】ssh localhost本机免密钥
	命令：cd
	命令：ls -l -a	（显示隐藏文件）
	命令：cd .ssh
	
	命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
	命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

【3】上传jdk并安装（步骤略）：
	安装目录：/opt/sxt/jdk1.8.0_191

【4】配置Java环境变量
 	命令：vi /etc/profile
	export JAVA_HOME=/opt/sxt/jdk1.8.0_191

【5】上传文件hadoop.tar.gz到node08并解压文件：
	命令：tar vf hadoop-2.6.5.tar.gz 
【6】移动解压文件
	命令：cd opt/
	命令：mkdir sxt
	命令：cd
	命令：mv hadoop-2.6.5 /opt/sxt/

【7】配置hdfs环境变量
	命令：vi /etc/profile
	export HADOOP_PREFIX=/opt/sxt/hadoop-2.6.5
	export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
	source /etc/profile

【8】配置文件
	命令：cd /opt/sxt/hadoop-2.6.5/etc/hadoop

配置*-.env.sh文件中的 java_home的绝对路径（ ll *-env.sh）
		[root@node08 hadoop]# vi hadoop-env.sh 
		[root@node08 hadoop]# vi mapred-env.sh 
		[root@node08 hadoop]# vi yarn-env.sh 

配置：core-site.xml
  <property>        
	<name>fs.defaultFS</name>      
 	<value>hdfs://node08:9000</value> 
  </property>
  
 <property>     
 	<name>hadoop.tmp.dir</name>    
   	<value>/var/sxt/hadoop/local</value>
  </property>

配置：hdfs-site.xml
  <property>       
	<name>dfs.replication</name> 
      	<value>1</value>
  </property>
  
  <property>   
  	<name>dfs.namenode.secondary.http-address</name> 
     	<value>node08:50090</value>
  </property> 

配置：slaves
		node08
【9】格式化
	命令：cd /var/
	命令：hdfs namenode -format

【10】启动
	命令：tart-dfs.sh	（停止  stop-dfs.sh）
[root@node08 var]# jps	
7893 Jps
7548 NameNode
7647 DataNode
7791 SecondaryNameNode
【11】web访问：http://192.168.88.18:50070

<---------------------以上安装完成----------------->