集群搭建-----HDFS伪分布式搭建步骤(手把手教学)

## 配置免密登录
配置免密登录 node01->node01
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

1、上传文件
ftp
安装yum install lrzsz -y
在这里插入图片描述
使用命令rz
在这里插入图片描述
上传文件 jdk hadoop
2、解压
linux创建一个专门的安装包
mkdir /opt/***
为了方便以后查看
tar -zxvf jdk

3、配置环境变量
vi /etc/profile
添加
export JAVA_HOME=/opt/software/jdk1.8.0_121
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
source /etc/profile-----让环境变量生效
注:
用户变量 .bashrc
系统变量 /etc/profile
3、上传hadoop包
tar -zxvf hadoop-2.6.5.tar.gz

4、配置信息
bin—系统的操作命令(文件的增删改查)
sbin–系统的管理命令(集群的启动、关闭)
etc/hadoop—配置信息
1、slaves—节点(DN)

	2、hdfs-site.xml
	<property>
		<name>dfs.replication</name>     //设置备份个数
		<value>1</value>
	</property>
	<property>     
		<name>dfs.namenode.secondary.http-address</name>   //secondaryNamenode
		<value>node01:50090</value>
	</property>
	
	3、core-site.xml
	
	<property>
		<name>fs.defaultFS</name>            //namenode
		<value>hdfs://node01:9000</value>    
	</property>
	<property>
		<name>hadoop.tmp.dir</name>          //namenode启动后产生的信息
		<value>/var/abc/hadoop/local</value>
	</property>
	
	4、把*-env.sh的文件内部所有的java路径改为绝对路径
回去java_home路径去拿,依赖于jdk,
有可能找不到java路径,直接设成绝对路径

在这里插入图片描述
在这里插入图片描述
5、格式化
cd /opt/software/hadoop-2.6.5/bin/
./hdfs namenode -format-----让所有文件生效
6、启动命令
cd /opt/software(自己创建的安装包的文件)/hadoop/sbin
./start-dfs.sh
jps查看进程

7、配置hadoop的环境变量
vi /etc/profile
添加
export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在进行Hadoop开发前,需要先配置好Hadoop的开发环境,包括安装Hadoop和搭建分布式集群。以下是Hadoop安装和分布式集群搭建步骤: 1. 下载Hadoop 在Hadoop官网下载最新版本的Hadoop压缩包。当前最新版本是3.3.1。 2. 解压缩Hadoop 将下载的Hadoop压缩包解压缩到本地目录,比如/opt/hadoop。解压缩后,会得到一个hadoop-3.3.1目录。 3. 配置Hadoop环境变量 在~/.bashrc文件中添加以下内容: export HADOOP_HOME=/opt/hadoop/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin 然后执行source ~/.bashrc,使配置生效。 4. 配置Hadoop 进入Hadoop的安装目录,修改配置文件。以下是必须修改的配置文件: - core-site.xml 在Hadoop安装目录的/etc/hadoop/目录下,创建core-site.xml文件,并添加以下内容: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 这个配置指定了Hadoop的默认文件系统为HDFS,并且HDFS的访问地址为localhost:9000。 - hdfs-site.xml 在Hadoop安装目录的/etc/hadoop/目录下,创建hdfs-site.xml文件,并添加以下内容: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 这个配置指定了HDFS的副本数为1。 - mapred-site.xml 在Hadoop安装目录的/etc/hadoop/目录下,创建mapred-site.xml文件,并添加以下内容: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 这个配置指定了MapReduce的框架为YARN。 - yarn-site.xml 在Hadoop安装目录的/etc/hadoop/目录下,创建yarn-site.xml文件,并添加以下内容: <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> 这个配置指定了NodeManager的辅助服务为mapreduce_shuffle,并且指定了ShuffleHandler类。 5. 格式化HDFS 在Hadoop安装目录下,执行以下命令: $ hdfs namenode -format 这个命令会格式化HDFS,清空HDFS中的所有文件。 6. 启动Hadoop 在Hadoop安装目录下,执行以下命令: $ start-all.sh 这个命令会启动Hadoop的所有组件,包括NameNode、DataNode、ResourceManager、NodeManager等。 7. 验证Hadoop是否正常工作 在浏览器中访问http://localhost:8088/,可以看到YARN的Web界面。在浏览器中访问http://localhost:50070/,可以看到HDFS的Web界面。 至此,Hadoop的安装和分布式集群搭建完成。可以开始进行Hadoop的开发了。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值