hadoop集群搭建

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ise2YmxZ-1689854010747)(C:\Users\li’zheng’jie\AppData\Roaming\Typora\typora-user-images\image-20230707213257455.png)]

准备

登录root用户

设置密码

sudo passwd root

登录

su

更新数据源

apt-get update

安装其他软件

vim编辑器

apt install -y vim

安装ssh

apt-get install openssh-server -y

修改配置文件/etc/ssh/sshd_config

vim /etc/ssh/sshd_config

在文件底部加上

PermitRootLogin yes
PubkeyAuthentication yes

:wq 退出

service ssh restart
ssh localhost

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

远程连接

ssh-copy-id remote_username@server_ip_address

查看IP

ip add

安装java

 tar -zxvf /opt/tools/jdk-8u361-linux-x64.tar.gz -C /opt/server/

vim /etc/profile

在最后添加

export JAVA_HOME=/opt/server/java
export PATH=$PATH:$JAVA_HOME/bin

集群配置

使用远程连接工具上传hadoop的软件包

解压

 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/server

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ili8z34P-1689854010748)(C:\Users\li’zheng’jie\AppData\Roaming\Typora\typora-user-images\image-20230708091814825.png)]

修改配置文件

etc/hadoop/hadoop-env.sh

vim hadoop-env.sh

在最后添加

export JAVA_HOME=/opt/server/java
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

etc/hadoop/core-site.xml

<configuration>
	<!--指定访问的地址-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:8020</value>
	</property>
	<!--指定hadoop的路径-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/server/hadoop-3.1.3</value>
	</property>
	<!--在Web UI访问的用户名-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
</configuration>

hdfs-size.xml

<configuration>
	<!--设定SNN运行主机和端口-->
	<property>
		<name>def.namenode.secondary.http-address</name>
		<values>node1:9868</values>
	</property>
</configuration>

mapred-size.xml

<configuration>
	<!--mr程序默认运行模式，yarn模式，local本地模式-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!--MR App Master环境变量-->
	<property>
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<!--MR Reduce环境变量-->
	<property>
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<!--MR ReduceTask环境变量-->
	<property>
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
</configuration>

yarn-size.xml

<configuration>
	<!--yarn集群主角色RM运行机器-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<!--NodeManager 上运行的附属服务，需配置成mapreduce_shuffle才可运行MR程序-->
	<property>
		<name>yarn.resourcemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!--每一个容器请求的最小内存资源(MB)-->
	<property>
		<name>yarn.scheduler.minimum-allocation-md</name>
		<value>100</value>
	</property>
	<!--每个容器请求的最大内存(MB)-->
	<property>
		<name>yarn.scheduler.maximum-allocation-md</name>
		<value>250</value>
	</property>
	<!--容器虚拟内存与物理内存之间的比值-->
	<property>
		<name>yarn.nodemanager.vmem-pmem-ration</name>
		<value>4</value>
	</property>
	
</configuration>

workers

master
node1
node2

分发hadoop安装包

scp -r /opt/server/hadoop-3.1.3/ root@node2:/opt/server

格式化

 hdfs namenode -format

启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X3TZiZFr-1689854010748)(C:\Users\li’zheng’jie\AppData\Roaming\Typora\typora-user-images\image-20230708143820963.png)]

脚本一键启动

sbin目录下

start-dfs.sh
start-dfs.sh

webUI

hdfs

http://192.168.178.163:9870

yarn

http://192.168.178.163:8088/