Hadoop伪分布式集群搭建

花瓜shmily

已于 2022-06-17 16:11:44 修改

阅读量208

点赞数

文章标签： hadoop 分布式 hdfs

于 2022-06-17 16:08:02 首次发布

本文链接：https://blog.csdn.net/weixin_59198418/article/details/125335301

版权

 

systemctl-cmd --state   //查看防火墙状态
systemctl stop firewalld.service
systemctl disable firewalld.service

修改主机名
vi /etc/hostname

静态ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static"
ONBOOT="yes"
IPADDR="192.168.110.101"
GATEWAY="192.168.110.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"

syestemctl  restart network

主机名映射
vi /etc/hosts
192.168.110.101 shmily


ssh免密配置
ssh-keygen -t rsa -P ' '
ssh-copy-id 节点2
ssh-copy-id 节点3


java环境配置
export JAVA_HOME=/usr/local
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile  //更新系统环境变量
java -version   //查看java版本


Hadoop环境配置
tar -zxvf 压缩包存放路径 -C /usr/local     //解压hadoop压缩包

export HADOOP_HOME=/usr/local
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

cd /usr/local/hadoop/etc/hadoop
修改配置文件
vi hadoop-env.sh
export JAVA_HOME=/usr/local

vi core-site.xml
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://shmily:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/data/tmp</value>         //手动创建/data/tmp文件夹mkdir -p /data/tmp
</property>

vi hdfs-site.xml
<property>

<name>dfs.namenode.name.dir</name>

<value>file:///home/hadoopdir/dfs/name</value>

<description>hdfs元数据存存储目录</description>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value> /home/hadoopdir/dfs/data,/home/hadoopdir/dfs/data1,/home/hadoopdir/dfs/data2</value>

<description>DataNode在本地文件系统中存放块的路径，会自动选用多个目录进行数据存储。如果是多个路径，请用逗号隔开。在企业生产环境中，数据量会非常大，请将这个目录设置到磁盘容量充足的目录。</description>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

<description>备份数量，伪分布式则将其配置成1</description>

</property>


vi mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

vi yarn-site.xml
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
<property>

scp -r /usr/hadoop shmily1:/usr

hadoop namenode -format      //格式化namenode
hadoop version  查看Hadoop版本

start-all.sh    //启动集群
stop-all.sh  //关闭集群

shmily:50070   //hdfs网页UI
shmily:8088  //yarn网页UI