Hadoop 伪分布式搭建(超详细)

虚拟机准备阶段操作

本文是基于CentOS 7 系统搭建
相关资源下载
链接:https://pan.baidu.com/s/1FW228OfyURxEgnXW0qqpmA 密码:18uc

安全设置

防火墙相关指令

# 查看防火墙状态
firewall-cmd --state

# 停止防火墙
[root@localhost ~]# systemctl stop firewalld.service

# 禁止防火墙开机自启
[root@localhost ~]# systemctl disable firewalld.service 

关闭关闭selinux

[root@localhost ~]# vi /etc/selinux/config

SELINUX=enforcing改为 SELINUX=disabled

IP设置

查看机器IP

[root@localhost ~]# ifconfig
ip 为192.168.78.100

修改主机名

[root@localhost ~]# vi /etc/hostname 

在这里插入图片描述

修改IP及主机名映射

[root@localhost ~]# vi /etc/hosts
192.168.78.100	CentOS

SSH免密登陆

[root@localhost ~]# ssh-keygen -t rsa # 生产密钥
# 连续三次回车


# 将密钥发送给需要登陆本机的机器,这里只有一台机器 所以发给自己
[root@localhost ~]# ssh-copy-id root@CentOS

# 测试ssh
[root@localhost ~]# ssh root@CentOS

Hadoop伪分布式搭建

  • 创建 install文件夹
[root@localhost ~]# mkdir
  • 39
    点赞
  • 274
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
好的,下面是Hadoop分布式搭建详细步骤: 1. 安装Java环境:Hadoop运行需要Java环境,因此首先需要安装Java。可以使用以下命令安装OpenJDK: ``` sudo apt-get update sudo apt-get install openjdk-8-jdk ``` 2. 下载Hadoop压缩包:从Hadoop官网下载所需版本的Hadoop压缩包。可以使用以下命令下载Hadoop 3.2.2版本: ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz ``` 3. 解压Hadoop压缩包:使用tar命令解压下载下来的Hadoop压缩包。可以使用以下命令解压: ``` tar -xzvf hadoop-3.2.2.tar.gz ``` 4. 配置Hadoop环境变量:在.bashrc文件中添加Hadoop环境变量。可以使用以下命令进行编辑: ``` nano ~/.bashrc ``` 在文件末尾添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后使用以下命令使修改生效: ``` source ~/.bashrc ``` 5. 修改Hadoop配置文件:主要包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。这些文件位于Hadoop的conf目录下。 - core-site.xml 在core-site.xml文件中添加以下配置: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - hdfs-site.xml 在hdfs-site.xml文件中添加以下配置: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - mapred-site.xml 复制mapred-site.xml.template文件并重命名为mapred-site.xml,然后在mapred-site.xml文件中添加以下配置: ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - yarn-site.xml 在yarn-site.xml文件中添加以下配置: ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration> ``` 6. 初始化HDFS:使用hadoop namenode -format命令初始化HDFS。 ``` hadoop namenode -format ``` 7. 启动Hadoop服务:使用start-dfs.sh和start-yarn.sh命令启动Hadoop服务。 ``` start-dfs.sh start-yarn.sh ``` 运行以上命令后,可以使用jps命令查看Hadoop服务是否已经启动。 8. 验证Hadoop是否正常运行:在浏览器中访问http://localhost:9870/,可以看到Hadoop的Web界面。在界面中可以查看HDFS的状态、节点信息等。 以上就是Hadoop分布式搭建详细步骤,希望对你有所帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

问题不太大

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值