2.1.6 hadoop体系之离线计算-hdfs分布式文件系统-全分布式安装hadoop2.7.7（3）

最新推荐文章于 2022-08-21 20:54:11 发布
最新推荐文章于 2022-08-21 20:54:11 发布
阅读量169 收藏
点赞数
分类专栏： 大数据学习之路 文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Suyebiubiu/article/details/109259402
版权

目录

1.下载并解压

2.配置环境变量

 3.修改Hadoop配置文件

3.1 hadoop-env.sh

3.2 core-site.xml

3.3 hdfs-site.xml

3.4 mapred-site.xml

3.5 yarn-site.xml

3.6 master

3.7 slaves

4.分发程序

 5.node01初始化

6.启动集群

7.查看集群

8.问题

1.下载并解压

下载 Hadoop 安装包，这里我下载的是hadoop-2.7.7.tar.gz

[xiaokang@hadoop ~]$ sudo tar -zxvf hadoop-2.7.7.tar.gz -C /opt/software/

2.配置环境变量

[xiaokang@hadoop ~]$ sudo vim /etc/profile

在原来jdk基础上更新配置环境变量：

# java
export JAVA_HOME=/home/java/jdk1.8.0_131
export JRE_HOME=/home/java/jdk1.8.0_131
export CLASSPATH=$JRE_HOME/lib/rt.jar:$JRE_HOME/lib/ext
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

# hadoop
export HADOOP_HOME=/opt/software/hadoop-2.7.7

执行 source 命令，使得配置的环境变量立即生效：

[xiaokang@hadoop ~]$ source /etc/profile

 3.修改Hadoop配置文件

先创建好所需目录

[xiaokang@hadoop01 hadoop-2.7.7]$ mkdir /opt/software/hadoop-2.7.7/tmp
[xiaokang@hadoop01 hadoop-2.7.7]$ mkdir -p /opt/software/hadoop-2.7.7/dfs/namenode_data
[xiaokang@hadoop01 hadoop-2.7.7]$ mkdir -p /opt/software/hadoop-2.7.7/dfs/datanode_data
[xiaokang@hadoop01 hadoop-2.7.7]$ mkdir -p /opt/software/hadoop-2.7.7/checkpoint/dfs/cname

3.1 hadoop-env.sh

#25行 export JAVA_HOME
export JAVA_HOME=/opt/moudle/jdk1.8.0_191
#33行 export HADOOP_CONF_DIR
export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop

3.2 core-site.xml

<configuration>
        <property>
            <!--用来指定hdfs的老大，namenode的地址-->
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop01:9000</value>
        </property>  
        <property>
            <!--用来指定hadoop运行时产生文件的存放目录-->   
            <name>hadoop.tmp.dir</name>
            <value>file:///opt/software/hadoop-2.7.7/tmp</value>
        </property>
        <property>
            <!--设置缓存大小，默认4kb-->
            <name>io.file.buffer.size</name>
            <value>4096</value>
        </property>
</configuration>

3.3 hdfs-site.xml

<configuration>
        <property>
           <!--数据块默认大小128M-->
           <name>dfs.block.size</name>
           <value>134217728</value>
        </property>
        <property>
            <!--副本数量，不配置的话默认为3-->
            <name>dfs.replication</name> 
            <value>3</value>
        </property>
        <property>
            <!--定点检查--> 
            <name>fs.checkpoint.dir</name>
            <value>file:///opt/software/hadoop-2.7.7/checkpoint/dfs/cname</value>
        </property>
        <property>
            <!--namenode节点数据（元数据）的存放位置-->
            <name>dfs.name.dir</name> 
            <value>file:///opt/software/hadoop-2.7.7/dfs/namenode_data</value>
        </property>
        <property>
            <!--datanode节点数据（元数据）的存放位置-->
            <name>dfs.data.dir</name> 
            <value>file:///opt/software/hadoop-2.7.7/dfs/datanode_data</value>
        </property>
        <property>
            <!--指定secondarynamenode的web地址-->
            <name>dfs.namenode.secondary.http-address</name> 
            <value>hadoop02:50090</value>
        </property>
        <property>
            <!--hdfs文件操作权限,false为不验证-->
            <name>dfs.permissions</name> 
            <value>false</value>
        </property>
</configuration>

3.4 mapred-site.xml

<configuration>
        <property>  
            <!--指定mapreduce运行在yarn上-->
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            <!--配置任务历史服务器IPC-->
            <name>mapreduce.jobhistory.address</name>
            <value>hadoop01:10020</value>
        </property>
        <property>
            <!--配置任务历史服务器web-UI地址-->
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>hadoop01:19888</value>
        </property>
</configuration>

3.5 yarn-site.xml

<configuration>
        <property>
            <!--指定yarn的老大resourcemanager的地址-->
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop01</value>
        </property>
        <property>
            <name>yarn.resourcemanager.address</name>
            <value>hadoop01:8032</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>hadoop01:8088</value>
        </property>
        <property>
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>hadoop01:8030</value>
        </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>hadoop01:8031</value>
        </property>
        <property>
            <name>yarn.resourcemanager.admin.address</name>
            <value>hadoop01:8033</value>
        </property>
        <property>
            <!--NodeManager获取数据的方式-->
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <!--开启日志聚集功能-->
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            <!--配置日志保留7天-->
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>604800</value>
        </property>
</configuration>

3.6 master

在当前配置文件目录内是不存在master文件的，我们使用vim写入内容到master内保存即可

[xiaokang@hadoop01 hadoop]$ vim master
hadoop01

3.7 slaves

配置所有从属节点的主机名或 IP 地址，每行一个。所有从属节点上的 DataNode 服务和 NodeManager 服务都会被启动。

hadoop01
hadoop02
hadoop03

4.分发程序

将 Hadoop 安装包分发到其他两台服务器，分发后建议在这两台服务器上也配置一下 Hadoop 的环境变量。

# 将安装包分发到hadoop002
[xiaokang@hadoop01 hadoop]$ sudo scp -r /opt/software/hadoop-2.7.7/ xiaokang@hadoop02:/opt/software/
# 将安装包分发到hadoop003
[xiaokang@hadoop01 hadoop]$ sudo scp -r /opt/software/hadoop-2.7.7/ xiaokang@hadoop03:/opt/soft

 5.node01初始化

[xiaokang@hadoop01 ~]$ hdfs namenode -format

6.启动集群

在 hadoop01 上启动 Hadoop集群。此时 hadoop02 和 hadoop03 上的相关服务也会被启动：

# 启动dfs服务
[xiaokang@hadoop01 ~]$ start-dfs.sh
# 启动yarn服务
[xiaokang@hadoop01 ~]$ start-yarn.sh
# 启动任务历史服务器
[xiaokang@hadoop01 ~]$ mr-jobhistory-daemon.sh start historyserver

相应的关闭：stop和kill -9

7.查看集群

在每台服务器上使用 jps 命令查看服务进程，或直接进入 Web-UI 界面进行查看，端口为 50070。可以看到此时有三个可用的 Datanode：

[xiaokang@hadoop01 hadoop-2.7.7]$ jps
13664 ResourceManager
13250 NameNode
14101 JobHistoryServer
14135 Jps
13387 DataNode
13773 NodeManager

[xiaokang@hadoop02 hadoop-2.7.7]$ jps
9793 SecondaryNameNode
9685 DataNode
9898 NodeManager
9930 Jps

[xiaokang@hadoop03 hadoop-2.7.7]$ jps
9880 DataNode
10024 NodeManager
10056 Jps

YARN:http://192.168.0.111:8088/cluster

HDFS:http://192.168.0.111:50070/dfshealth.html#tab-overview

8.问题

如果jps显示正确，但是hdfs客户端只显示一个node，注意查看自己的/etc/hosts文件，特别是localhost位置，特别是node01

敲代码的乔帮主
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ide-eval-resetter-2.1.6
02-16
2020版本插件
Hadoop 系列（五）—— Hadoop 集群环境搭建
weixin_30617561的博客
08-07 70
一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 二、前置条件 Hadoop 的运行依赖 JDK，需要预先安装。其安装步骤单独整理至： Linux 下 JDK 的安装 三、配置免密登录 3.1 生成...
集群版hadoop安装，写给大忙人看的~
u011493462的博客
11-11 181
导语 如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。 目录 集群规划 前置条件 配置免密登录 3.1 生成密匙 3.2 免密登录 3.3 验证免密登录 集群搭建 4.1 下载并解压 4.2 配置环境变量 4.4 修改配置 4.4 分发程序 4.5 初始化 4.6 启动集群 4.7 查看集群 提交服务到集群 1. 集群规划 这里搭建一个 3 节点的 Hadoop 集群， 其中三台主机均部署 DataNode 和 NodeManager 服务， 但只有 ha
Hadoop 系列（五）—— Hadoop集群环境搭建
黑白影的博客
06-07 273
一、集群规划 这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。 二、前置条件 Hadoop的运行依赖JDK，需要预先安装。其安装步骤单独整理至： Linux下JDK的安装 三、配置免密登录 3.1 生成密匙 在每台主机上使用ssh-keygen命令生成...
大数据从入门到实战-hadoop 安装与伪分布式集群搭建
qq_61604164的博客
07-25 2217
hadoop 安装与伪分布式集群搭建
【服务器hbase伪分布式搭建】centos+hadoop+zookeeper+hbase
qq_44612243的博客
08-21 406
hadoop+hbase+zookeeper服务器 伪分布式大数据环境搭建
分布式hadoop集群搭建
Edgar_LQS的博客
11-24 173
配置 Java配置可参考地址：https://blog.csdn.net/Edgar_LQS/article/details/103152034 Hadoop基础信息简介可查看地址：https://blog.csdn.net/Edgar_LQS/article/details/103170524 伪分布式Hadoop集群搭建可参考地址：https://blog.csdn.net/Edgar_LQS...
hadoop配置
livingbody的专栏
11-12 327
用户设置 sudo useradd –m hadoop –s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./h...
hadoop生态的配置
weixin_44850324的博客
10-04 114
hadoop生态的配置 linux基本设置 网络设置 网关 子网掩码 网段 IP 网络设置 vi /etc/sysconfig/network-scripts/ifcfig-ens33 配置完输入ip addr测试 关windows和linux防火墙 systemctl disable firewalld 查找上传软件 yum list | grep rz 并安装 安装查看网络服务命令 yum -y install net-tools 修改主机名和域名 etc/hosts
Keras-2.1.6-py2.py3-none-any.whl
06-11
该资源为Keras-2.1.6-py2.py3-none-any.whl，欢迎下载使用哦！
tensorflow_gcs_config-2.1.6-py3-none-any.whl
03-25
TensorFlow是一个开放源代码的软件库，用于进行高性能数值计算。通过其灵活的架构，它允许用户轻松地部署计算工作在各种平台（CPUs、GPUs、TPUs）上，无论是在桌面、服务器还是移动设备上。TensorFlow最初由Google ...
ide-eval-resetter-2.1.6非破解无限试用插件
06-17
一款IDEA好用的插件，适用于旗舰版，虽然只能使用三十天，不过三十天后可以重新配置使用。 可以无限延期
Python库 | CellPhoneDB-2.1.6-py3-none-any.whl
02-25
python库。 资源全名：CellPhoneDB-2.1.6-py3-none-any.whl
ansys maxwell
05-15
ansys maxwell
matlab基于不确定性可达性优化的自主鲁棒操作.zip
05-15
matlab基于不确定性可达性优化的自主鲁棒操作.zip
pytest-2.8.0.zip
最新发布
05-15
文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
信息安全课程实验C++实现DES等算法源代码
05-15
信息安全课程实验C++实现DES等算法源代码
ide-eval-resetter-2.1.6 如何配置到idea
06-13
5. 在弹出的文件浏览器中，选择解压后的 ide-eval-resetter-2.1.6 目录中的 ide-eval-resetter.jar 文件。 6. 安装插件后，重启 IntelliJ IDEA。 7. 在 IDEA 中，选择菜单栏中的 Help -> Eval Reset。 8. 在弹出...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值