![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
彭淦淦
破烂猴
展开
-
Hadoop高可用验证 : 初始化集群 验证集群
4.1 问题本案例要求:初始化集群验证集群4.2 步骤实现此案例需要按照如下步骤进行。步骤一:验证hadoop的高可用1)初始化ZK集群[root@nn01 ~]# /usr/local/hadoop/bin/hdfs zkfc -formatZK ...18/09/11 15:43:35 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/nsdcluster in ZK //出现Successfully即为原创 2020-05-26 08:59:07 · 961 阅读 · 0 评论 -
Hadoop高可用:配置Hadoop的高可用 修改配置文件
3.1 问题本案例要求:配置Hadoop的高可用 修改配置文件3.2 方案配置Hadoop的高可用,解决NameNode单点故障问题,使用之前搭建好的hadoop集群,新添加一台nn02,ip为192.168.1.66,具体要求如图-1所示:图-13.3 步骤实现此案例需要按照如下步骤进行。步骤一:hadoop的高可用1)停止所有服务(由于 kafka的实验做完之后就已经停止,这里不在重复)[root@nn01 ~]# cd /usr/local/hadoop原创 2020-05-26 08:49:03 · 494 阅读 · 0 评论 -
Kafka集群实验:利用Zookeeper搭建一个Kafka集群 创建一个topic 模拟生产者发布消息 模拟消费者接收消息
2.1 问题本案例要求:利用Zookeeper搭建一个Kafka集群创建一个topic模拟生产者发布消息模拟消费者接收消息2.2 步骤实现此案例需要按照如下步骤进行。步骤一:搭建Kafka集群1)解压 kafka 压缩包Kafka在node1,node2,node3上面操作即可[root@node1 hadoop]# tar -xf kafka_2.12-2.1.0.tgz2)把 kafka 拷贝到 /usr/local/kafka 下面[root@node1 ~]# mv ka原创 2020-05-25 09:59:31 · 391 阅读 · 0 评论 -
Zookeeper安装:搭建Zookeeper集群并查看各服务器的角色 停止Leader并查看各服务器的角色
1.1 问题本案例要求:搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色1.2 步骤实现此案例需要按照如下步骤进行。步骤一:安装Zookeeper1)编辑/etc/hosts ,所有集群主机可以相互 ping 通(在nn01上面配置,同步到node1,node2,node3)[root@nn01 hadoop]# vim /etc/hosts192.168.1.60 nn01192.168.1.61 node1192.168.1.62 node2原创 2020-05-25 09:57:45 · 2739 阅读 · 0 评论 -
Hdoop中NFS配置:创建代理用户 启动一个新系统, 启动服务 挂载NFS并实现开机自启
4.1 问题本案例要求:创建代理用户启动一个新系统,启动服务挂载NFS并实现开机自启4.2 步骤实现此案例需要按照如下步骤进行。步骤一:基础准备1)更改主机名,配置/etc/hosts(/etc/hosts在nn01和nfsgw上面配置)[root@localhost ~]# echo nfsgw > /etc/hostname [root@localhost ~]# hostname nfsgw[root@nn01 hadoop]# vim /etc/hosts192.16原创 2020-05-25 09:55:15 · 312 阅读 · 0 评论 -
Hadoop节点管理
3.1 问题本案例要求:增加一个新的节点查看状态删除节点3.2 方案另外准备两台主机,node4和nfsgw,作为新添加的节点和网关,具体要求如表-2所示:表-23.3 步骤实现此案例需要按照如下步骤进行。步骤一:增加节点1)增加一个新的节点node4[root@hadoop5 ~]# echo node4 > /etc/hostname //更改主机名为node4[root@hadoop5 ~]# hostname node4[root@node4 ~]# yum原创 2020-05-25 09:52:51 · 196 阅读 · 0 评论 -
Hadoop词频统计:在集群文件系统里创建文件夹 上传要分析的文件到目录中 分析上传文件 展示结果
2.1 问题本案例要求:在集群文件系统里创建文件夹 上传要分析的文件到目录中 分析上传文件 展示结果2.2 步骤实现此案例需要按照如下步骤进行。步骤一:词频统计 [root@nn01 hadoop]# ./bin/hadoop fs -ls ///查看集群文件系统的根,没有内容[root@nn01 hadoop]# ./bin/hadoop fs -mkdir /aaa//在集群文件系统下创建aaa目录[root@nn01 ha...原创 2020-05-25 09:51:05 · 530 阅读 · 0 评论 -
安装与部署:对mapred和yarn文件进行配置 验证访问Hadoop
1.1 问题本案例要求:对mapred和yarn文件进行配置 验证访问Hadoop1.2 方案在day05准备好的环境下给master (nn01)主机添加ResourceManager的角色,在node1,node2,node3上面添加NodeManager的角色,如图-1所示:图-11.3 步骤实现此案例需要按照如下步骤进行。步骤一:安装与部署hadoop1)配置mapred-site(nn01上面操作)[root@nn01 ~]# cd /us.原创 2020-05-25 09:49:50 · 231 阅读 · 0 评论 -
安装配置Hadoop
2.1 问题本案例要求:另备三台虚拟机,安装Hadoop使所有节点能够ping通,配置SSH信任关系节点验证2.2 方案准备四台虚拟机,由于之前已经准备过一台,所以只需再准备三台新的虚拟机即可,安装hadoop,使所有节点可以ping通,配置SSH信任关系,如图-1所示:图-12.3 步骤实现此案例需要按照如下步骤进行。步骤一:环境准备1)三台机器配置主机名为node1、node2、node3,配置ip地址(ip如图-1所示),yum源(系统源)2)编辑/etc/hosts(四台主原创 2020-05-25 09:46:10 · 141 阅读 · 0 评论 -
安装Hadoop:单机模式安装Hadoop 安装JAVA环境 设置环境变量,启动运行
1.1 问题本案例要求安装单机模式Hadoop:单机模式安装Hadoop安装JAVA环境设置环境变量,启动运行1.2 步骤实现此案例需要按照如下步骤进行。步骤一:环境准备1)配置主机名为nn01,ip为192.168.1.60,配置yum源(系统源)备注:由于在之前的案例中这些都已经做过,这里不再重复,不会的学员可以参考之前的案例2)安装java环境[root@nn01 ~]# yum -y install java-1.8.0-openjdk-devel[root@nn01 ~]#原创 2020-05-25 09:44:03 · 591 阅读 · 0 评论