架构师基础
ansible部署及应用、ansible模块、json yaml playbook语法、ELK简介、es集群部署、es插件应用、kibana应用、logstash应用、大数据概述。Hadoop组件、单击hadoop、hsfs节点管理、yarn阶段管理、Zookeeper原理、zk部署及应用
解甲归田1
种一棵树最好的时间是十年前,其次是现在。
展开
-
《云计算》Zookeeper进阶:Hadoop高可用、初始化集群、验证集群
4 案例3:Hadoop高可用4.1 问题本案例要求:配置Hadoop的高可用修改配置文件4.2 方案配置Hadoop的高可用,解决NameNode单点故障问题,使用之前搭建好的hadoop集群,新添加一台nn02,ip为192.168.1.25,之前有一台node4主机,可以用这台主机,具体要求如图-1所示:图-14.3 步骤实现此案例需要按照如下步骤进行。步骤一:had...原创 2020-03-08 00:07:55 · 254 阅读 · 0 评论 -
《云计算》-Zookeeper进阶:使用Zookeeper搭建Kafka集群
案例2:Kafka集群实验3.1 问题本案例要求:利用Zookeeper搭建一个Kafka集群创建一个topic模拟生产者发布消息模拟消费者接收消息3.2 步骤实现此案例需要按照如下步骤进行。步骤一:搭建Kafka集群1)解压 kafka 压缩包Kafka在node1,node2,node3上面操作即可[root@node1 ~]# tar -xf kafka_2.10-...原创 2020-03-08 00:06:03 · 161 阅读 · 0 评论 -
《云计算》Zookeeper基础:Zookeeper安装详解
1 案例1:Zookeeper安装1.1 问题本案例要求:搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色1.2 步骤实现此案例需要按照如下步骤进行。2 步骤一:安装Zookeeper1)编辑/etc/hosts ,所有集群主机可以相互 ping 通(在nn01上面配置,同步到node1,node2,node3)[root@nn01 hadoo...原创 2020-03-08 00:04:33 · 272 阅读 · 0 评论 -
《云计算》hadoop进阶:安装与部署、Hadoop词频统计、节点管理、NFS配置
TopNSD ARCHITECTURE DAY06案例1:安装与部署案例2:Hadoop词频统计案例3:节点管理案例4:NFS配置1 案例1:安装与部署1.1 问题本案例要求:对mapred和yarn文件进行配置验证访问Hadoop1.2 方案在day05准备好的环境下给master (nn01)主机添加ResourceManager的角色,在node1,node2,n...原创 2020-03-08 00:02:40 · 419 阅读 · 0 评论 -
《云计算》-linux中hadoop安装及配置
案例1:安装Hadoop案例2:安装配置Hadoop1 案例1:安装Hadoop1.1 问题本案例要求安装单机模式Hadoop:单机模式安装Hadoop安装JAVA环境设置环境变量,启动运行1.2 步骤实现此案例需要按照如下步骤进行。步骤一:环境准备1)配置主机名为nn01,ip为192.168.1.21,配置yum源(系统源)备注:由于在之前的案例中这些都已经做过,这...原创 2020-03-08 00:00:29 · 286 阅读 · 0 评论 -
《云计算》ELK进阶:kibana应用、logstash应用、导入数据并查看、附带练习
案例1:导入数据案例2:综合练习1 案例1:导入数据1.1 问题本案例要求批量导入数据:批量导入数据并查看1.2 步骤实现此案例需要按照如下步骤进行。步骤一:导入数据使用POST方式批量导入数据,数据格式为json,url 编码使用data-binary导入含有index配置的json文件[root@room9pc01 ~]# scp /var/ftp/elk/*.gz 1...原创 2020-03-07 23:58:15 · 621 阅读 · 0 评论 -
《云计算》ES集群部署、es插件应用、Kibana安装
案例1:ES集群安装案例2:ES集群安装配置案例3:练习curl命令案例4:练习插件案例5:插入,增加,删除查询数据案例6:安装Kibana1 案例1:ES集群安装1.1 问题本案例要求:准备1台虚拟机部署elasticsearch第一个节点访问9200端口查看是否安装成功1.2 方案1)ELK是日志分析平台,不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩...原创 2020-03-07 23:54:40 · 344 阅读 · 0 评论