ARCHITECTURE
architecture
LgMizar
这个作者很懒,什么都没留下…
展开
-
ARCHITECTURE:Hadoop高可用
文章目录NameNode重要性解决方案使用方案NameNode高可用hadoop的高可用配置高可用验证启动集群访问集群 NameNode重要性 原因 – NameNode是HDFS的核心配置,HDFS又是Hadoop的核心组件,NameNode在Hadoop集群中至关重要 – NameNode宕机,将导致集群不可用,如果NameNode数据丢失将导致整个集群的数据丢失,而NameNode的数据的...原创 2020-01-16 21:15:57 · 154 阅读 · 0 评论 -
ARCHITECTURE:Hadoop之Zookeeper,Kafka集群
文章目录Zookeeper角色选举Zookeeper原理与设计Zookeeper安装安装ZookeeperKafka集群 Zookeeper Zookeeper是一个开源的分布式应用程序协调服务 Zookeeper是用来保证数据在集群间的事务一致性 Zookeeper应用场景 – 集群分布式锁 – 集群统一命名服务 – 分布式协调服务 官网文档:http://zookeeper.apache.o...原创 2020-01-16 19:59:09 · 246 阅读 · 0 评论 -
ARCHITECTURE:Hadoop完全分布式,NFS网关
文章目录安装部署Hadoop词频统计增加节点修复节点删除节点NFS网关基础准备NFSGW配置 安装部署 Hadoop三大核心组件 – HDFS已经部署完毕https://blog.csdn.net/LgMizar/article/details/103972345 – MapReduce – Yarn 系统规划 主机 角色 软件 192.168.1.60 hadoop1 Nam...原创 2020-01-15 20:45:36 · 222 阅读 · 0 评论 -
ARCHITECTURE:Hadoop
文章目录大数据HadoopHadoop组件HDFS结构MapReduce结构Yarn结构Had安装与配置单机模式伪分布式完全分布式 大数据 大数据5V特性是什么? – (V)olume(大体量) 可从数百TB到数十数百PB,甚至EB的规模 – (V)ariety(多样性) 大数据包括各种格式和形态的数据 – (V)elocity(时效性) 很多大数据需要在一定的时间限度下得到及时处理 – (V)...原创 2020-01-14 21:06:36 · 205 阅读 · 0 评论 -
ARCHITECTURE:Kibana安装使用,Logstash配置扩展插件
文章目录Kibana概念安装logstash概念安装codec类插件file模块插件filter grok插件解析Apache的日志优化 Kibana 概念 数据可视化平台工具 特点: – 灵活的分析和可视化平台 – 实时总结流量和数据的图表 – 为不同的用户显示直观的界面 – 即时分享和嵌入的仪表版 安装 yum -y install kibana rpm -qc kibana /opt/k...原创 2020-01-13 21:09:15 · 228 阅读 · 0 评论 -
ARCHITECTURE:分布式ELK平台,ES集群
文章目录分布式ELK平台ELK简介来源什么是ELKELK能做什么Elasticsearch**主要特点****ES缺点****相关概念**ES与关系型数据库的对比Elasticsearch架构图ES集群安装部署多台esES插件使用head插件kopf插件bigdesk插件安装访问head插件访问kopf插件访问bigdesk插件使用head创建index扩展插件RESTful APIHTTP协议简...原创 2020-01-10 20:43:08 · 230 阅读 · 0 评论 -
ARCHITECTURE:ansible基础,ad-hoc
文章目录ansible基础简介优点特性工作流程ansible安装软件依赖关系配置yum源安装 ansible基础 简介 用于批量搞机的 优点 只需要SSH和Python即可使用 无客户端 ansible功能强大,模块丰富 上手简单,门槛低 基于Python开发,做二次开发更容易 使用公司比较多,社区活跃 特性 模块化设计,调用特定的模块完成特定任务 基于Python语言实现 – param...原创 2020-01-08 21:19:49 · 304 阅读 · 0 评论