2020年01月_LgMizar

原创 ARCHITECTURE:Hadoop高可用

文章目录NameNode重要性解决方案使用方案NameNode高可用hadoop的高可用配置高可用验证启动集群访问集群NameNode重要性原因– NameNode是HDFS的核心配置,HDFS又是Hadoop的核心组件,NameNode在Hadoop集群中至关重要– NameNode宕机,将导致集群不可用,如果NameNode数据丢失将导致整个集群的数据丢失,而NameNode的数据的...

2020-01-16 21:15:57 154

原创 ARCHITECTURE:Hadoop之Zookeeper,Kafka集群

文章目录Zookeeper角色选举Zookeeper原理与设计Zookeeper安装安装ZookeeperKafka集群ZookeeperZookeeper是一个开源的分布式应用程序协调服务Zookeeper是用来保证数据在集群间的事务一致性Zookeeper应用场景– 集群分布式锁– 集群统一命名服务– 分布式协调服务官网文档:http://zookeeper.apache.o...

2020-01-16 19:59:09 246

原创 ARCHITECTURE:Hadoop完全分布式,NFS网关

文章目录安装部署Hadoop词频统计增加节点修复节点删除节点NFS网关基础准备NFSGW配置安装部署Hadoop三大核心组件– HDFS已经部署完毕https://blog.csdn.net/LgMizar/article/details/103972345– MapReduce– Yarn系统规划主机角色软件192.168.1.60 hadoop1Nam...

2020-01-15 20:45:36 222

原创 ARCHITECTURE:Hadoop

文章目录大数据HadoopHadoop组件HDFS结构MapReduce结构Yarn结构Had安装与配置单机模式伪分布式完全分布式大数据大数据5V特性是什么?– (V)olume(大体量)可从数百TB到数十数百PB,甚至EB的规模– (V)ariety(多样性)大数据包括各种格式和形态的数据– (V)elocity(时效性)很多大数据需要在一定的时间限度下得到及时处理– (V)...

2020-01-14 21:06:36 205

原创 ARCHITECTURE:Kibana安装使用,Logstash配置扩展插件

文章目录Kibana概念安装logstash概念安装codec类插件file模块插件filter grok插件解析Apache的日志优化Kibana概念数据可视化平台工具特点:– 灵活的分析和可视化平台– 实时总结流量和数据的图表– 为不同的用户显示直观的界面– 即时分享和嵌入的仪表版安装yum -y install kibanarpm -qc kibana /opt/k...

2020-01-13 21:09:15 228

文章目录分布式ELK平台ELK简介来源什么是ELKELK能做什么Elasticsearch**主要特点****ES缺点****相关概念**ES与关系型数据库的对比Elasticsearch架构图ES集群安装部署多台esES插件使用head插件kopf插件bigdesk插件安装访问head插件访问kopf插件访问bigdesk插件使用head创建index扩展插件RESTful APIHTTP协议简...

2020-01-10 20:43:08 230

原创 ARCHITECTURE:ansible基础,ad-hoc

文章目录ansible基础简介优点特性工作流程ansible安装软件依赖关系配置yum源安装ansible基础简介用于批量搞机的优点只需要SSH和Python即可使用无客户端ansible功能强大,模块丰富上手简单,门槛低基于Python开发,做二次开发更容易使用公司比较多,社区活跃特性模块化设计,调用特定的模块完成特定任务基于Python语言实现– param...

2020-01-08 21:19:49 304

原创 CLOUD:Openstack基础,部署及操作基础

文章目录云计算分类OpenstackOpenstack简介openstack组成openstack结构图主要组件部署安装环境虚拟机配置配置ＤＮＳ配置NTP服务配置yum库及依赖软件包安装软件包检查基础环境安装packstack配置packstack一键部署Openstack云计算分类从云计算的服务模式看，主要分为– 基础即服务（IaaS）,为客户提供构建云计算的基础设施– 平台即服务（P...

2020-01-07 21:25:48 356

原创 CLOUD:自定义镜像与仓库

文章目录自定义镜像docker commitDockerfile自定义镜像docker commit使用镜像启动容器,在该容器基础修改,并另存为一个新的镜像在容器基础上修改yum源docker run -it docker.io/centosrm -rf /etc/yum.repos.d/* vi /etc/yum.repos.d/dvd.repo[dvd]name=dvd...

2020-01-07 21:19:35 285

原创 web:Nginx调度器及优化

文章目录Nginx反向代理后端Web服务器两台，可以使用httpd实现拓扑结构部署实施后端Web服务器配置Nginx服务器，添加服务器池，实现反向代理功能配置upstream服务器集群池属性设置失败次数，超时时间，权重配置upstream服务器集群的调度算法设置相同客户端访问相同Web服务器Nginx的TCP/UDP调度器部署支持4层TCP/UDP代理的Nginx服务器配置Nginx服务器，添加服...

2020-01-06 18:41:48 504

原创 web:lnmp,fastCGI,地址重写

文章目录部署LNMPLNMP基础知识LNMP安装启动服务Nginx+FastCGIFastCGI工作原理FastCGI简介FastCGI缺点php-fpm配置文件修改Nginx配置文件并启动服务创建PHP页面，测试LNMP架构能否解析PHP页面LNMP常见问题地址重写修改配置文件(访问a.html重定向到b.html)步骤二：访问a.html重定向到b.html（跳转地址栏）修改配置文件(访问19...

2020-01-06 15:42:33 193

原创 CLOUD:Docker基础部署,命令,镜像

文章目录概述什么是容器什么是DockerDocker特性Docker优点Docker缺点部署Docker安装前准备安装DockerDocker镜像什么是镜像Docker hub镜像仓库下载、上传镜像导入、导出镜像Docker基本命令容器常见命令概述什么是容器容器技术已经成为应用程序封装和交付的核心技术容器技术的核心有以下几个内核技术组成:– Cgroups(Control Groups...

2020-01-06 11:17:58 210

原创 web:nginx基础及搭建

文章目录Nginx简介Nginx软件安装nginx查看默认安装模块Nginx进程管理Nginx配置分析用户认证Nginx虚拟主机三种模式虚拟主机基于域名的虚拟主机基于端口的虚拟主机基于IP的虚拟主机SSL虚拟主机Nginx简介Nginx(“engine X”)– 是俄罗斯人编写的十分轻量级的HTTP服务器– 是一个高性能的HTTP和反向代理服务器,同时也是一个IMAP/POP3/SMTP...

2020-01-04 10:43:25 591 1

原创 CLOUD:虚拟化,virsh管理

文章目录虚拟化主要厂商及产品kvmkvmＱＥＭＵLIBVIRTDkvm必备软件KVM虚拟机的组成管理KVM平台虚拟机管理虚拟网络管理qemu-img基本操作管理常见镜像类型qemu-img 命令查看镜像文件的信息创建虚拟机脚本虚拟化主要厂商及产品系列PC/服务器版代表VMwareVMware Workstation、vSphereMicrosoftVirtualP...

2020-01-02 09:15:24 249

LgMizar的博客