自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Prometheus监控系列之一:Prometheus监控入门

完善的监控流程体系是一个公司非常重要的部分。接下来会根据下图进行解释监控流程中的部分 1、监控系统设计(运维架构师): 这部分是由运维架构师进行设计,设计部分主要包括如下内容: 评估系统的业务流程、业务种类、架构体系 各个企业的产品不同、业务方向不同、程序代码不同、系统架构更不同...

2020-01-04 15:52:48

阅读数 22

评论数 0

原创 Zabbix系列之五:监控 web场景构建、聚合图形

场景构建 在172机器上执行:echo "hadoop_test" >> /usr/local/nginx/html/test.html 测试: 触发器创建 设置好之后进行test,正常图见下 ...

2019-12-31 19:34:41

阅读数 11

评论数 0

原创 Zabbix系列之四:Nginx并发监控

安装nginx 首先需要下载nginx安装tar包,地址为:http://nginx.org/download/,并将其上传至机器,对其进行解压 > tar -zxvf nginx-1.2.6.tar.gz > yum -y install pcre pcre-devel z...

2019-12-30 09:00:23

阅读数 5

评论数 0

原创 Zabbix系列之三:添加监控主机/自动发现

监控主机 新创建一台Linux虚拟机,在此虚拟机上只安装httpd和zabbix-agent服务即可 自动发现 再新创建两台虚拟机,并对其进行开启httpd和zabbix-agent服务(173和174) 自动发现操作...

2019-12-28 09:48:22

阅读数 4

评论数 0

原创 Zabbix系列之二:zabbix监控快速搭建

一、初始化系统配置 关闭防火墙 禁用SELINUX 开启网卡 替换yum源 二、安装LAMP环境 yum -y install mariadb mariadb-server httpd php php-mysql systemctl start htt...

2019-12-27 16:19:39

阅读数 2

评论数 0

原创 Zabbix系列之一:Zabbix概述

Zabbix是一个基于web界面的提供分布式系统监控以及网络监视功能企业级的完全开源解决方案(基于GPL V2)。Zabbix可监控10万设备,20万个指标(在对mysql切片优化后),可监控database,可监控web monitoring,,web响应代码,响应时间等,可定义监控指标,可监控...

2019-12-27 10:31:02

阅读数 7

评论数 0

原创 大数据运维面试题整理

HDFS总结: 1、HDFS是如何解决大规模数据的存储和管理的 2、HDFS的架构原理和各核心组件的作用及关系 3、HDFS文件系统数据的读写流程 4、HDFS的HA的架构原理及核心 5、HDFS的Federation机制 6、HDSF的HA和Federation的区别 ...

2019-11-30 15:09:26

阅读数 19

评论数 0

原创 IDEA超详细使用介绍之一idea下载安装及项目构造

一、IDEA下载与安装 登录idea官网:http://www.jetbrains.com/idea/ 双击运行程序进行安装 双击APP打开 Activation Code 获取地址自行百度 表明已激活成功。 二、IDEA相关介绍 1、构建第一...

2019-11-22 13:20:10

阅读数 12

评论数 0

原创 IDEA超详细使用教程之二、主题设置、自动导包及快捷键设置

3、主题外观设置 4、设置鼠标滑轮修改字体大小及鼠标悬浮提示 5、设置自动导包功能 6、设置显示代码行号及方法间的分隔符 7、设置忽略大小写提示及文件多行显示tabs 多行显示: 8、设置单行多行及文档注释的颜色 ...

2019-11-22 13:14:31

阅读数 13

评论数 0

原创 IDEA超详细使用教程之三Maven配置

四、Maven配置 1、maven下载与安装 maven下载地址:http://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/ 将下载后的tar包直接进行解压,之后配置环境变量(我的电脑->属性-> 高级系统设置->...

2019-11-22 11:44:42

阅读数 4

评论数 0

原创 从零开始入门 K8s

一、什么是Kubernetes Kubernetes,从官方网站上可以看到,它是一个工业级的容器编排平台。Kubernetes 这个单词是希腊语,它的中文翻译是"舵手"或者"飞行员"。在一些常见的资料中也会看到"ks"这个词,也就是...

2019-10-15 16:47:29

阅读数 24

评论数 0

原创 hadoop fs常用到的命令整理

一、hdfs基本操作 hadoop fs与hdfs dfs等价 1.如何查看hdfs子命令的帮助信息,如ls hdfsdfs -help rmdir 2.查看hdfs文件系统中已经存在的文件 hdfsdfs -ls / hadoop fs -ls / 3.在hdfs文件系统中...

2019-08-30 17:31:05

阅读数 7403

评论数 1

转载 深入浅出系列之 -- Kafka 权限管理实战

一、概述 1、Kafka的权限分类 1)、身份认证(Authentication):对client 与服务器的连接进行身份认证,brokers和zookeeper之间的连接进行Authentication(producer 和 consumer)、其他 brokers、tools与 brok...

2019-08-21 14:29:46

阅读数 450

评论数 0

原创 深入浅出系列之 -- Kafka最佳部署实践

这是一篇关于 Kafka 实践的文章,内容来自 DataWorks Summit/Hadoop Summit(Hadoop Summit)上的一篇分享,里面讲述了很多关于 Kafka 配置、监控、优化的内容,绝对是在实践中总结出的精华,有很大的借鉴参考意义,本文主要是根据 PPT 的内容进行翻译及...

2019-08-21 10:35:19

阅读数 50

评论数 0

原创 深入浅出系列之 -- Kafka核心设计与实践原理

一、基础概念 体系结构 Producer:生产者 Consumber:消费者 Broker:服务代理节点(kafka实例) 消息存储 主题(Topic):kafka消息以topic为单位进行归类,逻辑概念 分区(Partition): ...

2019-08-16 15:42:05

阅读数 88

评论数 0

原创 深入浅出系列之 -- MySQL的数据增量同步到kafka

一、架构介绍 生产中由于历史原因web后端,mysql集群,kafka集群(或者其它消息队列)会存在以下三种结构。 1 .数据先入mysql集群,再入kafka 数据入的MySQL集群是不可更改的,如何再高效的将数据写入kafka呢? A),在表中存在自增ID的字段,然后根据ID,定期扫...

2019-08-13 15:06:55

阅读数 232

评论数 0

原创 深入浅出系列之 -- 如何为kafka集群选择合适的Topics/Partitions数

这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。 1)在producer和brok...

2019-08-13 09:27:34

阅读数 54

评论数 0

原创 深入浅出系列之 -- kafka高可用机制|存储机制

对于一个复杂的分布式系统,如果没有丰富的经验和牛逼的架构能力,很难把系统做得简单易维护,我们都知道,一个软件的生命周期中,后期维护占了70%,所以系统的可维护性是极其重要的, kafka 能成为大数据领域的事实标准,很大原因是因为运维起来很方便简单,今天我们来看下 kafka 是怎么来简化运维操作...

2019-08-10 06:50:17

阅读数 34

评论数 0

原创 深入浅出系列之 -- acks参数对消息持久化的影响

写在前面 : 面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响? 这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,...

2019-08-09 20:45:28

阅读数 113

评论数 0

原创 深入浅出系列之 -- kafka分区分配策略

生产者的分区分配 对于用户而言,当调用send方法发送消息之后,消息就自然而然的发送到了broker中。其实在这一过程中,有可能还要经过拦截器、序列化器和分区器(Partitioner)的一系列作用之后才能被真正地发往broker。 producer.send(record); 消息...

2019-08-09 17:26:21

阅读数 146

评论数 0

原创 深入浅出系列之 -- kafka消费者的三种语义模型

本文主要详解kafka client的使用,包括kafka消费者的三种消费语义at-most-once,at-least-once,和exact-once message,生产者的使用等。 创建主题 bin/kafka-topics.sh --zookeeper localhost:21...

2019-08-08 20:44:28

阅读数 633

评论数 0

原创 深入浅出系列之 -- kafka调优

背景引入:很多同学看不懂kafka参数 今天给大家聊一个很有意思的话题,大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候,是需要对客户端设置很多的参数的。所以我就见过很多同学,可能刚刚加入团队,对Kafka这个技术其实...

2019-08-07 15:20:07

阅读数 76

评论数 0

原创 深入浅出系列之 -- kafka介绍

前言: 官网解释: Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的...

2019-08-07 14:09:58

阅读数 93

评论数 0

原创 hadoop 3.0新特性简单介绍

过去十年,Apache Hadoop从无到有,从理论概念演变到如今支撑起若干的生产集群。接下来的十年,Hadoop将继续壮大,并发展支撑新一轮的更大规模、高效和稳定的集群。 本文将向大家全面介绍即将到来的Apache Hadoop 3.0新版本——从版本发布状态、背后的故事,到如HDFS e...

2019-07-27 12:55:49

阅读数 296

评论数 0

转载 百PB级Hadoop集群存储空间治理方案

现在这个世道,随便什么公司什么人都张嘴闭嘴大数据,连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。 但也真有不少公司是真的有足够大的数据量的,也确实是在用心做大数据。这些公司通常规模不小,但盈利不一定理想。就算能稳定盈利,也一定有不小的成本压力。因为,大数据如果真的够大,是真的很费钱。以...

2019-07-27 12:11:31

阅读数 126

评论数 0

原创 GRPC协议

本文会介绍gRPC和协议缓冲。gRPC可以使用协议缓冲作为它的IDL和底层信息交换格式。如果你刚接触gRPC或者协议缓冲,那就看本文!如果你想深入或者实战,查看Quick Starts。 概述在GRPC里,客户端可以直接调用不同机器上的服务应用的方法,就像是本地对象一样,所以创建分布式应用...

2019-07-24 13:58:23

阅读数 709

评论数 0

原创 JVM简单介绍及优化

JVM运行时内存区域 java虚拟机在执行java程序的过程中,会把自己所管理的内存划分为几个不同的区域。每个区域的作用不同,创建和销毁的时间也不同。java虚拟机所管理的内存分为以下几个运行时区域: 方法区 方法区(Method Area)是被所有线程共享区域,...

2019-07-24 13:14:57

阅读数 54

评论数 0

原创 Hadoop 3.x版本增添特性--纠删码介绍

在hadoop 3.0版本中增添了一些新的特性,比如NameNode联邦,纠删码,yarn时间线服务等。纠删码可以将HDFS的存储开销降低约50%,同时与三分本策略一样,还可以保证数据的可用性。更准确的说是纠删码是一种比副本存储更节省存储空间的数据持久化存储方法。比如Reed-Solomon(10...

2019-07-23 15:35:37

阅读数 186

评论数 0

原创 MySQL深层优化原理

说起MySQL的查询优化,相信大家积累一堆技巧:不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型….. 你是否真的理解这些优化技巧?是否理解其背后的工作原理?在实际场景下性能真有提升吗?我想未必。因而理解这些优化建议背后的原理就尤为重要,希望本文能让你重新审视这...

2019-07-16 17:09:10

阅读数 130

评论数 0

原创 hadoop balancer简单介绍及balancer平衡速度的优化

hadoop balance官网介绍: HDFS data might not always be be placed uniformly across the DataNode. One common reason is addition of new DataNodes to an ex...

2019-07-16 11:34:07

阅读数 164

评论数 0

原创 深入理解Hadoop HDFS

1. 介绍 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中,引入网络,就不可避免地引入了所有网络编程的复杂性,例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统(NFS)虽然也称为分布式文...

2019-07-06 15:46:38

阅读数 133

评论数 0

原创 Hadoop入门知识

其实Hadoop诞生至今已经十多年了,网络上也充斥着关于Hadoop相关知识的的海量资源。但是,有时还是会使刚刚接触大数据领域的童鞋分不清hadoop、hdfs、MapReduce和Yarn等等技术词汇。 Hadoop Hadoop是ASF(Apache软件基金会)开源的,根...

2019-07-05 22:31:14

阅读数 91

评论数 0

原创 MySQL企业常见架构与调优

一、常用的MySQL调优策略 硬件层相关优化 修改服务器BIOS设置 1)、选择PerformancePerWattOptimized(DAPC)模式,发挥CPU最大性能 2)、MemoryFrequency(内存频率)选择MaxIMUNPerformce(最佳性能) ...

2019-07-05 15:47:09

阅读数 842

评论数 2

原创 企业集群平台架构实现与应用实战

四层与七层负载均衡的区别 所谓的四层就是ISO参考模型中的第四层。四层负载均衡也称为四层交换机,它主要是通过分析IP层及TCP、UDP层的流量实现的基于IP加端口的负载均衡。常见的基于四层负载均衡器有LVS,F5等。 以常见的TCP应用为例,负载均衡器在接收到第一个来自客户端的SYN请求时,会通...

2019-07-03 15:12:32

阅读数 53

评论数 0

原创 线上Linux服务器优化--系统调优

一、Linux故障排查思路 1、重视报错提示信息 每个错误的出现,都是给出错误提示信息,一般情况下这个提示基本定位了问题的所在。因此一定要重视这个报错信息,如果对这些错误信息视而不见,问题永远得不到解决。 2、永远不要忘记日志文件 日志是排查问题的第一思路,一定要学会查看日志的习惯。 ...

2019-07-01 20:11:06

阅读数 239

评论数 0

原创 企业集群平台架构实现与应用实战之LVS集群常见架构

一、LVS集群常见架构: Load Balancer层(上图没有使用HA高可用):位于整个集群系统的最前端,由一台或多台负载调度器(Director Server)组成。LVS核心模板IPVS就安装在Director Server上,而Director的主要作用类似于一个路由器,它含有...

2019-06-21 16:25:39

阅读数 74

评论数 0

原创 kerberos理论知识

一、什么是kerberos Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止...

2019-04-24 10:23:16

阅读数 377

评论数 0

原创 如何使用Apache Hadoop中的新HDFS数据节点内磁盘平衡器

> HDFS现在包括(在CDH 5.8.2及更高版本中提供)一种用于跨节点移动数据的综合存储容量管理方法。 在hdfs中,datanode将数据块分散到本地文件系统目录中,可以使用hdfs-site.xml中的dfs.datanode.data.dir指定该目录。在典型的安装中,每个目录...

2019-04-09 12:30:28

阅读数 159

评论数 0

原创 如何在hadoop中处理小文件

一、什么是小文件     小文件一般是指明显小于Hadoop的block size(hadoop 1.x中默认是64M,hadoop 2.x中默认是128M)的文件。Hadoop的block size一般是64MB,128MB或者256MB,现在一般趋向于设置的越来越大。后文要讨论的内容为什么...

2019-02-20 21:52:16

阅读数 387

评论数 0

原创 关于阿里飞天系统中分布式系统底层各服务的介绍

一、协调服务(女蜗) 女娲(Nuwa)系统为飞天提供高可用的协调服务(CoordinationService),是构建各类分布式应用的核心服务,它的作用是采用类似文件系统的树形命名空间来让分布式进程互相协同工作。例如,当集群变更导致特定的服务被迫改变物理运行位置时,如服务器或者网络故障、配...

2019-02-19 16:24:36

阅读数 395

评论数 0

提示
确定要删除当前文章?
取消 删除