大叶子不小的博客

原创 grafana高可用和Alerting（七）

http://www.51niux.com/?id=247一、grafana版本升级1.1 还是先跟着官网简单走一波 建议经常升级Grafana，以获取最新的修补程序和增强功能。 为了实现这一点，Grafana升级向后兼容，并且升级过程简单快捷。升级通常是安全的（在许多次要版本和一个主要版本之间），并且仪表板和图形看起来相同。 在某些情况下，可能会有一些小的重大更改，如发行说明和变更日志中所述（https://github.com/grafana/grafana/blob/maste...

原创 HTTPDNS原理

聊聊 HTTP DNS 的工作方式。传统 DNS 存在的问题当我们发出请求解析 DNS 的时候，首先，会先连接到运营商本地的 DNS 服务器，由这个服务器帮我们去整棵 DNS 树上进行解析，然后将解析的结果返回给客户端。但是本地的 DNS 服务器，作为一个本地导游，往往有自己的“小心思”。一个最令人头痛的问题，相信每个人都遇到，就是域名劫持。HTTPDNS 概念HTTPNDS 不走传统的 DNS 解析，而是自己搭建基于 HTTP 协议的 DNS 服务器集群，分布在多个地点和多个运营商。当

原创 /proc/cpuinfo 文件分析(查看CPU信息)

转自：https://blog.csdn.net/cuker919/article/details/7635488/# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu..

原创 2021-04-29

首先我们向一个表中插入数据，具体格式如下， 插入 insert <measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,&...

原创 Zookeeper系列一：Zookeeper基础命令操作

前言 由于公司年底要更换办公地点，所以最近投了一下简历，发现面试官现在很喜欢问dubbo、zookeeper和高并发等。由于公司没有使用dubbo，只知道dubbo是一个远程服务调用的分布式框架，zookeeper为分布式应用程序协调服务。因此，本周查阅资料整理下zookeeper学习笔记。 安装zookeeper 安装参考链接https://blog.csdn.net/qiunian144084/article/details/79192819 基础命令操作 启动zk服务 ./zkServer

原创 Linux三剑客之awk命令

awk简介awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。awk是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如C语言等。在linux...

原创 kafka 消费者offset记录位置和方式

我们大家都知道，kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。首先来说说消费者如果是根据javaapi来消费，也就是【kafka.javaapi.consumer.ConsumerConnector】，我们会配置参数【zookeeper.connect】来消费。这种情况下，消费者的offset会更新到zookeeper的【consumers/{group}/offsets/{topic}/{partition}】目录下，例如：.

原创 rebalance的详细过程

Kafka 是我们最常用的消息队列，它那几万、甚至几十万的处理速度让我们为之欣喜若狂。但是随着使用场景的增加，我们遇到的问题也越来越多，其中一个经常遇到的问题就是：rebalance（重平衡）问题。什么是消费组要想了解 rebalance，那就得先了解消费组（consumer group）。消费组指的是多个消费者（consumer）组成起来的一个组，它们共同消费 topic 的所有消息，并且一个 topic 的一个 partition 只能被一个 consumer 消费。Kafka 为消费者

原创 kafka的Rebalance问题分析

一、什么是kafka的Rebalance   kafka集群模式下，一个topic有多个partition，对于消费端，可以有多个consumer同时消费这些partition。为了保证大体上partition和consumer的均衡性，提升topic的并发消费能力，所以会有Rebalance。Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 ...

原创 Grafana之Graph Panel使用(第六篇)-巨好用，巨详细

Graph是Grafana的原生插件。使用Graph Panel，可以将数据展示成折线、条状、点状等风格。Graph是Grafana展示数据的缺省图形面板，它提供了一组非常丰富的绘图选项。① Draw Modes(绘图模式)包括：Bars(条状)；Lines(折线，默认选项)；Points(点状)。如图1所示。② Mode Options(各绘图模式选项)包括如下设置：Fill(填充)，可选数字为：0-10，若设置为0，则没有"Fill Gradient"Fill Gradient(填充渐变)，可选数字为：

原创 csdn博客图片复制不过来怎么办？如何转载？

起意        看到一篇不错的博客，想转载但是不会（没有转载键），网搜发现没有Chrome浏览器的详细转载办法实践 检查。在喜欢的博客页面右键（用快捷键ctrl+shift+I也行只是比较难找到相应想要的html码）选择“检查”，出现如下界面： 找目标。把鼠标停靠在上图中“类...

原创 Kafka日志删除源码分析

昨天Kafka集群磁盘容量达到了90%，于是赶紧将Log的保存时间设置成24小时，但是发现设置完之后Log仍然没有被删除。于是今天特意去看了一下Kafka日志删除相关的代码，于是有了这篇文章。　　在使用Kafka的时候我们一般都会根据需求对Log进行保存，比如保存1天、3天或者7天之类的，我们可以通过以下的几个参数实现： log.retention.hours log.retention.minutes log.retention.ms 这三个参数设置一个即可，Lo

原创 分布式原理：一文了解 Gossip 协议

gossip 是什么gossip 协议（gossip protocol）又称 epidemic 协议（epidemic protocol），是基于流行病传播方式的节点或者进程之间信息交换的协议，在分布式系统中被广泛使用，比如我们可以使用 gossip 协议来确保网络中所有节点的数据一样。从 gossip 单词就可以看到，其中文意思是八卦、流言等意思，我们可以想象下绯闻的传播（或者流行病的传播）；gossip 协议的工作原理就类似于这个。gossip 协议利用一种随机的方式将信息传播到整个网络中.

原创 linux grep匹配指定位数数字

1、创建测试数据[root@linuxprobe test3]# echo {1..300} | xargs -n 15 > a.txt[root@linuxprobe test3]# cat a.txt1 2 3 4 5 6 7 8 9 10 11 12 13 14 1516 17 18 19 20 21 22 23 24 25 26 27 28 29 3031 32 33 34 35 36 37 38 39 40 41 42 43 44 4546 47 48 49 50 51.

原创 linux 的sort命令

sort：可以实现依据不同的数据类型进行排序，其语法及常用参数格式如下：sort [-bcfMnrtk][源文件][-o 输出文件] 补充说明：sort可针对文本文件的内容，以行为单位来排序。 参　　数： -b 忽略每行前面开始出的空格字符。 -c 检查文件是否已经按照顺序排序。 -f 排序时，忽略大小写字母。 -M 将前面3个字母依照月份的缩写进行排序。 -n 依照数值的大小排序。 -o&...

原创 Kafka常用JMX监控指标整理【实战笔记】

https://kafka.apache.org/22/documentation.html一、系统相关指标二、GC相关指标三、JVM相关指标四、Topic相关指标五、Broker相关指标一、系统相关指标1.系统信息收集java.lang:type=OperatingSystem{"freePhysicalMemorySize":"806023168","maxFileDescriptorCount":"4096","openFileDescriptorCount":".

原创 如何用awk计算相邻两行相减

N行减去N-1行（N>1），这样可以用下面的代码：计算字段是其他字段，比如$2或 $3，可以将公式里面的$1做相应更改。

原创 netstat查看端口状态

netstatnetstat -tunlp用于显示 tcp，udp 的端口和进程等相关情况。netstat 查看端口占用语法格式：netstat -tunlp | grep 端口号-t (tcp) 仅显示tcp相关选项 -u (udp)仅显示udp相关选项 -n 拒绝显示别名，能显示数字的全部转化为数字 -l 仅列出在Listen(监听)的服务状态 -p 显示建立相关链接的程序名例如查看 8000 端口的情况，使用以下命令：# netstat -tunlp | grep .

原创 Kafka学习之路 （五）Kafka在zookeeper中的存储

目录一、Kafka在zookeeper中存储结构图二、分析2.1　topic注册信息2.2　partition状态信息2.3　Broker注册信息2.4　Controller epoch2.5　Controller注册信息2.6　补充Consumer and Consumer group2.7　Consumer均衡算法2.8　Consumer注册信息2.9　Consumer owner2.10　Consumer offset2.11　Re-assig.

原创 Apache Kafka中Follower如何从Leader fetch消息

重要名词解释：log end offset (logEndOffset)，表示log中最后的message的offst位置.high watermark (HW)，表示Partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个Broker缓存中维护此信息,并不断更新。Kafka中replication复制数据Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制。完全同步复制要求All Alive Fo...

原创 时序数据库InfluxDB使用详解

https://www.linuxdaxue.com/influxdb-study-influxdb-transformations-funcitons.html#title-0目录1 安装配置2 重要概念timestampfield key，field value，field settag key，tag value，tag setmeasurementretention policyseriespointdatabase3 特色函数GROUP B.

原创 Kafka 不停机修改某一个topic数据保存时间

查看topic信息./kafka-topics.sh --describe --zookeeper zk:2181 --topic topicName16:05:29 INFO zkclient.ZkClient: zookeeper state changed (SyncConnected)Topic:topicName PartitionCount:3 ReplicationFactor:3 Configs: Topic: topicNam...

原创 linux系统如何查看IO

首先 、用top命令查看top - 16:15:05 up 6 days, 6:25, 2 users, load average: 1.45, 1.77, 2.14Tasks: 147 total, 1 running, 146 sleeping, 0 stopped, 0 zombieCpu(s): 0.2% us, 0.2% sy, 0.0% ni, 86.9% id, 12.6% wa, 0.0% hi, 0.0% siMem: 4037872k to...

原创 Linux iostat命令详解

iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析常见命令展示iostat 安装 1 # iostat属于sysstat软件包。可以直接安装。 1 yum installsy..

原创 linux 命令之jq

jq命令允许直接在命令行下对JSON进行操作，包括分片、过滤、转换等JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。基于JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一个子集JSON 数据的书写格式是： 名称/对象。JSON的结构基于两点“名称/值”的集合 ,在不同的语言中,它可以被理解为对象(object)，记录(record)，结构(struct)，字典(dictionary)，

原创 python 简单遍历数组

其他语言中遍历数组: for(inti = 0; i < list.Length; i++) { 　　System.out.println(list[i]); } 　python中遍历数组:for item in sequence: print item但是python上面的方法不能取到索引,需要取到索引索引可以:for index in range(len(sequence)): print index,sequ..

原创 实用:python字典中默认值的取法

原创 Mongo使用skip()和limit()进行分页

mongo分页：使用skip()和limit()命令：db.myCollection.find().sort({"_id":1}).skip(10).limit(10)sort将数其根据_id排序，这步很重要skip指跳过前10条记录，也可以说是从第10条开始limit限制查询10条数据结果为按_id升序排序后的第10-19条的数据Spring mongo实现：————————————————版权声明：本文为CSDN博主「禾女白儿厶」的原创文章，遵循CC 4.0 BY-S

原创 mysql column key mul_请问 mysql key这列里的MUL是什么意思，怎么加呢

http://dev.mysql.com/doc/refman/5.1/en/show-columns.htmlThe Key field indicates whether the column is indexed:If Key is empty, the column either is not indexed or is indexed only as a secondary column in a multiple-column, non-unique index.If Key is

原创 从零开始入门 K8s | 手把手带你理解 etcd

一、etcd 项目的发展历程etcd 诞生于 CoreOS 公司，它最初是用于解决集群管理系统中 OS 升级的分布式并发控制以及配置文件的存储与分发等问题。基于此，etcd 被设计为提供高可用、强一致的小型 keyvalue 数据存储服务。项目当前隶属于 CNCF 基金会，被 AWS、Google、Microsoft、Alibaba 等大型互联网公司广泛使用。最初，在 2013 年 6 月份由 CoreOS 公司向 GitHub 中提交了第一个版本的初始代码。到了 2014 年的 6 月

原创 TypeError: object of type ‘Cursor‘ has no len()

现象：在使用pymongo时，使用find()函数返回了一个Cursor类型的查询结果。当时认为返回的是一个list，所以在后面的循环中直接使用了len()函数来求长度。但是报错如标题信息，意思是返回的数据是Cuersor类型，不支持len()函数。解决方式：使用 .count()...

原创 MySQL中Cardinality介绍

参见：https://www.pianshen.com/article/26011430107/1) 什么是Cardinality不是所有的查询条件出现的列都需要添加索引。对于什么时候添加B+树索引。一般的经验是，在访问表中很少一部分时使用B+树索引才有意义。对于性别字段、地区字段、类型字段，他们可取值范围很小，称为低选择性。如SELECT * FROM student WHERE sex='M'按性别进行查询时，可取值一般只有M、F。因此SQL语句得到的结果可能是该表50%...

原创 WSGI，uwsgi， uWSGI详解

WSGI全称：Web Server Gateway Interface 翻译过来就是Web服务器网关接口；WSGI是一个规范协议，定义了Web服务器如何与Python应用程序进行交互，使得使用Python写的Web应用程序可以和Web服务器对接起来。在WSGI中定义了两个角色，Web服务器端称为server或者gateway，应用程序端称为application或者framework（因为WSGI的应用程序端的规范一般都是由具体的框架来实现的）。我们下面统一使用server和application这两

原创 给 Django 日志加上 request id,方便追踪请求

注：本文大部分内容参考自：https://blog.csdn.net/handsomekang/article/details/78661392但是因为原文有些点没有说的太清楚，不是面向初学者的，特把相关点说清楚request id 用来标识同一个请求的日志，方便检索和分析。request_id用一个小算法自动生成。如果请求头有 X-Request-ID，就用请求头的，这样一个请求涉及多个服务调用的时候可以把request_id带过去，标识为同一个请求的request_id.下面是代码示例

原创 linux下使用Mongodb命令笔记

在工作中使用mongodb时的一些笔记整理。1.连接mongodbmongo 远程主机ip或DNS:MongoDB端口号/数据库名 -u user -p passworde.g.: mongo 192.168.1.200:27017/test -u user -p password若在安装mongo的服务器上访问本地mongo,可直接执行 mongo2.shell基本操作命令show dbs:显示数据库列表show collections：显示当前数据库中的集合（类似关系数据..

原创 uwsgi没有启动日志

本文讲述不涉及配置，仅为服务器宕机产生的BUG事情是这样的，今天看了一下服务器的uwsgi.log文件，发现自7月26那天后就没有更新过，作为一个实时受到外部访问的web项目服务器，这显然是不科学的，于是我用了各种办法，比如：提高文件权限、更改文件权限用户、更改uwsgi的日志部分配置、多次重启uwsgi均无解。之后发现是7月26号那天服务器宕掉了，导致这个日志系统出了问题，重启uwsgi后uwsgi句柄还是之前的句柄且这时候日志通道已经坏掉，后续每次的直接reload uwsgi都还是原来通道坏掉

原创 安装mongo的过程及坑

参见：https://docs.mongodb.com/v3.2/tutorial/manage-users-and-roles/第一步下载MongoDB 提供了 linux 各发行版本 64 位的安装包，你可以在官网下载安装包。下载地址：https://www.mongodb.com/download-center#community下载完安装包，并解压tgz（以下演示的是 64 位 Linux上的安装） 。curl -O https://fastdl.mongodb.org/l..