2019年12月_wc1695040842

原创 ELK-收集微服务日志

前面已经收集了nginx的日志了，现在来收集下微服务的日志。我这里分别收集两台服务器上的三个微服务的日志。一、安装filebeat就像之前的elk一样，客户端上的filebeat也放到/usr/local/elkstack/这个目录下，并用elkstack这个用户启动。[root@ms1 ~]# useradd elkstack[root@ms1 ~]# mkdir -p /usr/lo...

2019-12-16 16:58:55 1231 2

原创 ELK-kibana绘图

之前已经完成了nginx日志的收集。还记得之前定义的nginx的日志格式么？这么多的字段，我可以在kibana中根据各种维度来绘图，话不多说，开干吧。一、简单了解在开始之前，先了解下可以绘制哪些图点击"可视化"–>"新建可视化"可以看到所有可以绘制的类型二、统计客户端类型饼图应该算是比较常用的了，其实像是客户端类型、异常状态码这种结果不止一个但是数量又不是很多的字段是非常合适的。...

2019-12-16 14:38:26 976

原创 ELK-收集nginx日志

前面已经搭建好了ELK的基础环境，现在我们可以开始收集日志了，那就从收集nginx日志开始吧。一、把nginx日志json化收集nginx日志之前，最好是把nginx的日志格式给json化，这样可以大大的方便我们收集和查看日志。修改nginx的配置文件，增加json日志格式。 log_format access_json '{"clientip":"$remote_addr",' ...

2019-12-16 14:11:22 846 1

原创 ELK-7.4.0基础环境安装

elk这个环境，之前在其他公司也部署过，这次特意在这整理下。在开始之前，我一直在纠结几个问题：1、是用tar包安装还是直接用yum安装2、elasticsearch、logstash是用集群还是单机的3、到底用不用消息中间件，用的话是用redis还是kafka4、logstash和filebeat选择哪个作为客户端的日志收集工具在经过一番思想斗争和规划后，我决定了：第一个问题：用ta...

2019-12-16 14:03:16 862

1、创建一个topic创建一个有3分分区，每个分区有3个副本，名字叫kafkatesttopic的topic[kafka@node1 ~]$ kafka-topics.sh --create --zookeeper 192.168.0.141:2181,192.168.0.142:2181,192.168.0.143:2181/kafkagroup --partitions 3 --repli...

2019-12-16 13:14:42 138

原创 kafka集群安装

一、环境准备主机名IP地址作用node1192.168.0.141kafka节点1node2192.168.0.142kafka节点2node3192.168.0.143kafka节点3这里选择安装3个节点的kafka作为集群。二、安装kafka1、安装zookeeperkafka使用zookeeper来存储一些meta信息，并使用了zo...

2019-12-16 13:11:36 410

转载 kafka的版本号

今天聊聊kafka版本号的问题，这个问题实在是太重要了，我觉得甚至是日后能否用好kafka的关键。上一节我们介绍了kafka的几种发行版，其实不论是哪种kafka，本质上都内嵌了最核心的Apache kafka，也就是社区版kafka，那今天我们就说说Apache kafka版本号的问题。在开始之前，先强调一下，后面出现的所有"版本"这个词都表示kafka具体的版本号，而非上一节中介绍kafka种...

2019-12-16 11:40:25 1109

转载应该选择哪种kafka

我们上一节谈了kafka当前的定位问题，kafka不再是一个单纯的消息引擎系统，而是能够实现精确一次(exactly-once)语义处理的实时流平台。我们到目前为止所说的kafka都是Apache kafka。kafka是Apache社区的一个顶级项目，如果我们把视角从流处理平台扩展到流处理生态圈，kafka其实还有很长的路要走，毕竟是半路出家转型成流处理平台的。前面我们提到过kafka stre...

2019-12-16 11:37:52 183 2

转载 kafka只是消息引擎系统吗

kafka真的只是消息引擎系统吗？要搞清楚这个问题，就要从kafka的发展历史说起，纵观kafka的发展历史，它确实是消息引擎起家的，但它不仅是一个消息引擎系统，同时也是一个分布式流处理平台(distributed stream processing platform)。如果这一节你只能记住一句话的话，那我希望你能记住，kafka虽然是消息引擎起家，但它不仅是一个消息引擎，还是一个分布式流处理平台...

2019-12-16 11:35:14 189

转载 kafka专业术语

在kafka的世界中有很多概念年和术语是需要我们提前理解并且熟练掌握的，下面来盘点下。之前我们提到过，kafka属于分布式的消息引擎系统，主要功能是提供一套完善的消息发布与订阅方案。在kafka中，发布订阅的对象是主题（topic），可以为每个业务、每个应用、甚至是每一类数据都创建专属的主题。向主题发布消息的客户端应用程序称为生产者（producer），生产者通常持续不断地向一个或多个主题发送...

2019-12-16 11:32:14 312

转载消息引擎系统介绍

kafka是什么？kafka是一款开源的消息引擎系统。如果消息引擎系统这个词对你来说有点陌生的话，那么"消息队列"、“消息中间件"你一定是有所耳闻的。对于kafka来说，如果叫消息队列，那么仿佛是在暗示kafka使用队列的方式构建的，如果叫消息中间件，又过度夸张"中间件”，让人搞不清楚这个中间件到底是干嘛的。而kafka在国外有一个专属的名字，叫做Message System，之所以翻译成消息引擎...

2019-12-16 11:30:11 1517

原创 kafka简介

一、什么是kafkakafka是一种消息中间件。在了解kafka之前，我们先来了解下什么是消息中间件。消息中间件是在消息的传输过程中保存消息的容器，作用就是中介的作用。消息中间件就像是快递员，把东西给我，告诉我送给谁，你去忙你的吧。1、采用异步处理模式消息发送者可以发送一个消息而无需等待响应。消息发送者将消息发送到一条虚拟的通道（主题或队列）上，消息接收者订阅或是监听该通道。一条消息可...

2019-12-16 11:27:42 188

原创 zookeeper图形化管理界面--zkui的安装使用

在安装完成zookeeper之后，可以通过命令来实现对节点的增删改查操作。但是命令行在使用的过程中不是很方便。就拿我们现在的项目来举例子，我们用zookeeper来做配置中心，微服务的配置文件非常的多，如果通过命令行来进行增删改查的操作的话，不仅工作量大，而且出错的概率也比较大。出于上面的原因，我这边选择了zkui这个zookeeper的可视化web客户端作为zookeeper的管理工具。一...

2019-12-16 10:50:47 2996 1

原创 zookeeper常用命令

zookeeper安装完之后在$ZOO_HOME/bin/下自带了一个客户端连接工具--zkCli.sh。常用的zkCli的命令有：create,ls,ls -s,stat,delete,deleteall,get,set等。[root@node1 ~]# zkCli.sh......[zk: localhost:2181(CONNECTED) 0] help #查看命令帮助提示Zoo...

2019-12-16 10:33:42 257

转载 Zookeeper简介

一、什么是zookeeperZookeeper是一个开源的、分布式的、用于协调分布式服务的协调服务。是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。Zookeeper已经成功的在许多的项目中应用了，例如知名的Yahoo公司。现在是Apache的顶级项目。Zookeeper是一种集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务。所有的分布式服务都需...

2019-12-16 10:21:32 514

嘻哈王大头