王义凯 的博客

数据湖是将公司所有数据，外部数据，不知道要不要用的数据放在一起，通过一定的数据治理，让数据可以被发现，被理解，以用于交叉查询或机器学习的研究。数据湖不麻烦，管理数据湖中的数据最麻烦，一不小心就会变成数据沼泽。没人知道里面有什么数据，从哪来的，是干嘛的。目前市面上流行的三大开源数据湖方案分别为：DeltaLake, Hudi, Iceberg 。

hive 行转列，列转行

增量，全量，全库将数据在关系型数据库MySQL,Oracle,Postgre以及Hive，HDFS之间进行数据同步操作，允许自动映射数据类型，还有很多其他参数如分隔符，文件格式，编码等参数请参考官方手册按需进行配置。

1. 将方法转变为函数2. 表示集合里的每个元素3. 获取元组Tuple中的元素4. 模式匹配5. 队列匹配6. 通配符7. 变长参数8. 初始化变量

目录前言准备工作配置Connector注册启动Connector验证CDC尾巴CDC系列：CDC系列（一）、Canal 集群部署及使用（带WebUI）CDC系列（二）、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka前言前两篇我们介绍了CDC工具，以及利用Canal和Maxwell监控mysql操作日志并写入kafka，本篇我们来讲解另一个CDC工具：debezium。debezium不仅仅支持mysql的监控，目前最新版已支持mysql

Confluent 由kafka的核心成员成立，目前最新版Confluent为v5.5.1版本，对应的kafka版本为Apache Kafka_v2.5.0，在Confluent中不仅包含了kafka，还有下面几个组件，增强了kafka的功能也大大提升了kafka的易用性。KSQL：通过SQL查询topic内的数据；Confluent Connetors：支持配置HDFS，Cassandra，MySQL，Oracle，Postgre，MongoDB，Kudu等数据源的source和sink；Conf

Lenses 是kafka的一个商用套件，本次我们使用docker安装他们给我们提供的开源版本，该开源版本包含超多组件，对于平时开发使用来说很友好，不需要去安装一堆开发组件，它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent REST Proxy 以及几个lenses开源的管理ui界面kafka-topics-ui, schema-registry-ui, kafka-connect-ui，

在上一篇我们介绍了CDC工具，以及Canal的集群安装和使用，本篇我们来讲解另一个CDC工具：Maxwell。和Canal一样，Maxwell也是将自己伪装成MySQL的slave节点，通过监控MySQL的binlog来将数据操作日志同步到kafka等消息队列中供异构数据源使用。本篇我们会介绍Maxwell的安装和使用。和Canal一样，一定要至少准备一个MySQL库用于Maxwell的管理库存放状态信息以及用来监控的MySQL库，监控到的binlog导出到kafka，因此也需要准备kafka

CDC（Change Data Capture）是一种捕获数据修改的技术方案，常常应用于异构数据源之间的数据同步。通常有两种解决方案：批式定时根据查询条件采集变更数据、监控数据源的操作日志。对于第一种批式的方案好处是门槛低成本低但坏处是可能会造成数据丢失以及数据有延迟等等，第二种日志方案好处很明显，比如对数据源侵入性低，数据时效性更高，不会有数据丢失的风险等等。在目前的关系型数据库中如MySQL、Oracle、SQLServer、Postgre等都提供了用于同步的日志解决方案，如MySQL基于binlog在

本篇是kafka系列的第五篇，介绍kafka配置安全认证SASL以及ACL权限控制，并使用控制台和python访问开启了SASL认证的kafka集群。

本篇是kafka系列的第四篇，介绍kafka消费者策略，分区分配策略，Rebalance重分配策略，以及offset存储机制

本篇是kafka系列的第三篇，介绍kafka生产者的分区策略、ISR、ACK机制，故障处理，一致性语义，Exactly Once精准一次性语义等

本篇是kafka系列的第二篇，介绍kafka的架构原理，工作流程以及存储机制，然后讲解了kafka为什么这么高性能高吞吐的原因及优化的点。

本篇是kafka系列的正式第一篇，首先介绍搭建kafka集群。Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

目录下载安装简单使用Zookeeper系列：Zookeeper系列（一）、基础概念Zookeeper系列（二）、核心原理zk的安装很简单，这里简单介绍一下。下载清华镜像下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/v3.5.8安装又拿出了我的三台渣机器：wyk01,wyk02,wyk031. wyk01：解压下载的zk安装包#解压tar -zxvf apache-zookee.

在前面的篇章中我们介绍了分布式文件系统HDFS 以及列式存储HBase，HDFS提供了可以横向扩展的存储引擎，适合离线分析场景，不适合于随机读写。HBase适合于随机读写，但由于Scan消耗性能，因此不适合于离线分析场景。因此既可以实现数据的快速插入与实时更新，又能实现对数据的快速分析的Kudu出现了。Apache Kudu 是由Cloudera 开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。它是一个融合 HDFS 和 HBase 的功能的新组件，具备介于两者之间的新存储组件。Kud

上一篇中我们提到了HBase的读写原理，可以看出HBase是为写操作优化，更适合写多读少的场景，尤其是因为数据按列族和Region切分成一个个的StoreFile，在跨多文件查询数据的时候就会很慢。同时，由于Region切分策略，会让HFile出现数据倾斜的情况，因此我们在实际应用中首先要先设置预分区，指定HBase表有几个分区，每个分区内的RowKey范围，然后我们只要将RowKey的值尽可能均匀的放置在这些Region内即可。本篇我们就来介绍如何通过RowKey的设计提升HBase的读性能。

本篇内容介绍Hbase的读写原理及Flush，Compact,Split原理。为Hbase系列的第三篇。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase可在廉价服务器上搭建起大规模结构化存储集群。是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，使用Java语言进行实现。但是也有很多不同之处

本篇内容介绍Hbase的架构原理。为Hbase系列的第二篇。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase可在廉价服务器上搭建起大规模结构化存储集群。是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，使用Java语言进行实现。但是也有很多不同之处

本篇内容介绍Hbase的数据模型。为Hbase系列的第一篇。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase可在廉价服务器上搭建起大规模结构化存储集群。是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，使用Java语言进行实现。但是也有很多不同之处

Hadoop2.x引入了一个新的组件：YARN，它作为hadoop集群中的资源管理模块，为各类计算框架提供资源的管理和调度。负责管理集群中的资源：CPU，内存，磁盘，网络IO等等（v3.1.1版本之后新增了对GPU资源的管理）以及调度运行在YARN之上的各种计算任务。

当YARN开启了HA之后，我们想要知道两个ResourceManager中哪台是ACTIVE，哪台是STANDBY状态，可以通过下面的方式来获取或切换它们的状态。

HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据, 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。作为大数据生态最重要的组件之一，HDFS充当着大数据时代的数据管理者的角色，为各个分布式计算组件提供了分布式存储的能力。

今天用虚拟机离线安装CDH6集群，现在CDP7已经出了，但没有社区版了，CDP7装起来只能用个60天，相比于CDH6的组件只有hive和spark进行了大版本更新以及加入几个新的组件，所以这里还是装CDH6，主要还是因为好久以前就下好了parcel包。。。

上一篇我们介绍了Zookeeper的一些基础知识，本篇来讲解zk内部的一些核心原理，帮助我们更好的理解zk的工作机制。包括选举机制、Leader选举流程、Leader选举原理、Watch机制、会话管理、事务与写流程、Zab协议。

前面的篇章中我们介绍了分布式系统中的CAP理论和BASE理论以及基于BASE理论的Raft算法，我们知道在分布式系统中最为复杂的就是解决分布式一致性的难题，在大数据生态中有一个工具，不仅自己实现了分布式的一致性服务并且还能为其他工具提供分布式一致性协调的服务，它就是Zookeeper，这个系列我们就深入学习一下zookeeper框架。

目前的数据中心和服务运行在非常复杂的环境内，经常会遇到各种情况如机器宕机、网络延迟、磁盘坏道等问题，随着数据爆炸和移动互联网的发展，如何在出现这些问题的时候不影响使用是进入21世纪后愈发需要解决的问题。因此出现了分布式一致性算法，它可以将多台机器组成集群运行并允许其中一部分节点故障而不影响服务，保障系统高可用。很多人都听说过鼎鼎大名的Paxos算法，在过去的二十年里，Paxos算法在分布式一致性领域处于主导地位，大部分的实现要么基于Paxos，要么会受它的影响，而且Paxos也是教授学生一致性的主要算法

在前面的文章中我们提到了柔性事务遵循BASE理论，满足最终一致性，柔性事务主要分为补偿型和通知型。补偿型事务又分TCC、Saga，通知型事务分事务消息、最大努力通知型。补偿型事务都是同步的，通知型事务都是异步的。本篇介绍柔性事务的这几种实现方案：TCC、Saga、事务消息、本地消息表、最大努力通知。

在前面的文章中我们提到了刚性事务遵循ACID原则，满足强一致性，本篇讲解刚性事务的标准实现2PC（二阶段提交）和3PC（三阶段提交）。

在之前的MySQL事务文章中我们介绍了MySQL事务的四个特性（ACID），本系列我们来讲解在分布式系统中事务可能遇到的问题以及对应的解决方案，本篇先来讲一下CAP以及BASE理论。

MySQL的核心是存储引擎，在前面的文章中我们介绍了聚簇索引，非聚簇索引，表级锁行级锁等内容，其实它们在不同的存储引擎上的表现是不一样的，本篇就来介绍MySQL中常用的存储引擎以及适用的场景对比。

MySQL中有六种日志文件：重做日志（redo log）、回滚日志（undo log）、二进制日志（binary log）、错误日志（error log）、慢查询日志（slow query log）、一般查询日志（general log），中继日志（relay log）。本篇主要介绍和事务相关的redo，undo，binlog这三种日志类型，帮助更好的理解MySQL中的事务操作。

目录简介锁级别全局锁表级锁页级锁行级锁InnoDB锁共享锁S排他锁X意向锁记录锁间隙锁Next-Key Lock插入意向锁自增锁扩展死锁活锁悲观锁乐观锁并发控制（MVCC）MySQL系列：MySQL（一）、InnoDB索引原理及优化MySQL（二）、事务简介锁是计算机用以协调多个进程间并发访问同一共享资源的一种机制。MySQL中为了保证数据访问的一致性与有效性等功能，实现了锁机制，MySQL中的锁是在服务

TICK是由InfluxData开源的监控技术栈，由 Telegraf, InfluxDB, Chronograf, Kapacitor 四个工具的首字母组成。在前面的文章中我们分别介绍过ELK套件、Grafana、InfluxDB，本篇文章我们加入TICK套件中的 Telegraf 结合 InfluxDB 和 Grafana 监控本机的资源。

事务是"一组原子性的SQL命令"，或者说一个独立的工作单元。如果数据库引擎能够成功地对数据库应用该组SQL的全部语句，那么就执行该组SQL。如果其中有任何一条语句因为崩溃或其他原因无法执行，那么所有的语句都不会执行。也就是说，事务内的语句，要么全部执行成功，要么全部执行失败。

MySQL的索引可以大大提高MySQL的检索速度，在大厂的面试中也多会问关于索引和事务相关的问题，本篇我们来详细介绍MySQL中的索引及其使用和优化。

传统关系型数据库大都使用B-Tree或其变体作为存储结构，能够进行高效查找。但保存在磁盘中时它也有一个明显的缺陷，那就是逻辑上相离很近但物理却可能相隔很远，这就可能造成大量的磁盘随机读写。因此对于关系型数据库来说随机读写比顺序读写慢很多，为了提升IO性能，我们需要一种能将随机操作变为顺序操作的机制，于是便有了本篇要讲的LSM树。LSM树能让我们进行顺序写磁盘，从而大幅提升写操作，作为代价的是牺牲了一些读性能。因此在大数据生态下，很多数据库引擎都是使用LSM树存储引擎。

动态查找树主要有：二叉查找树，平衡二叉树，红黑树，B-tree/B+-tree/B*-tree。前三个都是典型的二叉树结构，查找的时间复杂度O(log2N)和树的深度相关，随着树的深度降低会提高查找效率。而在现实情况中大部分数据存储在磁盘中，对于数据量比较大的情况下，对导致二叉树结构的深度也随之变大造成磁盘IO读写频繁导致查询效率低下，因此大部分关系型数据库都使用本篇要介绍的B+Tree结构，要理解B+树，需要先理解B树，本篇也会一起介绍B*树。

红黑树是一种自平衡的二叉树，在插入和删除操作时可能会打破树的平衡，它会重新自处理以达到平衡状态。红黑树是复杂的，但它的操作有着良好的最坏情况运行时间，并且在实践中是高效的: 它可以在O(logn)时间内做查找，插入和删除，这里的n是树中元素的数目。

数据结构中有很多树的结构，其中包括二叉树、二叉搜索树、红黑树等等。本文中对数据结构中的二叉树以及二叉查找树，平衡二叉树AVL进行介绍，如果对你有帮助的话，请点个赞吧~谢谢！

大家都知道gitee，github，但在企业中，大家都是使用gitlab作为远程仓库，本篇讲如何搭建私有的gitlab。另外还有汉化包，目前支持到gitlab12版本，有兴趣的可以尝试一下，下载覆盖重启即可，我这里使用的最新版gitlab13还没有汉化，所以就不演示了。

有一些脚本或命令在执行的时候会占据屏幕，当关掉终端时该命令就被杀掉了，有时候我们想让它们在后台执行，甚至想要在执行之后获得他的pid以便于追踪它的执行状况，可以使用下面的方式

大家可能会遇到由于bash脚本逐行执行，遇到错误仍会执行后面的内容，由于变量为空导致文件被删除，等等问题，下面介绍几个方式可以避免这些情况，提高bash脚本的可靠性。

通常我们在执行shell脚本的时候会遇到类似下面的错误，而事实上脚本没有任何问题，很多人会卡在这一步很久，其实有可能是编码导致的回车符不一致引起的

新增用户使用下面的命令新增用户：sudo adduser wyksudo passwd wyk#输入密码#再次输入密码删除用户使用下面的命令删除用户：userdel -r wyk配置sudo给用户开启sudo权限：sudo vim /etc/sudoers#搜索ALL=(ALL) 找到root这一行，在下面新增一行需要配置sudo权限的用户，参考root那一行进行配置## Allow root to run any commands anywh..

显示行号在vim命令中输入下面的内容可以给文本文件显示行号：:set nu或:set number隐藏行号下面的命令可以将行号隐藏：:set nonu或:set nonumber永久显示行号修改vim配置文件可以设置默认显示或隐藏行号：vim /etc/vimrc #全局配置vim ~/vimrc #仅当前用户配置#在最下面加上set nu之后使用vim再打开文本文件都会默认显示行号：希望本文对你有帮助，请...

很多开源软件的配置文件里有大量的注释内容，有时候我们想看配置文件中有哪些属性，一般是用cat+grep的方式查看，但是会看到很多无用的注释和大量的空行，不够直观，下面的命令可以方便的过滤掉那些命令，可根据实际需要过滤的类型自定义。 cat xxxx.conf | grep -v '#' | grep -v '^$'grep -v后跟正则，表示过滤匹配到的内容。 '#'表示过滤带有#的行，'^$'表示过滤空行。例：查看redis配置文件conf：cat bin/redis.conf .

1、查看centos版本号两种方式：cat /etc/redhat-releasecat /etc/issue2、查看系统信息uname -auname --help -a, --all print all information, in the following order, except omit -p and -i if unknown: -s, --kernel-name.

Redis是高性能的分布式内存数据库，对于内存数据库经常会出现下面几种情况，也经常会出现在Redis面试题中：缓存穿透、缓存击穿、缓存雪崩、缓存预热、缓存更新、缓存降级。本篇分别介绍这些概念以及处理方案。

有没有想过，如果在redis内判断某个值是否存在，使用什么方式最快？使用Set的话当体量大的时候不仅查询慢，而且还占用非常大的空间，本篇就介绍一个即快速又节约空间的方式，使用布隆过滤器来判断某个值是否在集合内。

Redis默认每次执行请求都会创建和断开一次连接池的操作，如果想执行多条命令的时候会在这件事情上消耗过多的时间，因此我们可以使用Redis的管道来一次性发送多条命令并返回多个结果，节约发送命令和创建连接的时间提升效率。

我们知道Redis是分布式内存数据库，基于内存运行，可是有没有想过比较好的服务器内存也不过几百G，能存多少数据呢，当内存占用满了之后该怎么办呢？Redis的内存是否可以设置限制？ 过期的key是怎么从内存中删除的？不要怕，本篇我们一起来看一下Redis的内存淘汰策略是如何释放内存的。

终于，Redis的多线程版本横空出世，大大提高了QPS和TPS，本篇就带大家来看看什么是IO多线程，和我们理解的多线程有什么区别，与Memcached的多线程又有什么区别。

ELK是目前最流行的日志分析套件，基于lucene，提供全文检索功能，ES是目前最快的索引型数据库并提供RESTful接口，对开发人员很友好，横向扩展，Logstash提供多种插件，支持各类日志格式的定制和插件并实时将日志内容写入ES或其他目标源，Kibana提供对ES数据的展示功能，多用于日志检索，实时报表。本系列基于Elasticsearch7.7、Logstash7.7、Kibana7.7，ELK7.7版本，希望对大家有所帮助，请不要吝啬您手中的赞~谢谢！

什么？你们公司还在用Redis4？ 别凹特了，Redis6了解一下！就在前两天(2020-06-30)，Redis之父Antirez宣布辞去作为Redis的维护者的职位，他表示自己是为了表达自己而编写代码，而现在却因维护Redis项目而筋疲力尽，缺少了自我表达的机会。Redis6.0是他带给我们的最新的版本，该版本新增了很多社区里一直在呼吁的功能，比如ACL、客户端缓存、IO多线程、集群代理等等。

在之前的文章中介绍了Redis6的集群搭建和原理，我们可以使用dummy和smart客户端连接集群，本篇介绍Redis6新增的一个功能：集群代理。客户端不需要知道集群中的具体节点个数和主从身份，可以直接通过代理访问集群，对于客户端来说通过集群代理访问的集群就和单机的Redis一样，因此也能解决很多集群的使用限制。

Redis6引入新的RESP3协议，并以此为基础加入了客户端缓存的新特性，在此特性下，大大提高了应用程序的响应速度，并降低了数据库的压力，本篇就带大家来看一下Redis6的新特性：客户端缓存。

在前面的文章中或多或少有提到Redis的publish命令，它就是Redis中的发布订阅中的一个命令，本篇就介绍Redis中的发布订阅模式，以及对比使用List实现的消息队列和传统消息队列Kafka的区别。

由于单机Redis存储能力受单机限制，以及无法实现读写操作的负载均衡和读写分离，无法保证高可用。本篇就来介绍 Redis 集群搭建方案及实现原理，实现Redis对数据的冗余备份，从而保证数据和服务的高可用。主从复制是哨兵和集群的基石，因此我们循序渐进，由浅入深一层层的将Redis高可用方案抽丝剥茧展示在大家面前。

答应我，看完这篇文章，别再跟面试官说你不会Elasticsearch了！本文会从ES底层Lucene开始，到ES 读写原理一一介绍，希望对大家有帮助，谢谢。

好消息！好消息！Redis出权限管理功能了！你还不来看看吗？自从Redis6.0以来，大家呼吁了很久的权限管理功能(ACL[access control list 访问控制列表])终于发布了，通过此功能，我们可以设置不同的用户并对他们授权命令或数据权限。这样我们可以避免有些用户的误操作导致数据丢失或避免数据泄露的安全风险。

之前介绍Redis特点的时候其中有一条是Redis支持数据持久化，可以将内存中的数据持久化到磁盘中，重启的时候再次加载使用。Redis4之前的数据持久化有AOF和RDB两种，从Redis4之后新增了AOF+RDB混合持久化的方式，本篇就Redis的三种数据持久化的方式进行详细介绍以及他们的场景和区别。

大家都知道在RDBMS中有事务操作，同样在Redis中也是支持"事务"的，只是redis支持的是弱事务性，跟我们平时理解上有些不太一样，下面来看看有哪些不一样。同时我们可以通过lua脚本实现高并发场景下的事务操作。

文末有彩蛋~ 前面介绍了Redis的五种数据类型以及键命令，本篇介绍一些常用的Redis服务器命令，Redis 服务器命令主要是用于管理 redis 服务。

前面介绍了在命令行模式下操作Redis的五种数据类型及应用，本篇介绍一些常用的Redis键命令，Redis 键命令用于管理 redis 的键。

Redis 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。常应用于排行榜，分数排名等场景。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的,但分数(score)却可以重复。集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。 集合中最大的成员数为 2^32 - 1 (4294967295, 每个集合可存储40多亿个成员)。

Redis 的 Set 是 string 类型的无序集合。常用于抽奖，打标签，共同好友等场景。集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。集合中最大的成员数为 232- 1 (4294967295, 每个集合可存储40多亿个成员)。

Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）一个列表最多可以包含 2^32 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。因此也有项目直接使用redis做消息队列，我们之前介绍filebeat+logstash+redis的时候也使用redis存储filebeat采集的日志进redis的列表类型中，由logstash从其中消费，传送门。

哈希类型是指键值对里的value本身存储的也是一个个的KV键值对，类似于python中的dict和java中的map集合。hash_value={{field1，value1}，...{fieldN，valueN}}

Redis的String类型可以是字符串（简单的字符串、复杂的字符串（例如JSON、XML））、数字（整数、浮点数），甚至是二进制（图片、音频、视频），但是值最大不能超过512MB;

在python中连接hive和impala有很多中方式，有pyhive,impyla,pyspark,ibis等等，本篇我们就逐一介绍如何使用这些包连接hive或impala，以及如何通过kerberos认证。

前面我们介绍了在kibana,curl,es-head,hive中对es的操作，本篇介绍如何使用python操作ES。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装包ELK系列(四)、Logstash读取nginx日志写入ES中ELK系列(五)、Logstash修改@timestamp时间为日志的产生时间

前面介绍过通过Phoenix操作HBase，实现了hbase的SQL语义，以及查询性能的提升，也对比过使用hive查hbase和使用phoenix查hbase的性能，也介绍了如何在hive中查询ES，那么今天我们就尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。

本篇介绍如何在hive中查询、更新、插入ES数据，以及把数据从hive导入到es中。本方案适用于任何hive可以挂外表的数据库类型。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装包ELK系列(四)、Logstash读取nginx日志写入ES中ELK系列(五)、Logstash修改@timestamp时间为日

ES的DSL可能对很多人来说有学习成本，但SQL相信每个开发无论是应用开发，大数据开发还是数据分析人员应该都是最熟悉的，本篇就介绍一下如何使用es7的sql功能对索引数据进行查询。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装包ELK系列(四)、Logstash读取nginx日志写入ES中ELK系列(五)、

前面讲完了ELK的应用，我们可以通过curl命令或者java或python的request命令，或者kibana的开发面板对ES的数据直接操作，本篇介绍一个轻量又好用的插件:es-head。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装包ELK系列(四)、Logstash读取nginx日志写入ES中ELK系

简介IK Analyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包； 最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件；从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化；本篇就介绍如何给ES安装插件，以及使用ik中文分词器进行搜索，最后介绍一下

前面介绍的都是没有设置密码的情况，ES默认没有密码，什么数据泄露的新闻简直是家常便饭，所以这里还是建议大家给ES和kibana设置用户登陆，或者使用nginx限制IP或用户访问。本文介绍ELK自带的创建用户的方式。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装包ELK系列(四)、Logstash读取nginx日

前面提到过，logstash占资源很大，filebeat更加轻量，一般都是组合使用，难免会有logstash宕掉的时候，这时候filebeat再往logstash里写数据就写不了了，这期间的日志信息可能就无法采集到了，因此一般都会采用redis或kafka作为一个消息缓冲层，本篇就介绍如何使用Redis作为数据缓冲层，将filebeat的数据落地到Redis中然后由Logstash消费并写入至ES。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.

Redis，全称Remote Dictionary Server(远程字典服务器) ，全开源基于C语言开发，是高性能的（key/value）分布式内存数据库，基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSQL数据库之一，也被人们称为数据结构服务器。

Logstash依赖于JVM，在启动的时候大家也很容易就能发现它的启动速度很慢很慢，但logstash的好处是支持很多类型的插件，支持对数据做预处理。而filebeat很轻量，前身叫logstash-forward，是使用Golang开发的，所以不需要有java依赖，也很轻量，占用资源很小，但功能也很少，不支持对数据做预处理。因此一般都是将filebeat+logstash组合使用，在每个节点部署filbeat，然后将监控的日志推送到数据缓冲层或直接推送到logstash集群内，配合redis或kafka做

前面我们介绍了使用logstash监控nginx日志，nginx日志默认是httpd格式的日志，对于开发人员来说，json格式更加友好，因此本篇我们就介绍如何修改nginx的默认日志格式，以及如何使用logstash的插件解析json格式的日志，然后写入到ES中。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装.

上一篇讲了如何使用Logstash监控nginx日志并打印到控制台或导入到ES中，在kibana的discover中我们可以根据@timestamp时间对数据进行过滤和排序，但这里显示的@timestamp时间是指logstash读取到日志的时间而不是日志真正产生的时间，本篇就介绍如何配置使logstash在采集日志的过程中使用日志的真实时间戳作为消息体的时间戳，便于我们之后的分析ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系

前面讲了ELK的部署以及Logstash的插件的安装方式，本篇就介绍一下如何使用Logstash读取nginx的日志，并写入ES中，通过Kibana分析。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库ELK系列(三)、安装Logstash插件及打包离线安装包-----------------------------使用Logstash读取nginx日志-------

0. 简介Nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；Nginx可以作为一个HTTP服务器进行网站的发布处理，另外Nginx可以作为反向代理进行负载均衡的实现。Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator)URL作为沟通依据，通过HTTP协议提

Logstash有input、output、filter、codec 四种插件类型，支持的种类也很丰富，功能特别强大。选对正确的插件可以节省很多的资源占用和开发效率。 生产环境一般都无法连接到公网，所以本篇就带大家如何在线安装，以及打包离线安装包，然后使用离线安装包进行离线安装。ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0ELK系列(二)、在Kibana中使用RESTful操作ES库-----------------------

上一篇讲了如何安装ELK：ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0-----------------------------------------------------------------------------------------这篇介绍如何使用kibana连接ES并操作，下面先上代码，明天来更新。。#建库PUT /noahPUT /noah.no#查看某库属性GET /noah/_setting

ELK是目前最流行的日志分析套件，基于lucence，提供全文检索功能，ES是目前最快的索引型数据库并提供RESTful接口，对开发人员很友好，横向扩展，Logstash提供多种插件，支持各类日志格式的定制和插件并实时将日志内容写入ES或其他目标源，Kibana提供对ES数据的展示功能，多用于日志检索，实时报表。...

时间：2020-05-14天气：阴坐标：上海杨浦区-----------------------------------------------------------------------背景： 很多人都知道，Cloudera和Hortonworks两大hadoop服务商在2018年国庆节期间合并了，当时的新闻：点击 我当时还转发了这个新闻，真的惊讶，这还让MapR怎么活？ 后面果然MapR也HPE收购了。。不得不说HPE这波操作真的迷，典型的抱团取暖，笔者曾...

最近在内部做了个分享，顺便画了一下这次impala数据血缘的架构图：架构图：如果想了解如何实现请参照前面几篇文章：impala数据血缘与数据地图系列：1. 解析impala与hive的血缘日志2. 实时采集impala血缘日志推送到kafka3. 实时消费血缘记录写入neo4j并验证---------------------------------Impala血缘 架构图-----------------------------------------------------

一、Grafana6.7.3安装及使用二、InfluxDB1.1.0和1.8.0版本安装并开启web界面三、使用Python操作InfluxDB时序数据库四、使用Python监控本机资源情况写入InfluxDB并使用Grafana监控-----------------------------Grafana离线安装Cloudera Manager插件监控CDH集群-----------------------------本篇介绍如何安装CM插件并通过Grafana监控CDH集群健康及资源使

前面的文章介绍了如何安装influxdb以及grafana，如何使用python操作influxdb，本篇我们做一个小demo，使用python实时监控本机的资源占用情况，并写入influxdb数据库，通过grafana进行监控。一、Grafana6.7.3安装及使用二、InfluxDB1.1.0和1.8.0版本安装并开启web界面三、使用Python操作InfluxDB时序数据库--------------------------------------------------------

上一篇介绍了如何安装InfluxDB以及开启Web操作页面，本篇介绍一下如何使用python操作influxdb。InfluxDB1.1.0和1.8.0版本安装并开启web界面----------------------------------------------------------------------------安装python包influxdb，这里我安装的是5.3.0版本pip install influxdb==5.3.0使用from influxdb i

Grafana是个开源的监控平台，支持多种数据库和插件，是目前最流行的开源监控系统之一，很多大厂的运维都使用grafana结合用来做监控告警。本文就介绍如何搭建Grafana以及简单的使用。下载官网：https://grafana.com/grafana/download?edition=oss这里我下载最新的我下载的是最新的Grafana-6.7.3版本的rpm包安装，注意grafana仅支持64位系统。安装使用yum命令安装：sudo yum localinstall -.

Influxdb是目前最流行的时序数据库，排名如下图所示，本文就介绍如何安装influxdb1.1.0以及1.8.0版本，以及如何开启web界面。为何要安装两个版本？ 因为influxdb从1.1.0版本之后就没有web页面了，但我们可以使用1.1.0版本的web页面访问1.8.0的数据库。下载：官网：https://portal.influxdata.com/downloads/官网只提供最新版的下载地址，不过没关系，我们只需要把下载地址里的版本号改成需要的也一样可以下载。因为我们需.

一、CDH5.14集群下Phoenix4.14.0安装及性能对比phoenix/impala/hive二、CDH6.2中使用parcel离线安装Phoenix5.0.0三、使用Phoenix映射hbase表创建表和视图之前提到phoenix实现了hbase的sql接口，并且支持二级索引，本篇内容就介绍一下如何使用Phoenix创建二级索引及使用。官方文档-二级索引创建索引建索引：CREATE INDEX noah_app ON "kafka_md"."noahgroup_app"