一瓢一瓢的饮 alanchanchn-CSDN博客

原创 1、软件测试的基础概念（完整版）

软件测试是一个非常专业的工作，在大多数的软件建设组织中，都会有软件测试类的岗位（或类似名称的岗位）来对交付的软件进行验证。在软件全生命周期质量保证的理念下，基于软件过程的测试类别被更为细致的提出来，如需求测试、架构测试、设计测试、单元测试、集成测试、用户验证测试等。对软件质量来说，单元测试有非常积极的作用，是测试金字塔中最重要的部分。有一些团队会直接使用生产上的数据作为测试环境数据，实际上这不是非常好的做法，虽然对于一些棘手的缺陷，需要使用生产环境的数据来重现，但是这不应该作为一种常态化的操作方法。

2024-11-22 15:00:00 820

原创 1、软件测试的基础概念（2）

软件测试概念介绍

2024-09-26 10:30:00 886

原创 1、软件测试的基础概念（1）

介绍软件测试的基本概念

2024-09-25 14:31:28 770

原创【运维监控】Prometheus+grafana+blackbox_exporter+alertmanager监控业务接口异常预警（完整版）

通过blackbox_exporter收集http/https（业务接口）、tcp、ping、dns的监控指标，然后将数据收集到prometheus中，配置预警规则，出现警告信息时通过邮件通知相关人员，同时也通过grafana的dashboard导入模板进行可视化

2024-09-25 10:30:00 6383

原创【运维监控】Prometheus+grafana+blackbox_exporter+alertmanager监控业务接口异常预警（2）

2024-09-24 14:30:00 6306

原创【运维监控】Prometheus+grafana+blackbox_exporter+alertmanager监控业务接口异常预警（1）

2024-09-24 10:30:00 5190

原创【运维监控】influxdb 2.0 + grafana 11 监控jmeter 5.6.3 性能指标（完整版）

通过jmeter的插件暴露jmeter的监控指标，通过插件将监控指标数据写入influxdb中，然后利用grafana的dashboard模板来监控jmeter的性能指标

2024-09-23 15:30:00 8431

原创【运维监控】influxdb 2.0 + grafana 11 监控jmeter 5.6.3 性能指标（1）

通过jmeter的插件暴露jmeter的监控指标，通过插件将监控指标数据写入influxdb中，然后利用grafana的dashboard模板来监控jmeter的性能指标

2024-09-23 13:30:00 5319

原创【运维监控】influxdb 2.0 + grafana 11 监控jmeter 5.6.3 性能指标（2）

通过jmeter的插件暴露jmeter的监控指标，通过插件将监控指标数据写入influxdb中，然后利用grafana的dashboard模板来监控jmeter的性能指标

2024-09-17 14:30:00 6527

原创【运维监控】系列文章汇总索引

系统介绍prometheus和influxdb的常用应用或软件的监控文章

2024-09-13 10:11:32 5579

原创【运维监控】Prometheus+grafana+kafka_exporter监控kafka运行情况

通过kafka_exporter收集kafka的监控指标，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化

2024-09-12 14:30:00 10011

原创【运维监控】Prometheus+grafana监控zookeeper运行情况

通过zookeeper自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化

2024-09-11 10:30:00 9616

原创【运维监控】Prometheus+grafana监控flink运行情况

通过flink自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化

2024-09-11 10:30:00 10203

原创【运维监控】Prometheus+grafana监控spring boot 3运行情况

通过spring boot自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化

2024-09-10 14:30:00 10773

原创【运维监控】Prometheus+grafana监控tomcat运行情况

通过jmx_exporter收集tomcat的运行情况，将数据收集到prometheus中，然后通过grafana的dashboard导入模板进行可视化

2024-09-10 10:30:00 10954

原创【运维监控】influxdb 2.0+grafana 监控java 虚拟机以及方法耗时情况（完整版）

通过java的代理运行java应用，同时将java虚拟机运行的数据以及应用对应的方法耗时信息数据存储到influxdb中

2024-09-09 14:30:00 10490

原创【运维监控】influxdb 2.0+grafana 监控java 虚拟机以及方法耗时情况（2）

通过java的代理运行java应用，同时将java虚拟机运行的数据以及应用对应的方法耗时信息数据存储到influxdb中。

2024-09-09 10:30:00 9627

原创【运维监控】influxdb 2.0+grafana 监控java 虚拟机以及方法耗时情况（1）

通过java的代理运行java应用，同时将java虚拟机运行的数据以及应用对应的方法耗时信息数据存储到influxdb中。

2024-09-06 14:19:56 10043

原创【运维监控】influxdb 2.0+telegraf 监控tomcat 8.5运行情况（完整版）

通过telegraf拉取tomcat的监控指标数据到influxdb中，利用influxdb的dashboard模板来监控tomcat的运行情况

2024-09-05 14:23:03 9349

原创【运维监控】influxdb 2.0+telegraf 监控tomcat 8.5运行情况（2）

登录http://server4:8086/后选择创建dashboard，如下图所示。这里创建dashboard有三种方式，即直接创建、导入和添加模板。直接创建就是自己添加cell，自己根据监控的指标进行组织数据和布局；导入模板就是上传json文件或粘贴文件；添加模板则是根据influxdb提供的模板进行添加，本文着重介绍的内容。三种方式的截图依次如下。

2024-09-05 10:30:00 9964

原创【运维监控】influxdb 2.0+telegraf 监控tomcat 8.5运行情况（1）

本示例是通过telegraf拉取tomcat的监控指标数据到influxdb中，利用influxdb的dashboard模板来监控tomcat的运行情况。本示例使用到的组件均是最新的，下文中会有具体版本说明，linux环境是centos。本示例分为四个部分，即influxdb、telegra、tomcat的部署和三者集成的监控tomcat。本文旨在说明三者如何使用，不涉及各自组件的介绍，如果需要使用到本文的，肯定都有了解。

2024-09-04 14:30:00 10371

原创【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况（完整版）

本示例是通过prometheus的node exporter收集主机的信息，然后在grafana的dashborad进行展示。本示例使用到的组件均是最新的，下文中会有具体版本说明，linux环境是centos。本示例分为四个部分，即prometheus、grafana、node exporter的部署和三者集成的监控linux。本文旨在说明三者如何使用，不涉及各自组件的介绍，如果需要使用到本文的，肯定都有了解。

2024-09-04 10:30:00 10878

原创【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况（2）

2024-09-03 16:00:00 11119

原创【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况（1）

2024-09-03 10:45:00 11325

原创 60、Flink CDC 入门介绍及Streaming ELT示例（同步Mysql数据库数据到Elasticsearch）-完整版

本文介绍的CDC是基于2.4版本，当前版本已经发布至3.0，本Flink 专栏介绍是基于Flink 1.17版本，CDC 2.4版本支持到1.17版本。Apache Flink®的CDC连接器是用于Apache Flnk®的一组源连接器，使用更改数据捕获（CDC）接收来自不同数据库的更改。Apache Flink®的CDC连接器将Debezium集成为捕获数据更改的引擎。因此，它可以充分利用Debezium的能力。了解更多关于Debezium的信息。

2024-01-29 10:00:00 44610 8

原创 60、Flink CDC 入门介绍及Streaming ELT示例（同步Mysql数据库数据到Elasticsearch）-Streaming ELT介绍及示例（2）

CDC流式ELT框架是一个流数据集成框架，旨在为用户提供更强大的API。它允许用户通过自定义的Flink操作符和作业提交工具来配置他们的数据同步逻辑。该框架优先优化任务提交过程，并提供增强的功能，如整个数据库同步、分片和模式更改同步。✅端到端数据集成框架✅ API，用于数据集成用户轻松构建作业✅ 源/接收器中的多表支持✅ 同步整个数据库✅ 模式进化能力。

2024-01-27 16:00:00 44225 2

原创 60、Flink CDC 入门介绍及Streaming ELT示例（同步Mysql数据库数据到Elasticsearch）-CDC Connector介绍及示例 (1)

2024-01-27 10:30:00 43456

原创 37、Flink 的CDC 格式：debezium部署以及mysql示例（完整版）

Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。

2024-01-26 14:15:00 44966

原创 37、Flink 的CDC 格式：debezium部署以及mysql示例（2）-Flink 与Debezium 实践

系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。

2024-01-26 09:45:00 43588

原创 37、Flink 的CDC 格式：debezium部署以及mysql示例（1）-debezium的部署与示例

2024-01-25 14:51:05 44517

原创 39、Flink 的CDC 格式：maxwell部署以及示例

Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySQL中的数据变化实时流式传输到Kafka、Kinesis和其他流式连接器中。Maxwell为变更日志提供了统一的格式模式，并支持使用JSON序列化消息。Flink支持将Maxwell JSON消息解释为INSERT/UPDATE/DELETE Flink SQL系统中的消息。在许多情况下，这对于利用此功能非常有用，例如将增量数据从数据库同步到其他系统审核日志数据库上的实时物化视图。

2024-01-25 09:45:00 43508

原创 59、Flink CEP - Flink的复杂事件处理介绍及示例（完整版）

一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、Flik

2024-01-24 14:30:00 44185

原创 59、Flink CEP - Flink的复杂事件处理介绍及示例（4）- 延迟数据处理和三个实际应用示例

2024-01-24 09:45:00 43633

原创 59、Flink CEP - Flink的复杂事件处理介绍及示例（3）- 模式选取及超时处理

Flink 系列文章一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和SQL基础系列本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口

2024-01-23 14:30:00 43803

原创 59、Flink CEP - Flink的复杂事件处理介绍及示例（2）- 模式API

2024-01-23 09:45:00 43579

原创 38、Flink 的CDC 格式：canal部署以及示例

Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或protobuf序列化消息（Canal 默认使用 protobuf）。Flink 支持将 Canal 的 JSON 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用。例如将增量数据从数据库同步到其他系统。

2024-01-22 14:27:44 43359

原创 59、Flink CEP - Flink的复杂事件处理介绍及示例（1）-入门

Flink CEP（Complex event processing）是在Flink上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。实时处理中的一个关键问题是检测数据流中的事件模式。复杂事件处理（CEP）解决了将连续传入的事件与模式进行匹配的问题。匹配的结果通常是从输入事件派生的复杂事件。与对存储的数据执行查询的传统DBMS不同，CEP对存储的查询执行数据。所有与查询无关的数据都可以立即丢弃。

2024-01-22 14:15:00 43808

原创【flink番外篇】22、通过 Table API 和 SQL Client 操作 Catalog 示例

2024-01-20 14:45:00 44810

原创【flink番外篇】21、Flink 通过SQL client 和 table api注册catalog示例

2024-01-20 10:30:00 44232

原创【flink番外篇】20、DataStream 和 Table集成-Changelog Streams变化流示例

2024-01-19 14:15:00 44334

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化网址：https://blog.csdn.net/chenwewi520feng/article/details/130457270 本文介绍在hadoop集群中，不适用默认的参数情况下，yarn的cpu和内容配置。本文依赖是hadoop集群正常运行。本文分为3个部分，即概述、cpu和内存配置。

2023-05-29

22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件

22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件网址：https://blog.csdn.net/chenwewi520feng/article/details/130456088 本文的前提是hadoop环境正常。本文最好和MapReduce操作常见的文件文章一起阅读，因为写文件与压缩往往是结合在一起的。相关压缩算法介绍参考文章：HDFS文件类型与压缩算法介绍。本文介绍写文件时使用的压缩算法，包括：Gzip压缩、Snappy压缩和Lzo压缩。本文分为3部分，即Gzip压缩文件的写与读、Snappy压缩文件的写与读和Lzo压缩文件的写与读。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130456088

2023-05-29

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件网址：https://blog.csdn.net/chenwewi520feng/article/details/130455817 本文介绍使用MapReduce读写文件，包括：读写SequenceFile、MapFile、ORCFile和ParquetFile文件。本文前提：hadoop环境可正常使用。pom.xml文件内容参考本专栏中的其他文章内容。本文分为四部分，即MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件。下篇文章介绍压缩算法的使用。关于本文的前置内容介绍，参考链接hdfs的文件系统与压缩算法 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/13

2023-05-29

20、MapReduce 工作流介绍

20、MapReduce 工作流介绍网址：https://blog.csdn.net/chenwewi520feng/article/details/130455696 本文介绍MapReduce 工作流。本文前提：hadoop环境可用。

2023-05-29

19、Join操作map side join 和 reduce side join

19、Join操作map side join 和 reduce side join 网址：https://blog.csdn.net/chenwewi520feng/article/details/130455477 本文介绍mapreduce的join操作。本文前提是hadoop可以正常使用。本文分为3个部分介绍，即join的介绍、map side join和reduce side join。

2023-05-29

18、MapReduce的计数器与通过MapReduce读取-写入数据库示例

18、MapReduce的计数器与通过MapReduce读取_写入数据库示例网址：https://blog.csdn.net/chenwewi520feng/article/details/130454774 本文介绍MapReduce的计数器使用以及自定义计数器、通过MapReduce读取与写入数据库示例。本文的前提依赖是hadoop可正常使用、mysql数据库中的表可用且有数据。本文分为2个部分，即计数器与读写mysql数据库。

2023-05-29

17、MapReduce的分区Partition介绍

17、MapReduce的分区Partition介绍网址：https://blog.csdn.net/chenwewi520feng/article/details/130454574 本文介绍MR的分区Partition。本文分为2个部分，即介绍与示例。前提依赖：hadoop环境可正常使用。

2023-05-29

16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN

16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN 网址：https://blog.csdn.net/chenwewi520feng/article/details/130454036 本文介绍MapReduce常见的基本用法。前提是hadoop环境可正常运行。本文分为五个部分，即介绍自定义序列化、排序、分区、分组和topN。

2023-05-29

15、MapReduce介绍及wordcount

15、MapReduce介绍及wordcount 网址：https://blog.csdn.net/chenwewi520feng/article/details/130431900 本文主要介绍mapreduce的编程模型及wordcount实现、运行环境介绍。前提依赖：hadoop环境可用，且本地的编码环境已具备。若无，则建议参考本专栏的相关文章。本文分为3个部分，即mapreduce编程模型介绍和wordcount实现、运行环境介绍。

2023-05-29

14、HDFS 透明加密KMS

14、HDFS 透明加密KMS 网址：https://blog.csdn.net/chenwewi520feng/article/details/130429278 本文旨在简单介绍hdfs的透明加密作用及其使用。前提依赖：hadoop环境部署好且可用。部署文章可参考本专栏相关文章。本文分为2部分，即介绍和部署及使用。

2023-05-29

13、HDFS Snapshot快照

13、HDFS Snapshot快照网址：https://blog.csdn.net/chenwewi520feng/article/details/130362505 快照（Snapshot）是数据存储的某一时刻的状态记录；与备份不同，备份（Backup）则是数据存储的某一个时刻的副本。 HDFS Snapshot快照是整个文件系统或某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。

2023-05-29

12、HDFS Trash垃圾桶回收介绍与示例

12、HDFS Trash垃圾桶回收介绍与示例网址：https://blog.csdn.net/chenwewi520feng/article/details/130359929 本文主要介绍HDFS Trash垃圾桶回收。前提依赖：hadoop可以正常使用。本文分为三部分，即介绍、配置以及验证。

2023-05-29

11、hadoop环境下的Sequence File的读写与合并

11、hadoop环境下的Sequence File的读写与合并网址：https://blog.csdn.net/chenwewi520feng/article/details/130359237 本文介绍hadoop环境下的Sequence File的读写与合并。本文依赖：hadoop环境可用，本示例是以hadoop的HA环境作为示例的，如果不是HA环境，参考本专栏的hdfs文件的常规操作。

2023-05-29

10、HDFS小文件解决方案-Archive

10、HDFS小文件解决方案--Archive 网址：https://blog.csdn.net/chenwewi520feng/article/details/130348069 本文介绍hdfs在使用过程中产生小文件的处理方式。本文使用Archive来合并hdfs的小文件。本文分为2个部分，即Archive介绍及使用示例。本文依赖前提：hadoop集群可以正常使用，且相关的文件提前已经准备好。

2023-05-29

9、hadoop高可用HA集群部署及三种方式验证

9、hadoop高可用HA集群部署及三种方式验证网址：https://blog.csdn.net/chenwewi520feng/article/details/130344998 本文介绍hadoop HA环境部署。本文分为三部分，即HA集群规划、HA集群部署和HA集群验证前提依赖： 1、前提是zookeeper已经部署好，其服务器部署在server1、server2、server3上，且能正常运行 2、ssh免登录已完成配置，且完成NameNode和NameNode的相互免密，比如server1和server2是两个NameNode，其相互已经免密。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130344998

2023-05-29

8、HDFS内存存储策略支持和“冷热温”存储

8、HDFS内存存储策略支持和“冷热温”存储网址：https://blog.csdn.net/chenwewi520feng/article/details/130338388 本文介绍HDFS的存储策略以及“冷热温”存储的配置。本文的前提依赖是hadoop集群环境可以正常的运行。

2023-05-29

7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法

7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法网址：https://blog.csdn.net/chenwewi520feng/article/details/130337213 本文主要介绍大数据环境中常见的文件存储格式、压缩算法。本文分为2个部分，即文件存储格式（Text File、Sequence File、Avro File、RCFile、ORC File、Parquet File、Arrow）和压缩算法（snappy、lz4、gzip、lzo）。

2023-05-29

6、HDFS的HttpFS-代理服务

6、HDFS的HttpFS-代理服务网址：https://blog.csdn.net/chenwewi520feng/article/details/130336221 本文介绍HttpFS的使用。可以与前一篇文章一起阅读。HDFS API的RESTful风格–WebHDFS 本文分为四部分，即介绍、配置、验证与和WebHDFS的比较。本文阅读前提是已经部署好hadoop环境，具体部署参考hadoop3.1.4简单介绍及部署、简单验证

2023-05-29

5、HDFS API的RESTful风格-WebHDFS

5、HDFS API的RESTful风格--WebHDFS 网址：https://blog.csdn.net/chenwewi520feng/article/details/130335776 本文简单介绍WebHDFS和使用。

2023-05-29

4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）

4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）网址：https://blog.csdn.net/chenwewi520feng/article/details/130334620 本文编写了java对HDFS的常见操作，并且均测试通过。其功能包含构造conf、设置系统环境变量、创建目录、判断文件是否存在、获取文件/目录的大小等

2023-05-29

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 网址：https://blog.csdn.net/chenwewi520feng/article/details/130326202 本示例介绍java通过api操作hdfs。主要包含HDFS的读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等。本文分为2个部分，即环境准备和示例。

2023-05-29

2、HDFS操作 - shell客户端

2、HDFS操作 - shell客户端网址：https://blog.csdn.net/chenwewi520feng/article/details/130325405 本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。本文分为2个部分介绍，即语法格式与具体示例。

2023-05-29

1、hadoop3.1.4简单介绍及部署、简单验证

1、hadoop3.1.4简单介绍及部署、简单验证网址：https://editor.csdn.net/md/?articleId=130322812 本文介绍hadoop的发展过程、3.1.4的特性、部署及简单验证。本文前提依赖：免密登录设置、jdk已经安装、zookeeper部署完成且正常运行。具体参见相关文章，具体在zookeeper专栏、环境配置。本文分为三个部分介绍，即hadoop发展史、hadoop3.1.4部署及验证。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130322812

2023-05-29

9、NIFI综合应用场景-通过NIFI配置kafka的数据同步

9、NIFI综合应用场景-通过NIFI配置kafka的数据同步网址：https://blog.csdn.net/chenwewi520feng/article/details/130622776 本文旨在介绍nifi与kafka的交互过程，即生产数据到kafka中，然后通过nifi消费kafka中的数据。本文前提是nifi、kafka环境正常。本文分为三个部分，即处理器说明、生产数据到kafka中以及消费kafka中的数据。

2023-05-29

8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive

8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive 网址：https://blog.csdn.net/chenwewi520feng/article/details/130620988 本文旨在介绍通过实时监控mysql的binlog实现数据的实时同步至hive中。但由于hive执行insert语句的效率较低，一般不会这么使用。本文的前提是hive、mysql、nifi环境可正常使用。本文分为四部分，即实现流程、处理器说明、操作与验证。

2023-05-29

7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中

7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中网址：https://blog.csdn.net/chenwewi520feng/article/details/130620392 本文是在6、NIFI综合应用场景-离线同步Mysql数据到HDFS中基础上完成的，仅仅是将上文中的json数据转成txt文件。本文仅列出了和该示例增加的部分，其他的则没有变化。本文前置条件是mysql、hadoop、nifi、hive和hue环境运行正常。如果没有hive或hue环境，则可通过查看hadoop的文件数据即可。本分分为四部分，即实现流程、处理器说明、操作和验证。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130620392

2023-05-29

6、NIFI应用场景-离线同步Mysql数据到HDFS中

6、NIFI应用场景-离线同步Mysql数据到HDFS中网址：https://blog.csdn.net/chenwewi520feng/article/details/130619480 本文旨在说明将mysql数据同步至HDFS中，并进行验证。阅读本文前最好是阅读本系列的前面文章关于模板中的介绍。本文的前提依赖是mysql环境有数据、hadoop、nifi、hive、hue环境是搭建好的。如果hue环境没有，则在hdfs中进行验证。本文分为四部分，即实现流程、使用的处理器介绍、在nifi中操作和验证结果。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130619480

2023-05-29

5、NiFi FileFlow示例和NIFI模板示例

5、NiFi FileFlow示例和NIFI模板示例网址：https://blog.csdn.net/chenwewi520feng/article/details/130614514 本文旨在介绍FlowFile属性和内容、模板和简单介绍一个应用示例。其中模板将是后续文章的主要使用内容。本分前提是nifi环境正常使用。本分分为三个部分，即FlowFile生成器示例、模板以及FlowFile的内容与属性。

2023-05-29

4、NIFI集群部署及验证

4、NIFI集群部署及验证网址：https://blog.csdn.net/chenwewi520feng/article/details/130613725 本分主要介绍NIFI的两种集群部署方式以及节点的日常管理和简单介绍state管理。本文前提依赖是zookeeper环境具备。本分分为三个部分，即集群部署、节点管理和state管理。

2023-05-29

3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看

3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看网址：https://blog.csdn.net/chenwewi520feng/article/details/130605012 本文主要介绍了NIFI的常见处理器，并按照一定的类别进行分类和介绍；同时介绍了处理器的常见属性；NIFI的模板简单介绍，接下来文章中有具体的关于模板的使用示例；以及NIFI的运行情况的信息查看。本分主要分为四部分，即处理器类别、处理器属性、模板和运行情况信息查看。

2023-05-29

2、NIFI应用示例-GetFile和PutFile应用

2、NIFI应用示例-GetFile和PutFile应用网址：https://blog.csdn.net/chenwewi520feng/article/details/130596577 本文前提是NIFI环境已经部署好。本示例为NIFI的第一个应用示例，旨在说明Nifi的工作过程。本文通过GetFile读取一个文件，然后将读取的内容通过PutFile写入到一个文件中。本文分为四个部分，即添加GetFile处理器、添加PutFile处理器、添加GetFile和PutFile的连接器以及最终的验证。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130596577

2023-05-29

1、nifi-1.9.2介绍、单机部署及简单验证

1、nifi-1.9.2介绍、单机部署及简单验证网址：https://blog.csdn.net/chenwewi520feng/article/details/130595158 本文主要介绍了NIFI是什麽、单机的部署、简单验证（以getFile为例）和相关组件。本文的前提是安装好像对应的jdk即可。本文分为三部分，即简单介绍、单机部署和组件介绍。

2023-05-29

5、kafka监控工具Kafka-Eagle介绍及使用

5、kafka监控工具Kafka-Eagle介绍及使用网址：https://blog.csdn.net/chenwewi520feng/article/details/130581571 本文主要介绍了kafka监控工具Kafka-Eagle的使用。本文依赖：kafka、zookeeper部署完成。本分分为三个部分介绍，即Kafka-Eagle介绍、部署和验证。

2023-05-29

4、kafka分区、副本介绍及示例、高级API与低级API

4、kafka分区、副本介绍及示例、高级API与低级API 网址：https://blog.csdn.net/chenwewi520feng/article/details/130580533 本文主要介绍分区与副本机制、高级api使用示例手动消费分区数据等。本文前提是kafka环境可用。本文分为2个部分，即分区与副本机制、高级API与低级API。

2023-05-29

3、kafka重要概念介紹及示例

3、kafka重要概念介紹及示例网址：https://blog.csdn.net/chenwewi520feng/article/details/130577766 本文介绍了kafka相关重要的概念及使用示例。本文前提是kafka环境可用。本文分为五部分，即概念、幂等与事务、分区的leader和follower、消息可靠机制和限速机制。

2023-05-29

2、java调用kafka api

2、java调用kafka api 网址：https://blog.csdn.net/chenwewi520feng/article/details/130577664 本分介绍java调用kafka api。本文前置条件是kafka环境搭建好。本分五部分，即简单的写数据到kafka、从topic中消费数据、异步回调、读写kafka中复杂数据类型和读取历史数据。

2023-05-29

1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试

1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试网址：https://blog.csdn.net/chenwewi520feng/article/details/130575377 本文主要介绍了kafka的作用、部署及验证、基本的shell操作和进行基准测试。本文的前置依赖是zookeeper部署好、免密登录也设置完成。如果未完成，则可参考本人zookeeper专栏内容。本文分为四个部分，即kafka简介、环境部署、基本shell操作和基准测试。

2023-05-29

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）网址：https://blog.csdn.net/chenwewi520feng/article/details/130465463 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。）本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第二篇。本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一），阅读本文前需要先阅读第一篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.

2023-05-29

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）网址：https://blog.csdn.net/chenwewi520feng/article/details/130465139 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。）本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第一篇。本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二），比较的具体数据在第二篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0

2023-05-29

TA关注的人

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

20、MapReduce 工作流介绍

19、Join操作map side join 和 reduce side join

18、MapReduce的计数器与通过MapReduce读取-写入数据库示例

17、MapReduce的分区Partition介绍

16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN

15、MapReduce介绍及wordcount

14、HDFS 透明加密KMS

13、HDFS Snapshot快照

12、HDFS Trash垃圾桶回收介绍与示例

11、hadoop环境下的Sequence File的读写与合并

10、HDFS小文件解决方案-Archive

9、hadoop高可用HA集群部署及三种方式验证

8、HDFS内存存储策略支持和“冷热温”存储

7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法

6、HDFS的HttpFS-代理服务

5、HDFS API的RESTful风格-WebHDFS

4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件

2、HDFS操作 - shell客户端

1、hadoop3.1.4简单介绍及部署、简单验证

9、NIFI综合应用场景-通过NIFI配置kafka的数据同步

8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive

7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中

6、NIFI应用场景-离线同步Mysql数据到HDFS中

5、NiFi FileFlow示例和NIFI模板示例

4、NIFI集群部署及验证

3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看

2、NIFI应用示例-GetFile和PutFile应用

1、nifi-1.9.2介绍、单机部署及简单验证

5、kafka监控工具Kafka-Eagle介绍及使用

4、kafka分区、副本介绍及示例、高级API与低级API

3、kafka重要概念介紹及示例

2、java调用kafka api

1、kafka（2.12-3.0.0）介绍、部署及验证、基准测试

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）

1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）

5、zookeeper的java -Curator（服务注册与发现）

1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现

7、Elasticsearch7.6.1收集nginx日志及监测指标示例

8、Elasticsearch7.6.1收集mysql慢查询日志及监控