从头构建一个flink问题处理系统
文章平均质量分 62
在Flink应用开发过程中,经常会遇到各种各样的报错,有些报错是反复发生的,有些是偶尔发生。我们以Flink任务为例,将Flink任务日志输出到Kafka,继而用Flink消费Kafka中的Flink日志并以INFO、ERROR等级别进行分类,智能输出报错信息的解决办法。
BigDataToAI
分享大数据经验
展开
-
springboot 2.6.2集成elasticsearch 7.16
前面说到elasticsearch 7.16集群安装,本文介绍通过springboot 2.6.2集成es的java api对其进行操作。首先看一下pom文件pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:s原创 2022-01-03 00:58:31 · 3359 阅读 · 2 评论 -
Elasticsearch 7.16集群搭建指南
基本环境操作系统:centos 7.6主机信息:hostnameiphadoop110.0.2.9hadoop210.0.2.78hadoop310.0.2.211下载与安装https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.2-x86_64.rpmyum install elasticsearch-7.16.2-x86_64.rpm配置本文以原创 2022-01-02 23:45:22 · 1407 阅读 · 0 评论 -
Flink 1.14将数据写入InfluxDB 2.1.1
InfluxDB作为时序数据库,在与时间相关的数据记录中,发挥着巨大的作用。下文以flink为例,通过参考Flink第三方扩展(https://github.com/apache/bahir-flink/tree/master/flink-connector-influxdb2).自定义source将数据写入influxDB 2.1.1中。在完成以下工作时,请确保您已经安装并配置了InfluxDB 2.1.1,如果您还未安装配置,可参考以下文章(https://lrting-top.blog.cs原创 2022-01-02 22:06:39 · 1767 阅读 · 0 评论 -
influxdb 2.1.1安装指南
Influxdb作为时间序列数据库,用于处理高并发写入与查询负载。Influxdb旨在用作任何涉及大量时间戳数据的用例的后端存储,包括DevOp监控,应用指标程序,IoT传感器数据和数据实时分析。目前influxdb的最新版本为2.1.1,下述以该版本为例,介绍linux、docker等平台的安装方式。linux平台文件下载# amd64wget https://dl.influxdata.com/influxdb/releases/influxdb2-2.1.1-linux-amd64.tar.原创 2022-01-01 21:09:38 · 1856 阅读 · 0 评论