- 博客(55)
- 收藏
- 关注
RSS订阅转载 PostgreSql 使用dblink跨库
此篇介绍下psql下dblink的使用方式，帮助自己记录以备后需。dblink是psql下的扩展功能，可以实现在一个数据库中远程操作另外一个数据库，是实现跨库的一种方法。下面步入正文。安装dblinkrpm -ivh postgresql10-contrib-10.4-1PGDG.rhel7.x86_64 --nodeps --force（psql数据库默认是安装了的，可先在服务器上查看），安装完后$PGHOME下的lib下就有个dblink.so文件 先安装扩展 ...
2022-02-14 11:35:15
3880
转载 Kafka-LEO和HW概念及更新流程
目录LEO&HW基本概念LEO&HW更新流程LEOHW更新流程示例分析 引言记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。回到顶部LEO&HW基本概念Base Offset：是起始位移，该副本中第一条消息的offset，如下图，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是0开始了。HW（high watermark）：副本的高水印值，re...
2022-01-26 10:39:49
2356
1
原创 postgresq子查询exists/not exists操作符用法
1. EXISTS 操作符在 where 子句的 查询条件中，exists 操作符，会在子查询有返回行时，返回true；不论返回几行。因此，子查询中的查询字段仅写1就好；标准的写法：EXISTS (SELECT 1 FROM tbl WHERE condition)2. not exists操作符not exists与exists正好相反，如果子查询没有返回结果，为’TRUE’，否则’FALSE’3. 例子子查询返回多条时，可以在 where 子句中 用 IN，来匹配查询条件。select i
2021-12-31 17:41:48
9411
转载 TimescaleDB时序数据库特点及实例应用
TimescaleDB时序数据库背景随着物联网的发展，时序数据库的需求越来越多，比如水文监控、工厂的设备监控、国家安全相关的数据监控、通讯监控、金融行业指标数据、传感器数据等。在互联网行业中，也有着非常多的时序数据，例如用户访问网站的行为轨迹，应用程序产生的日志数据等等。时序数据有几个特点基本上都是插入，没有更新的需求。 数据基本上都有时间属性，随着时间的推移不断产生新的数据，旧的数据不需要保存太久。业务方对时序数据通常有几个查询需求 获取最新状态，查询最近的数据（例如传感器最新的状
2021-12-31 14:55:34
1715
转载 SpringBoot整合JWT
目录 `JWT` 概述`JWT` 是什么为什么使用 `JWT`传统的 `Cookie`，`Session` 与 `JWT` 对比传统 `Cookie` 和 `Session``JWT` `JWT` 的组成`Header``Claim`：`Signature` `JWT` 实现用户认证的流程`JWT` 优缺点 `SpringBoot` 方式整合 `JWT` 示例`Maven` 依赖`JwtTokenUtil` 工具类`springboot` 配置拦截器自定义的拦截器用户登录 `S...
2021-12-27 10:18:15
745
转载 SpringBoot 2.0.x应用修改默认的端口号多种方式汇总
目录 前言`springboot` 修改默认的端口号通过修改配置文件中的 `server.port``TomcatServletWebServerFactory`通过命令行参数通过虚拟机参数 前言 有时候我们可能需要启动不止一个 springboot 应用，而 springboot 默认的端口号是 8080，所以这时候我们就需要修改 springboot 的默认端口了。下面就分别介绍一下这几种方式 springboot 修改默认的端口号 本文介绍的 springboot 版本为 2....
2021-12-27 09:33:22
563
转载 SpringBoot读取配置文件数据方式汇总
目录 `springboot` 读取配置文件中的数据`springboot` 读取配置文件中的数据方法使用 `@Value` 注解使用 `Environment`使用 `@ConfigurationProperties` 注解 springboot 读取配置文件中的数据 在 springboot 框架里面对一些系统配置或者常量配置必须要在名字为 application 文件里配置 ，文件类型可以为后缀为 .properties 或者 .yml 形式 其实无论是 properties 文...
2021-12-27 09:25:34
509
转载 Flink Checkpoint超时 引发TaskManager进程挂掉
Flink Checkpoint超时问题 文章目录 Flink Checkpoint超时问题问题现象问题分析问题1：TaskManager进程挂掉问题2：任务长时间处于CANCELING问题3：Checkpoint超时问题4：数据无法正常同步 解决思路总结参考文档 问题现象 业务部门最近使用Flink来做数...
2021-12-23 16:59:28
6587
2
原创 Flink CEP开发流程介绍
FlinkCEP1.CEPCEP全称 Complex event processing 复杂事件处理FlinkCEP 是在 Flink 之上实现的复杂事件处理（CEP）库擅长高吞吐、低延迟的处理，市场上有多种CEP的解决方案，例如Spark，但是Flink专门类库更方便使用官网链接：https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/libs/cep/2.应用场景检测和发现无边界事件流中多个记录的关联规则，得到满足
2021-12-23 16:40:15
884
原创 Flink状态State管理、后端存储、Checkpoint
Flink的状态State介绍和应用场景解析什么是State状态是一个Operator的运行的状态/历史值,是维护在内存中数据流处理离不开状态管理，比如窗口聚合统计、去重、排序等流程：一个算子的子任务接收输入流，获取对应的状态，计算新的结果，然后把结果更新到状态里面有状态和无状态介绍无状态计算同个数据进到算子里面多少次，都是一样的输出，比如 filter有状态计算需要考虑历史状态，同个输入会有不同的输出，比如sum、reduce聚合操作状态管理分类ManagedState（
2021-12-23 16:04:38
3304
转载 springboot2.0整合quartz
目录 `Quartz``Quartz` 简介`Quartz` 优点核心概念`Quartz` 的作业存储类型`Cron` 表达式`Cron` 语法`Cron` 语法中每个时间元素的说明`Cron` 语法中特殊字符说明在线 `Cron` 表达式生成器 `springbo...
2021-12-23 14:37:18
756
转载 基于Springboot 单线程 多线程 异步定时任务剖析
创建定时任务 在Spring Boot的主类或配置类中加入@EnableScheduling注解，启用定时任务的配置 import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;import org.springframework.sch...
2021-12-23 11:46:21
1087
转载 定时任务最简单的3种实现方法
定时任务在实际的开发中特别常见，比如电商平台 30 分钟后自动取消未支付的订单，以及凌晨的数据汇总和备份等，都需要借助定时任务来实现，那么我们本文就来看一下定时任务最简单的几种实现方式。TOP 1：TimerTimer 是 JDK 自带的定时任务执行类，无论任何项目都可以直接使用 Timer 来实现定时任务，所以 Timer 的优点就是使用方便，它的实现代码如下：public class MyTimerTask { public static void main(String[] args).
2021-12-23 11:20:23
1295
转载 原子操作类AtomicInteger详解
为什么需要AtomicInteger原子操作类？ 对于Java中的运算操作，例如自增或自减，若没有进行额外的同步操作，在多线程环境下就是线程不安全的。num++解析为num=num+1，明显，这个操作不具备原子性，多线程并发共享这个变量时必然会出现问题。测试代码如下: public class AtomicIntegerTest { private static final int THREADS_CONUT = 20; public static...
2021-12-23 09:29:37
157
原创 Flink 多种时间概念、Watermark、allowedLateness、SideOutput概念及应用
Flink 多种时间概念、Watermark、allowedLateness、SideOutput概念及应用
2021-12-20 14:51:29
646
原创 批量计算与流式计算的区别
大数据的【计算模式】主要分为两种，适用于不同的大数据应用场景批量计算(batch computing)批处理：对一定规模量的数据进行处理，类似搬砖，10个10个的搬场景：离线数据统计、报表分析等（过去1年 10000亿条日志，分析日、周、月，接口响应延迟 状态码）特点：批量计算非实时、高延迟，计算完成后才可以得到结果框架：Hadoop MapReduce流式计算(stream computing)流处理：对源源不断的数据流进行处理，类似水龙头出水特点：流式计算实时、低延迟，实时取最新
2021-12-18 16:35:47
2073
转载 java单例模式几种实现方式
定义：保证一个类仅有一个实例，并提供一个访问它的全局访问点。单例模式结构图：单例模式有多种写法各有利弊，现在我们来看看各种模式写法。1. 饿汉模式public class Singleton { private static Singleton instance = new Singleton(); private Singleton (){ } public static Singleton getInstance() { ...
2020-05-19 16:45:48
186
原创 kafka的几个面试问题汇总(概念，优势，zk的作用，数据同步，优化等等）
1.什么是kafkaKafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。2.为什么要使用消息队列 kafka缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在ka...
2020-01-04 18:19:28
314
原创 使用logstash6.5.4把mysql的数据拉取到具有kerberos认证的kafka的集群上
需求把mysql的数据拉取到具有kerberos认证的kafka集群上，并且生成id字段和其他的字段进行重命名1.创建的topic的命令kafka-topics --create --zookeeper node96:2181/kafka1 --replication-factor 2 --partitions 3 --topic test_task2.下载logstash的安装包和准备相...
2020-01-04 17:09:43
546
原创 使用快照的方式把一个elasticsearch集群的数据迁移到另一个elasticsearch集群上
需求：把elasticsearch5.5集群的数据迁移到elasticsearch6.5的集群上1.安装sshfs在elasticsearch集群上的节点都要安装sshfs服务，过程如下：1.1 下载安装包wget http://ftp.tu-chemnitz.de/pub/linux/dag/redhat/el7/en/x86_64/rpmforge/RPMS/fuse-sshfs-2....
2019-12-12 23:08:59
1448
1
原创 使用logstash6.5.4把elasticsearch-5.5的数据拉取到另一个elasticsearch5.5的集群上
1.下载logstash的安装包cd /opt/wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gztar xf logstash-6.5.4.tar.gzmv logstash-6.5.4 logstash2.添加配置es-es.conf的配置文件切换到logstash目录下cd log...
2019-12-12 18:30:58
351
原创 mongodb的3台服务器shard集群搭建
1.硬件条件53~55 共3台服务器，操作系统均是centos 7.5，服务器相关配置修改：echo never > /sys/kernel/mm/transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/defragecho 0 > /proc/sys/vm/zone_re...
2019-12-12 18:04:10
685
转载 linux上的解压缩命令大全
linux zip命令参数列表：-a 将文件转成ASCII模式-F 尝试修复损坏的压缩文件-h 显示帮助界面-m 将文件压缩之后，删除源文件-n 特定字符串 不压缩具有特定字尾字符串的文件-o 将压缩文件内的所有文件的最新变动时间设为压缩时候的时间-q 安静模式，在压缩的时候不显示指令的执行过程-r 将指定的目录下的所有子目录以及文件一起处理-S 包含系统文件和隐含文件（S是大...
2019-11-07 17:26:10
118
原创 hive的建表，插入数据、删除分区等命令大全
1、查询所有数据库show databases;2、删除数据库drop database if exists task01;内部表基本操作3、创建student表create table if not exists student(name string,age int,agent string,adress structstreet:STRING,city:STRING)...
2019-11-05 18:49:22
1019
原创 安装Kafka Eagle对具有kerberos认证的kafka集群进行监控
一、kafka Eagle的知识点1.kafka Eagle的介绍：kafka Eagle监控系统的目标是做一个部署简单，开发容易，使用方便的kafka消息监控系统。2.下载kafka Eagle安装包的链接为：下载地址：http://download.smartloli.org/3.下载kafka Eagle 源代码的链接为：https://github.com/smartloli/...
2019-11-04 16:18:49
616
2
原创 flume知识点的详细介绍与总结
一、Flume简介flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 ...
2019-10-30 17:58:31
263
原创 ssh登录错误ECDSA host key for ip has changed和Offending key for IP in /root/.ssh/known_hosts:1
首先我跟大家说一下我的遇到的问题，我这边有一台虚拟机服务器的ip地址有人改动了，之前服务器的地址为172.18.2.248，不知道怎么回事，ip地址变为172.18.2.237首先要改动ip,改动的操作如下：首先使用ifconfig的命令看一下，目前你使用的那个网络配置：eno16777736: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> ...
2019-10-30 12:15:44
2316
1
原创 解决在hive中创建表时TBLPROPERTIES中的长度问题
如果在hive中创建表时，如果TBLPROPERTIES中的长度过长，在hive的命令行中执行show create table 表名；发现创建的表语句中的TBLPROPERTIES的长度不完全，以下是解决办法：我这边的集群是hive的元数据信息存到了hive中了，这时候需要调整myql中的hive库中的TABLE_PARAMS表 PARAM_VALUE字段的长度：首先以root的用户登录my...
2019-10-29 17:35:16
3797
原创 java实现操作文件的方法汇总实现
直接上代码：package lm;import org.apache.commons.io.FileUtils;import org.apache.log4j.LogManager;import org.apache.log4j.Logger;import java.io.*;import java.math.BigInteger;import java.nio.MappedB...
2019-10-24 18:06:41
130
转载 Nginx的详细介绍与Linux上Nginx的安装及使用
1. Nginx是什么？Nginx就是反向代理服务器。首先我们先来看看什么是代理服务器，代理服务器一般是指局域网内部的机器通过代理服务发送请求到互联网上的服务器，代理服务器一般作用于客户端。比如GoAgent，FQ神器。一个完整的代理请求过程为：客户端首先与代理服务器创建连接，然后根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或则获得目标服务器的指定资源。Web代理服务器是网络的...
2019-10-24 17:50:42
109
原创 java实现csv格式转成GenericRecord格式的数据并且以文件的形式写到指定目录下
把byte[]写入文件的类的实现package lm;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;public class FileMgr { private String toPath = null; private long n = 0; class O...
2019-10-24 17:47:27
1037
1
原创 java的单例模式实现从配置文件获取信息和单例实现mysql的数据库连接池
java的单例模式实现从配置文件获取信息package lm;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.util.Properties;public class ConfigFile { static publ...
2019-10-24 16:31:33
557
原创 java实现从目录下读取文件生产到kafka和从kafka拉取数据消费到文件中
从某一目录下读取文件写入到kafka的代码实现package lm;import java.io.BufferedReader;import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;impo...
2019-10-24 16:16:16
1738
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人