- 博客(286)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 zipkin的安装与搭建(最新)
zipkin的安装与搭建(最新)下载官网: https://zipkin.io/pages/quickstart.html启动nohup java -jar zipkin-server-2.23.16-exec.jar 浏览http://youip:9411/zipkin/
2022-01-25 11:05:18
371
原创 圣诞节桌面特效圣诞树程序（含运行效果和百度网盘直接运行程序分享）
圣诞节桌面特效圣诞树程序（含运行效果和百度网盘直接运行程序分享）下载软件，双击运行即可链接: https://pan.baidu.com/s/1UUuLD0ieWiFgqvP9lPt9IQ 提取码: dtpc
2021-12-17 14:35:48
2434
原创 clickhouse常用命令
clickhouse常用命令TRUNCATE table 表名 ON CLUSTER cluster_name;select COUNT(*) from 表名 ALTER TABLE 表名 ON CLUSTER cluster_name DELETE WHERE 1=1;ALTER TABLE 表名 DROP PARTITION 0drop table IF EXISTS 表名drop table IF EXISTS 表名 on CLUSTER cluster_name;DROP
2021-12-17 10:06:32
1476
原创 Clickhouse通过jdbc连接phoenix获取hbase数据(clickhouse-jdbc-bridge组件基于配置)
Clickhouse通过jdbc连接phoenix获取hbase数据(clickhouse-jdbc-bridge组件基于配置)部署请参考Clickhouse通过jdbc连接获取Mysql/Oracle数据(clickhouse-jdbc-bridge组件基于配置)这里只是换一下jsonckjdbc.json 如下 /server/hbase/drivers/phoenix-server-hbase-2.1-5.1.2.jar 所需要对应phoenix的依赖位置{ "$schema": "
2021-12-02 17:42:51
1851
原创 Clickhouse通过jdbc连接获取Mysql/Oracle数据(clickhouse-jdbc-bridge组件基于配置)
如何通过JDBC将mysql导入Clickhouse1. 部署clickhouse-jdbc-bridgeclickhouse-jdbc-bridge是通过jdbc将Clickhouse与其他数据沟通的桥梁，可将其他数据库数据导入clickhouse中，也可以直接在clickhouse中访问其他数据库。1.2 重新编译bridgegit clone https://github.com/ClickHouse/clickhouse-jdbc-bridge.git cd clickhouse-jdbc
2021-12-01 11:31:40
1884
原创 Clickhouse通过jdbc连接获取Mysql/Oracle数据(clickhouse-jdbc-bridge组件)
Clickhouse通过jdbc连接获取Mysql/Oracle数据引言Clickhouse连接获取Mysql/Oracle数据的方式主要为jdbc和odbc两种。jdbc： 通过jdbc的方式来连接到外部数据库，为实现这连接，需要借助clickhouse-jdbc-bridge这一组件clickhouse-jdbc-bridge clickhouse-jdbc-bridge主要充当无状态代理，主要作用为将查询从clickhouse传递到外部数据。通过这一扩展，可在clickhouse上实
2021-11-30 10:56:52
2450
原创 通过DBeaver连接Phoenix操作hbase
通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver，DBeaver 可通过 JDBC 连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。商业版本更是可以支持各种 NoSQL 和大数据平台：MongoDB、InfluxDB、Apache Cassandra、Redi
2021-11-30 10:22:48
5003
原创 springboot 整合 hbase
springboot 整合 hbase要确定这三个端口外包可以访问如果是127.0.0.1 可以参考修改Linux下Hbase安装配置<property><name>hbase.master.ipc.address</name><value>0.0.0.0</value></property><property><name>hbase.regionserver.ipc.address</n
2021-11-26 18:39:32
2074
原创 Linux下Hbase安装配置
Linux下Hbase安装配置首先要安装HadoopLinux Hadoop 2.7.3 安装搭建1. Hbase安装包下载点击进入Hbase官网页面下载 http://hbase.apache.org/downloads.html2. 安装将下载好的Hbase安装包上传到服务器指定目录（无限制，根据实际情况来）并解压。3. 配置JAVA_HOME环境变量在hbase安装目录下找到conf/hbase-env.sh文件，取消文件里JAVA_HOME那一行的注释并修改为本机jdk实际路径
2021-11-26 18:31:38
3016
原创 ClickHouse在Linux上安装和配置
ClickHouse在Linux上安装和配置基于脚本的安装1.1.1 确保curl已安装在系统上sudo yum install -y curl让我们下载并运行packagecloud.io提供的安装shell脚本curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash检查是否有可用于安装的ClickHouse软件包sudo yum list 'cli
2021-11-26 18:06:46
2123
2
原创 Linux Hadoop 2.7.3 安装搭建
Linux Hadoop 2.7.3 安装搭建Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hado
2021-11-26 18:03:39
446
原创 有什么网站能让你一直收藏？
有什么网站能让你一直收藏？1：Aconverthttps://www.aconvert.com/cn/ACONVERT是个免费的线上图片文件格式转换工具，可将 PNG 转 JPG、JPG 转 PNG、HEIC 转 JPG、WEBP 转 JPG、DDS 转 PNG、PNG 转 SVG …等，该服务操作简单，只需上传图片，选好要转换的文件格式，便能开始转换与下载。除了 PDF 转换功能，它还支持 PDF 编辑处理功能，包括：PDF 分割、PDF 合并、PDF 压缩、PDF 加密、PDF 提取、PDF
2021-11-19 14:32:53
1584
原创 MySQL慢查询（二） - pt-query-digest详解慢查询日志
MySQL慢查询（二） - pt-query-digest详解慢查询日志一、简介pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析结果找出问题进行优化。二、安装pt-que
2021-11-19 11:12:34
311
原创 mysql慢查询
mysql慢查询一、简介MySQL的慢查询，全名是慢查询日志，是MySQL提供的一种日志记录，用来记录在MySQL中响应时间超过阀值的语句。具体环境中，运行时间超过long_query_time值的SQL语句，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是记录运行10秒以上的语句。默认情况下，MySQL数据库并不启动慢查询日志，需要手动来设置这个参数。当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持
2021-11-19 11:05:43
264
原创 redis 缓存穿透，缓存击穿，缓存雪崩原因+解决方案
redis 缓存穿透，缓存击穿，缓存雪崩原因+解决方案缓存穿透key对应的数据在数据源并不存在，每次针对此key的请求从缓存获取不到，请求都会到数据源，从而可能压垮数据源。比如用一个不存在的用户id获取用户信息，不论缓存还是数据库都没有，若黑客利用此漏洞进行攻击可能压垮数据库。缓存穿透解决方案一个一定不存在缓存及查询不到的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。有很多种方法可以有效
2021-11-18 13:58:36
168
原创 MySQL索引:回表、索引覆盖，最左匹配原则、索引下推
MySQL索引:回表、索引覆盖，最左匹配原则、索引下推MySQL索引类型1.普通索引：最基本的索引，没有任何限制2.唯一索引(unique index)：索引列的值必须唯一，但是允许为空3.主键索引：特殊的唯一索引，但是不允许为空，一般在建表的时候同时创建主键索引4.组合索引：指多个字段上创建的索引，只有在查询条件中使用了创建索引时的第一个字段，索引才会被使用。使用组个索引时遵循最左前缀集合5.全文索引：主要用来查找文本中的关键字，而不是直接与索引中的值相比较sql语句是否使用索引在查询语
2021-11-18 11:29:58
935
原创 分布式系统CAP理论以及注册中心选择
分布式系统CAP理论以及注册中心选择CAP定理：指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可同时获得。一致性(C-数据同步耗时)：所有节点在同一时间具有相同的数据，节点越多，数据同步越耗时。可用性(A-保证正常响应时间)：服务一直可用，保证每个请求不管成功或者失败都有响应，而且是正常响应时间分区容错性(P-机器数量多)：分区容忍性，就是高可用性，一个节点崩了，并不影响其它的节点（10
2021-11-17 14:03:50
1214
原创 SpringCloud与Dubbo的比较详解
SpringCloud与Dubbo的比较Dubbo 出生于阿里系，是阿里巴巴服务化治理的核心框架，并被广泛应用于中国各互联网公司；只需要通过 Spring 配置的方式即可完成服务化，对于应用无入侵，设计的目的还是服务于自身的业务为主。微服务架构是互联网很热门的话题，是互联网技术发展的必然结果。它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。虽然微服务架构没有公认的技术标准和规范或者草案，但业界已经有一些很有影响力的开源微服务架构框架提供了微服务的关键思路，例如
2021-11-16 16:38:55
611
原创 集群,分布式，微服务概念和区别理解
集群,分布式，微服务概念和区别理解大白话去饭店吃饭就是一个完整的业务，饭店的厨师、配菜师、传菜员、服务员就是分布式；厨师、配菜师、传菜员和服务员都不止一个人，这就是集群；分布式就是微服务的一种表现形式，分布式是部署层面，微服务是设计层面概念:集群是个物理形态，分布式是个工作方式。分布式：一个业务分拆多个子业务，部署在不同的服务器上集群：同一个业务，部署在多个服务器上1：分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。分布式中的每一个节点，都可以做集
2021-11-16 16:19:21
348
原创 Java线程池七个参数详解
ThreadPoolExecutor创建线程池的7个参数一、corePoolSize 核心线程大小线程池中会维护一个最小的线程数量，即使这些线程处理空闲状态，他们也不会被销毁，除非设置了allowCoreThreadTimeOut。这里的最小线程数量即是corePoolSize。CPU密集型：核心线程数 = CPU核数 + 1IO密集型：核心线程数 = CPU核数 * 2+1注：IO密集型（某大厂实践经验）核心线程数 = CPU核数 / （1-阻塞系数）例如阻塞系数 0.8，CPU核数为4，
2021-11-16 15:59:55
506
原创 Spring事务失效的8种情况
Spring事务失效的8种情况总结：1、数据库引擎不支持事务从 MySQL 5.5.5 开始的默认存储引擎是：InnoDB，之前默认的都是：MyISAM，所以这点要值得注意，底层引擎不支持事务再怎么搞都是白搭。2、没有被 Spring 管理// @Servicepublic class OrderServiceImpl implements OrderService { @Transactional public void updateOrder(Order order) {
2021-11-16 13:57:55
19244
5
原创 mysql索引失效的几种情况
mysql索引失效的几种情况索引失效的情况：1 没有查询条件，或者查询条件没有建立索引2 在查询条件上没有使用引导列3 查询的数量是大表的大部分，应该是30％以上。4索引本身失效5 查询条件使用函数在索引列上有or必全有索引;复合索引未用左列字段;like以%开头;需要类型转换;where中索引列有运算;where中索引列使用了函数;如果mysql觉得全表扫描更快时（数据少）;对小表查询7 提示不使用索引8 统计数据不真实9 CBO计算走索引花费过大的情况。其实也包含了上
2021-11-16 13:45:12
1115
原创 Redis 集群的三种模式
Redis 集群的三种模式一、主从同步/复制 通过持久化功能，Redis保证了即使在服务器重启的情况下也不会丢失（或少量丢失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。 但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他服务器依然可以继续提供服务。为此， Redis 提供了复制（replication）功能，可以实现当一台数据库
2021-11-15 10:32:48
5305
原创 HashMap真的是大于8就转换成红黑树，小于6就变成链表吗
HashMap真的是大于8就转换成红黑树，小于6就变成链表吗？？？HashMap的底层是数组+链表，（很多人应该都知道了）JDK1.7的是数组+链表（1.7只是一个例子，以前的话也是这样后面就以1.7为例子了）首先是一个数组，然后数组的类型是链表元素是头插法JDK1.8的是数组+链表 或者 数组+红黑树首先是一个数组，然后数组的类型是链表在链表的元素大于8的时候，会变成红黑树（当链表长度大于8并且数组长度大于64时，才会转换为红黑树。如果链表长度大于8，但是数组长度小于64时，还是会进行
2021-11-12 15:37:19
4530
2
原创 linux上安装ES （elasticsearch）
在linux上安装elasticsearch简称ES 简单介绍安装步骤1、简介Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。实时分析的分布式搜索引擎。可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据像天猫、京东这样的商
2021-11-08 15:49:18
5473
原创 mybatis根据数据库生成mapper
mybatis根据数据库生成mapper https://java.bejson.com/generator/
2021-10-28 18:41:10
246
原创 windows下nacos的安装及Mysql持久化(单机部署)(spring cloud 组件教程大全二)
windows下nacos的安装及Mysql持久化(单机部署)(spring cloud 组件教程大全二)
2021-10-27 17:49:30
541
原创 window 下consul下载安装
consul下载安装下载consul判断是否成功cmd切换到consul解压目录，即consul.exe目录，执行输入consul出现如下表示安装成功判断是否启动cmd到consul安装目录键入命令：consul.exe agent -dev -ui -node=cy ///可指定节点nodeconsul.exe agent -dev 本地模式，将会使用127.0.0.1 的ip地址consul.exe agent -dev -client 192.168.xx.xx 远程模式浏览器输
2021-10-27 13:58:14
254
原创 一招教你搞定springboot与springcloud的版本对应关系
一招教你搞定springboot与springcloud的版本对应关系现在很多公司，都选择使用springcloud作为微服务开发框架，但是由于springboot和springcloud的版本命名方式差异较大，经常在选择springcloud对应的springboot版本，让我们绞尽脑汁，很多时候可能还要花大量的时间去验证。今天，我来教你一个简单的方式，5分钟之内，绝对让你搞清他们的对应关系。按照下面几个步骤，就可以见证奇迹。在线访问https://start.spring.io/actuato
2021-10-27 11:20:31
442
原创 1000瓶无色无味的药水，其中有一瓶毒药，10只小白鼠拿过来做实验。喝了无毒的药水第二天没事儿，喝了有毒的药水后第二天会死亡。如何在一天之内(第二天)找出这瓶有毒的药水？
1000瓶无色无味的药水，其中有一瓶毒药，10只小白鼠拿过来做实验。喝了无毒的药水第二天没事儿，喝了有毒的药水后第二天会死亡。如何在一天之内(第二天)找出这瓶有毒的药水？题目：1000 瓶无色无味的药水，其中有一瓶毒药，10只小白鼠拿过来做实验。喝了无毒的药水第二天没事儿，喝了有毒的药水后第二天会死亡。如何在一天之内(第二天)找出这瓶有毒的药水？第一次看这个问题完全没思路，应该有很巧妙的解法吧，后来还是百度一下，才明白怎么回事。思路就是用二进制，2^10=1024，也就是10只小白鼠最多能验出1024
2021-10-27 10:06:48
1951
1
原创 初始化对象并赋值默认值
import com.baomidou.mybatisplus.annotation.IdType;import com.baomidou.mybatisplus.annotation.TableId;import com.baomidou.mybatisplus.annotation.TableLogic;import com.baomidou.mybatisplus.annotation.TableName;import com.bt.location.base.core.enums.Cha..
2021-09-10 16:55:37
539
原创 Debezium同步多个表投递到一个Topic
Debezium同步多个表投递到一个TopicDebezium 是否支持同步 多个表投递到一张topic?答 : 支持验证如下:官方说明: https://debezium.io/documentation/reference/1.5/configuration/topic-routing.html数据库db如下配置如下{ "name":"10.90.81.121-canalA", "config":{ "connector.class":"io.deb
2021-08-10 16:23:53
2464
8
原创 kafka connect管理平台-confluent platform
kafka connect管理平台-confluent platform目录kafka connect管理平台-confluent platform准备工作配置Connector文件目录修改配置开启confluent访问扩展**全部开启**停止融合平台准备工作我们必须要先安装好 debezium 环境配置Connector下载1. 下载，到官方网址下载最新1.2 版debezium-mysql-connector：https://debezium.io/releases/1.2/2.通过命令
2021-08-10 16:14:42
1291
原创 zookeeper 启动时一直报: Starting zookeeper … FAILED TO START
zookeeper 启动时一直报: Starting zookeeper … FAILED TO START以下几种情况:1. 下载的版本问题（>= 3.5.5）2. 端口冲突问题（>=3.5.0）下载的版本问题（>= 3.5.5）版本：3.6.1，实际上只要 >= 3.5.5 版本都会出现这种问题。问题原因：下载了错误的版本文件。因为Zookeeper 从3.5.5后开始拆分为两个版本，，而且他们的结构还很类似。标准版本（Apache ZooKeeper x.y
2021-08-06 16:38:25
3063
原创 kafka 相关命令
02-kafka 相关命令创建 topic 和分配权限在bin目录执行命令如下TP_RISK_ERROR_LOG1 -- topic 名字./kafka-topics.sh --create --topic TP_RISK_ERROR_LOG --replication-factor 3 --partitions 8 --zookeeper 10.41.8.201:2181./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAut
2021-08-03 10:21:12
143
原创 debezium topic 生成规则
debezium topic 生成规则topic 有一定的 生成规则 前缀.db名.表名 如( “database.server.name”:“uat”) uat.db名.表名// 最终生成的某张表的kafka topic为：(database.server.name).数据库名.表名{ "name":"debezium-test-5017", // 连接器名称 "config":{ // 连接器配置 "connector.class":"io
2021-07-23 13:42:08
1165
原创 Java8 新特性之流式数据处理
Java8 新特性之流式数据处理一. 流式处理简介在我接触到java8流式处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于流式处理可以在一行中实现。比如我们希望对一个包含整数的集合中筛选出所有的偶数，并将其封装成为一个新的List返回，那么在java8之前，我们需要通过如下代码实现：List evens = new ArrayList<>();for (final Integer num : nums) {if (num % 2 =
2021-07-22 09:25:13
252
原创 投递进程重推数据
投递进程重推数据进入ogg安装主机10.41.8.42找到相对应的投递进程在采集端 /dirdat文件中，找到重推时间前的trail文件标号停止投递进程 stop xxxx重新设置采集点 alter 进程名 extseqno 1726,extrba 0extseqno ： trail文件序号extrba ： 文件内的偏移量开始投递进程 start xxxx NOFILTERDUPTRANSACTIONS...
2021-07-22 09:24:46
627
原创 ogg 运维命令
ogg 运维命令--管理进程命令INFO MANAGER 返回有关管理器端口和进程id的信息。START MANAGER 开启管理进程STATUS MANAGER 返回管理进程状态STOP MANAGER 停止管理进程--采集进程命令ADD EXTRACT 添加一个采集组ALTER EXTRACT 更改采集组的属性CL
2021-07-22 09:24:22
679
原创 oracle goldgate 安装配置-单机版(ogg)
oracle goldgate 安装配置-单机版(ogg)准备 OGG 配置分两部分，源端与目标端两部分，安装文件不一致，需注意！ 环境: centos7 2台 1. 源端安装oracle 这里不做配置，请查看 Oracle单机版安装部署 2. 目标端安装kafka源端 1. 开启oracle 归档日志 ，使用dba登录查询是否是归档模式 LOG_MODE= ARCHIVELOG | NOARCHIVELOG NOARCHIVELOG 代表非归
2021-07-22 09:23:50
615
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人