数据库
文章平均质量分 66
phil002
这个作者很懒,什么都没留下…
展开
-
【Redis】Redis 分片集群的渐进式扩容、缩容、管理
Redis 分片集群(cluster)的扩容、缩容、管理原创 2022-11-28 18:08:30 · 415 阅读 · 0 评论 -
【kafka】一个工具类轻松解决kafka幂等及并发问题
kafka幂等及并发问题封装原创 2022-06-10 10:13:47 · 382 阅读 · 0 评论 -
【Kafka】Kafka的Rebalance机制可能造成的影响及解决方案
一、kafka的rebalance机制在Kafka中,当有新消费者加入或者订阅的Topic数发生变化时,会触发Rebalance(再均衡:在同一个消费者组当中,分区的所有权从一个消费者转移到另外一个消费者)机制,Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下:第一步:所有消费成员都向Coordinator发送请求,请求入Consumer Group。一旦所有成员都发送了请求,Coordinator会从中选择一个Consumer担任Leader的角色,并把组成员信息以及订阅.转载 2022-05-25 17:42:43 · 3572 阅读 · 1 评论 -
【kafka】kafka key的作用一探究竟,详解Kafka生产者和消费者的工作原理
主题和日志对于每个主题,Kafka群集都会维护一个分区日志,如下所示:每个分区(Partition)都是有序的(所以每一个Partition内部都是有序的),不变的记录序列,这些记录连续地附加到结构化的提交日志中。分区中的每个记录均分配有一个称为偏移的顺序ID号,该ID 唯一地标识分区中的每个记录。每个消费者保留的唯一元数据是该消费者在日志中的偏移量或位置。此偏移量由使用者控制:通常,使用者在读取记录时会线性地推进其偏移量,但实际上,由于位置是由使用者控制的,因此它可以按喜欢的任何顺序使用记录。例如,使用者转载 2022-05-25 17:40:46 · 8951 阅读 · 0 评论 -
【Mysql&clickhouse】Mysql增量同步数据到clickhouse
实现原理基于datax同步功能,datax-web增量功能,clickhouse的ReplacingMergeTree分区合并功能实现增量同步(包含单条数据的修改后同步)前置条件datax没有clickhousewriter插件,需要下载插件并反正plugin的writer目录下clickhousewriter插件下载(为了方便下载,已上传至csdn)实现方案1.基于datax_web的增量功能时间戳参数-DlastTime=(%s-60*5) -DcurrentTime=’%s’原创 2022-03-11 16:14:51 · 2742 阅读 · 6 评论 -
【Mysql】Mysql开启ssl协议及Java客户端配置搭建教程
1. 安装openssl2.生成证书mysql_ssl_rsa_setup --datadir=/data/database/mysqlca-key.pem # CA 私钥ca.pem # 自签的CA证书,客户端连接也需要提供client-cert.pem # 客户端连接服务端需要提供的证书文件client-key.pem #客户端连接服务端需要提供的私钥文件private_key.pem #原创 2022-03-08 10:32:20 · 5864 阅读 · 0 评论 -
【Elasticsearch】基本操作
restapi地址https://www.elastic.co/guide/en/elasticsearch/reference/current/rest-apis.html查询数据http://127.0.0.1:9200/index/_search添加数据POST http://127.0.0.1:9200/test_zzq/test_zzq/1删除数据教程:https://www.elastic.co/guide/en/elasticsearch/reference/current/do原创 2022-01-14 15:04:24 · 757 阅读 · 0 评论 -
【MySQL】五、索引
一、索引创建的几大原则列的离散型离散型的计算公式:count(distinct column_name):count(*),就是用去重后的列值个数比个数。值在 (0,1] 范围内。离散型越高,选择型越好。如下表中各个字段,明显能看出Id的选择性比gender更高。mysql> select * from user;+----+--------------+------+--------+| id | name | age | gender |+----+------原创 2021-09-22 16:58:04 · 142 阅读 · 0 评论 -
【MySQL】四、MySQL表设计之四范式
第一范式(1NF)数据表的每一列都要保持它的原子特性,也就是列不能再被分割。第二范式(2NF)属性必须完全依赖于主键。例:以上表中:因为讲师没有办法作为独立主键,需要结合班级才能作为主键(复合主键:一个老师在一个班永远只能带一阶级的课),代课时间,开始和结束字段都是与当前代课主键(讲师和班级),但是性别并不依赖班级,教师并不依赖讲师,性别只依赖讲师,教师只依赖班级,出现了性别和教师依赖主键中的一部分:部份依赖,不符合第二范式。解决方案1:可以将性别 与讲师单独成表,班级与教室单独成表解决方案原创 2021-09-22 16:34:22 · 457 阅读 · 0 评论 -
【MySQL】二、浅谈B+Tree的演化以及在MySQL索引中的应用
对索引的简单理解 之前在学习索引的时候,就在思考为什么通过索引查询会减少查询的时间,解决查询时可能一直存在的效率问题(偶尔效率慢可能是因为锁表或者脏页等问题)。后来主要去研究了MySQL底层索引的实现原理,即对B+Tree结构的使用。 一般来说从数据库查询数据是内存对磁盘进行I/O操作的过程,而对磁盘读取的次数往往决定了查询速度的快慢。因此索引的目的就是更好优化存储结构,从而使用空间换取时间的...转载 2021-09-22 15:56:31 · 146 阅读 · 0 评论 -
【MySQL】一、MySQL常用数据库引擎
一、数据库引擎类型InnoDB:InnoDB是 MySQL 的事务安全(符合 ACID)存储引擎,具有提交、回滚和崩溃恢复功能来保护用户数据。 InnoDB行级锁定(不升级为更粗粒度的锁定)和 Oracle 风格的一致非锁定读取提高了多用户并发性和性能。InnoDB将用户数据存储在聚集索引中,以减少基于主键的常见查询的 I/O。为了维护数据完整性, InnoDB还支持FOREIGN KEY引用完整性约束。有关 的更多信息InnoDB,MyISAM表级锁定 限制了读/写工作负载的性能,因此它通原创 2021-09-22 11:24:54 · 174 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch cat Api
一、Cat通用参数 参数 路径 描述 Verbose GET /_cat/XXX/?v 开启详细输出 Help GET /_cat/XXX/?help 输出可用的列 Headers GET /_cat/XXX/?h=column1,column2 指定输出的列 Sort GET /_cat/XXX/?v&s=...原创 2021-08-15 15:58:00 · 720 阅读 · 0 评论 -
【Elasticsearch】Elasticsearch - 配置详解
1.1. 基本配置elasticsearch的config文件夹里面有两个配置文 件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日 志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。 clus...原创 2021-08-15 15:57:30 · 1406 阅读 · 0 评论 -
【Elasticsearch】搭建Elasticsearch 5.4分布式集群
转载自:https://blog.csdn.net/napoay/article/details/52202877一、集群角色多机集群中的节点可以分为master nodes和data nodes,在配置文件中使用Zen发现(Zen discovery)机制来管理不同节点。Zen发现是ES自带的默认发现机制,使用多播发现其它节点。只要启动一个新的ES节点并设置和集群相同的名称这个节点就会被...原创 2021-08-15 15:56:49 · 574 阅读 · 0 评论 -
【MySQL】三、事务
事务原创 2021-03-29 20:55:59 · 194 阅读 · 0 评论 -
【Neo4j】Neo4j的基本操作
neo4j语法总爱忘记,记点小笔记1、导入csv文件(要导入的文件必须放在neo4j的import文件夹里面) LOAD CSV WITH HEADERS FROM “file:///食品饮料331.csv” AS line MERGE (a:展示行业测试{name:line.subject})merge(b:展示行业测试{name:line.object})merge...原创 2021-08-10 23:34:35 · 2062 阅读 · 0 评论 -
【Mysql&应用场景】Mysql实现树形数据查询(存储过程)
1、实现原理测试的数据量是1740条数据,根据子节点一层一层的查询父节点直到查询到最高层,然后将所有层次的节点汇总,根据汇总的节点查询数据2、获取所有的子节点sqlDELIMITER //DROP PROCEDURE IF EXISTS `getChild`;CREATE PROCEDURE `getChild`(rootId varchar(36)) BEGI...原创 2021-09-23 10:51:49 · 2397 阅读 · 0 评论 -
【Mysql】六、EXPLAIN执行计划
俗话说,不看执行计划的sql优化都是流氓,所以呢看完就是半个文明人了引言:实际项目开发中,由于我们不知道实际查询的时候数据库里发生了什么事情,数据库软件是怎样扫描表、怎样使用索引的,因此,我们能感知到的就只有sql语句运行的时间,在数据规模不大时,查询是瞬间的,因此,在写sql语句的时候就很少考虑到性能的问题。但是当数据规模增大,如千万、亿的时候,我们运行同样的sql语句时却发现迟迟没...原创 2021-08-15 15:54:24 · 491 阅读 · 0 评论 -
【Mysql】Mysql之timeout
show variables like ‘%timeout%’;connect_timeoutmysql客户端在尝试与mysql服务器建立连接时,mysql服务器返回错误握手协议前等待客户端数据包的最大时限。默认10秒。interactive_timeout / wait_timeoutmysql关闭交互/非交互连接前等待的最大时限。默认28800秒。lo...原创 2021-09-23 10:48:02 · 2164 阅读 · 2 评论 -
【Mysql&应用场景】水平分库分表的关键问题及解决思路
分片技术的由来关系型数据库本身比较容易成为系统性能瓶颈,单机存储容量、连接数、处理能力等都很有限,数据库本身的“有状态性”导致了它并不像Web和应用服务器那么容易扩展。在互联网行业海量数据和高并发访问的考验下,聪明的技术人员提出了分库分表技术(有些地方也称为Sharding、分片)。同时,流行的分布式系统中间件(例如MongoDB、ElasticSearch等)均自身友好支持Sharding,...转载 2021-09-23 10:56:50 · 551 阅读 · 1 评论 -
【Redis】Redis数据持久化
RDB快照持久化配置//配置生成快照的方案save 900 1 // 900内,有1条写入,则产生快照save 300 1000 // 如果300秒内有1000次写入,则产生快照save 60 10000 // 如果60秒内有10000次写入,则产生快照//配置快照备份路径以及文件名dbfilename dump.rdb //导出来的rdb文件名dir ./ //rdb的放置路径...原创 2021-09-23 11:23:24 · 416 阅读 · 0 评论 -
【Neo4j】Neo4j-Cypher查询语言-函数
Neo4j-Cypher查询语言-函数包括:断言函数(Predicate functions)标量函数(Scalar functions)集合函数(Collection functions)数学函数(Mathematical functions)聚合函数(Aggregate functions)断言函数(Predicate functions) 函数名称 函...原创 2021-09-22 17:39:55 · 1620 阅读 · 0 评论