数据库
文章平均质量分 94
数据库
Ybb_studyRecord
这个作者很懒,什么都没留下…
展开
-
Neo4J 特性CQL语句,函数,Springboot集成
随着社交、电商、金融、零售、物联网等行业的快速发展,现实社会织起了了一张庞大而复杂的关系网,传统数据库很难处理关系运算。大数据行业需要处理的数据之间的关系随数据量呈几何级数增长,急需一种支持海量复杂数据关系运算的数据库,图数据库应运而生。社交领域:Facebook, Twitter,Linkedin用它来管理社交关系,实现好友推荐零售领域:eBay,沃尔玛使用它实现商品实时推荐,给买家更好的购物体验金融领域:摩根大通,花旗和瑞银等银行在用图数据库做风控处理。原创 2023-07-03 21:23:58 · 1266 阅读 · 0 评论 -
线上故障之-雪花算法重复、序列化、redis锁失效、double精准计算
线上故障之-雪花算法重复、序列化、redis锁失效、double精准计算雪花算法重复问题发现定位影响范围解决方案扩展-雪花算法原理分析:序列化运营商 POP 裸机搭售自营套餐事故分析直播抽奖超发奖品代码严谨性核账问题分析redis锁失效RedlockRedlock 算法介绍原理Redlock 算法是否安全double 精准计算雪花算法重复问题发现查看服务A发布项机器日志,发现表的insert报主键冲突异常查看发号器服务器日志,发现两台机器产生相同的uniqueID定位1.发号器生成算法-雪花原创 2022-03-09 22:00:08 · 455 阅读 · 0 评论 -
网站首页高可用nginx+lua 基于redis实现分布式锁
网站首页高可用nginx+lua 基于redis实现分布式锁一、网站首页高可用nginx+lua1 lua介绍1.1 lua是什么1.2 lua的安装1.3 快速入门1.4 LUA的基本语法1.4.1 注释1.4.2 关键字1.4.3 定义变量1.4.4 Lua中的数据类型1.4.5 流程控制1.4.6 函数1.4.7 菜鸟学习传送门二、nginx+lua+redis实现广告缓存2.1 需求分析2.2 OpenResty2.2.1OpenResty介绍2.2.2 OpenResty安装2.2.3 安装ngi原创 2020-10-08 22:54:03 · 854 阅读 · 0 评论 -
redis核心(IO多路复用,工作流程,慢操作,高可用(集群,主从,哨兵,cluster),redis分布式锁)
redisredisredis是单线程架构还是多线程架构单线程的redis为什么这么快IO多路复用技术前置知识(fd)前置知识(内核空间和用户空间)前置知识(IO和阻塞)核心epoll两种模式epoll与select、poll的对比mmap基本原理和分类redis处理流程redisredis是单线程架构还是多线程架构redis整体来说并非只有一个线程(多线程),只是redis在处理网络请求,k/v读写操作这个过程是用一个线程来处理的,它的其他功能:其他功能:持久化,异步删除,集群同步都是采用额外的线程原创 2021-03-11 17:19:08 · 1084 阅读 · 0 评论 -
高性能分布式缓存redis(持久化原理 安全策略 过期删除&内存淘汰策略 性能压测 高可用 Redis Cluster)
redis 持久化原理redis(持久化原理)1. 持久化原理1.1 持久化流程(落盘)1.2 RDB详解1.2.1 概念1.2.2 触发&原理1.2.3 实现1.2.4 RDB总结1.3 AOF详解1.3.1 概念1.3.2 AOF 持久化的实现1.3.2 开启1.3.4 命令追加1.3.5 文件写入和同步(触发)1.3.6 AOF 数据恢复1.3.7 AOF "重写"1.3.8 AOF重写原理1.4 持久化优先级1.5 性能与实践2. 安全策略3. 过期删除策略&内存淘汰策略3.1. 问原创 2021-07-25 12:28:30 · 325 阅读 · 0 评论 -
线上故障之-redis锁处理幂等性失效和幂等性问题解决方案
线上故障之-redis锁处理幂等性失效和幂等性问题解决方案redis锁处理幂等性失效幂等性设计方法1. insert前先select2. 加悲观锁redis锁处理幂等性失效 @Override @Transactional(rollbackFor = Exception.class) public void addError(User user) { log.info("add user params user:{}", JSON.toJSONString(user));原创 2022-03-04 20:52:22 · 2276 阅读 · 3 评论 -
redis高级(缓存穿透 雪崩 击穿 集群方案--主从 哨兵 cluster)
redis高级1. Redis缓存相关问题1.1 缓存穿透1.2 缓存雪崩1.3 缓存击穿2. Redis集群方案2.1 主从复制Replication2.2 哨兵sentinel2.2.1 高可用介绍2.2.3 Redis sentinel使用Redis内置集群cluster2.3.1 Redis cluster介绍2.3.2 哈希槽方式分配数据2.3.3 Redis cluster的主从模式2.3.4 Redis cluster搭建1. Redis缓存相关问题1.1 缓存穿透缓存穿透是指查询一个数原创 2020-09-11 21:07:17 · 592 阅读 · 0 评论 -
高性能分布式缓存Redis(缓存分类 安装 数据类型选择和应用场景 发布订阅 事务 Lua脚本 慢查询日志)
高性能分布式缓存Redis高性能分布式缓存Redis1. 缓存发展史&缓存分类1.1 大型网站中缓存的使用1.2 常见缓存的分类1.3 分布式缓存选型方案对比2. Redis概述&安装配置2.1 概述2.2Redis应用场景2.3 安装&配置2.4 ui3. 数据类型选择&应用场景Redis的Key的设计string字符串类型高性能分布式缓存Redis1. 缓存发展史&缓存分类1.1 大型网站中缓存的使用访问量越大,响应力越差,用户体验越差引入缓存、示意图原创 2021-07-24 10:39:59 · 183 阅读 · 1 评论 -
ES和Redis环境安装与配置
ES和Redis环境安装与配置ES和Redis环境安装与配置ES安装配置校验Redis配置安装配置启动ES和Redis环境安装与配置ES安装Java JDK1.8.0 以上的版本 11.0yum install -y java-1.8.0-openjdk*配置环境变量就不讲了安装ES yum公钥rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch配置清华源vim /etc/yum.repos.d/elasti原创 2022-01-23 19:43:44 · 2353 阅读 · 0 评论 -
Mysql高级 索引 视图 存储过程和函数 触发器 引擎 SQL优化
Mysql高级Mysql高级第一章1.Linux系统安装MySQL2.索引2.1索引概述2.2索引优势劣势2.3索引结构2.3.1BTREE结构2.3.3B+TREE结构2.3.3MySQL中的B+Tree2.4索引分类2.5索引语法2.5.1 创建索引2.5.2 查看索引2.5.3 删除索引2.5.4ALTER命令2.5索引设计原则3.视图3.1视图概述3.2创建或者修改视图4.存储过程和函数5.触发器第二章体系结构存储引擎优化sql步骤索引使用SQL优化Mysql高级第一章1.Linux系统安装M原创 2020-12-12 17:01:16 · 360 阅读 · 0 评论 -
MongoDB集群搭建与管理(集群搭建 分片 扩缩容 搭建高可用集群)
MongoDB集群搭建MongoDB集群搭建MongoDB集群搭建MongoDB集群简介Mongo分片高可用集群搭建整体架构基础环境准备搭建ConfigServer副本集搭建Shard分片组搭建MongosDocker-compose方式搭建启动服务MongoDB集群搭建MongoDB集群搭建MongoDB集群简介mongodb 集群搭建的方式有三种:主从备份(Master - Slave)模式,或者叫主从复制模式。副本集(Replica Set)模式分片(Sharding)模式其中,第一原创 2021-08-14 13:23:53 · 1224 阅读 · 1 评论 -
ElasticSearch 核心概念(倒排索引的压缩算法)
ElasticSearch 核心概念搜索引擎什么是搜索引擎?搜索引擎应该具备哪些要求?面向海量数据,如何达到“搜索引擎”级别的查询效率?数据库的组成结构MySQL的索引结构MySQL索引能解决大数据检索的问题吗?ElasticSearch引擎Lucene全文检索倒排索引核心算法原理倒排表的压缩算法FOR压缩算法搜索引擎什么是搜索引擎?全文搜索引擎自然语言处理(NLP)、爬虫、网页处理、大数据处理如谷歌、百度、搜狗、必应等等垂直搜索引擎有明确搜索目的的搜索行为各大电商网站、OA、站内搜索、视频原创 2022-05-20 23:42:14 · 869 阅读 · 1 评论 -
Mysql查表语句综合练习,从开始到放弃的综合练习...
表结构# 1、创建表# 创建班级表create table class(cid int primary key auto_increment,caption varchar(32) not null);# 创建学生表create table student(sid int primary key auto_increment,gender char(1) not null,class_id int not null,sname varchar(32) not null,for..原创 2020-07-14 15:22:04 · 190 阅读 · 0 评论 -
MongoDB聚合查询 Pipeline 和 MapReduce
MongoDB聚合查询MongoDB聚合查询什么是聚合查询MongoDB的聚合查询聚合管道方法聚合流程详细流程聚合语法常用聚合管道$countMongoDB聚合查询什么是聚合查询聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起,按条件分组后,再进行一系列操作(如求和、平均值、最大值、最小值)以返回单个结3果。MongoDB的聚合查询聚合是MongoDB的高级查询语言,它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(ag原创 2021-08-12 00:07:25 · 1789 阅读 · 0 评论 -
MongoDB基本使用(NoSQL 安装 基本概念 高级查询 SpringBoot整合)
MongoDB基本使用MongoDB基本使用1. Nosql简介1.1 什么是NoSQL1.2 为什么使用NoSQL1.3 RDBMS vs NoSQL1.4 分布式理论2.MongoDB基础2.1 什么是MongoDB2.2 MongoDB安装2.3 安装MongoDB2.4 基本概念2.4.1 数据库2.4.2 集合2.4.3 文档3. 高级查询MongoDB基本使用1. Nosql简介NoSQL(NoSQL = Not Only SQL ),意即”不仅仅是SQL”。在现代的计算系统上每天网络原创 2021-08-08 19:06:39 · 349 阅读 · 0 评论 -
MySQL忘记root用户密码的解决办法
0. 切换root登录CentOS7。因为该操作对安全要求较高,需要切换到root用户下操作。su root输入密码回车,输入密码的时候没有提示,输入成功即可切换到root用户。结果:[root@localhost ~]#能看到最左边的root说明已经切换用户成功。1. 修改配置跳过验打开MySQL配置文件my.cnf,vi /etc/my.cnf按字符i,进入编辑模式,在[mysqld] 下面加上,skip-name-resolveskip-grant-tables修改后(参考)转载 2020-07-04 14:21:29 · 170 阅读 · 0 评论 -
canal集成MYSQL和ES
canal集成MYSQL和EScanal集成MYSQL和EScanal下载服务端配置客户端配置es验证canal集成MYSQL和ES主机规划主机1 MySQL环境5.7.24 26 30 10.0.0.11主机2 Canal1.1.4 Server Client ES 10.0.0.50软件github上使用阿里云可能因为国内很慢,我们可以先下载到本地yum install -y lrzsz 工具本地Windows下的内容Linux虚拟机中Canal的架构模式Canal是利用binlog日志原创 2022-01-23 23:01:51 · 1728 阅读 · 0 评论 -
TiDB-亿级订单数据亚秒响应查询方案
TiDB-亿级订单数据亚秒响应查询方案TiDB-亿级订单数据亚秒响应查询方案1 什么是TIDB1.1 什么是NewSQL1.1.1 传统SQL的问题1.1.2 NoSQL 的问题1.1.3 NewSQL 特性1.2 TiDB怎么来的1.3 TiDB社区版和企业版1.4 TIDB核心特性1.4.1 水平弹性扩展1.4.2 分布式事务支持1.4.3 金融级高可用1.4.4 实时 HTAP1.4.5 云原生的分布式数据库1.4.6 高度兼容 MySQL1.5 OLTP&OLAP1.5.1 OLTP(联机事原创 2021-08-15 18:46:30 · 3151 阅读 · 0 评论 -
ElasticSearch 分词器
分词器原创 2022-05-21 00:10:05 · 201 阅读 · 1 评论 -
Mysql 应用程序优化 管理 锁 使用技巧
Mysql 应用程序优化 管理 锁 使用技巧Mysql高级1.应用优化1.1使用连接池1.2减少对MySQL的访问1.2.1 避免对数据进行重复检索1.2.2增加cache层1.3负载均衡1.3.1利用MySQL复制分流查询1.3.2采用分布式数据库架构2.Mysql中查询缓存优化2.1概述2.2操作流程2.3查询缓存配置2.4开启查询缓存2.5查询缓存SELECT选项2.6查询缓存失效的情况3.Mysql内存管理及优化4.Mysql并发参数调整5.Mysql锁问题6.常用SQL技巧Mysql高级1.应原创 2020-12-19 15:18:10 · 167 阅读 · 1 评论 -
MYSQL performance schema详解
MYSQL performance schema详解MYSQL performance schema详解0、performance_schema的介绍1、performance schema入门2、performance_schema表的分类3、performance_schema的简单配置与使用4、常用配置项的参数说明5、重要配置表的相关说明6、performance_schema实践操作MYSQL performance schema详解0、performance_schema的介绍 MySQ原创 2021-03-05 21:12:06 · 353 阅读 · 0 评论