database/disk
文章平均质量分 50
HeathXian
嵌入式 分布式后端 网络安全 主机安全
展开
-
redis scan
当我们需要遍历Redis所有key或者指定模式的key时,首先想到的是KEYS命令,但是如果redis数据非常大,并且key也非常多的情况下,查询的时候很可能会很慢,造成整个redis阻塞,那么有什么办法解决呢?当然有了,今天就简单的介绍一下,如:scan和hscan格式如下:SCAN cursor [MATCH pattern] [COUNT count]HSCAN key cur......原创 2022-08-09 18:14:07 · 109 阅读 · 0 评论 -
es查询优化
查询优化Give memory to the filesystem cache Use faster hardware Document modeling Search as few fields as possible Pre-index data Consider mapping identifiers askeyword Avoid scripts Search rounded dates Force-merge read-only indices Warm up glob...原创 2022-01-01 09:05:20 · 1183 阅读 · 0 评论 -
wazuh_db之sqlite批量事务操作
sqlite3_prepare_v2使用最新的官方推荐接口(不在使用sqlite3_prepare)Compiling An SQL Statementstatic const char *SQL_VACUUM = "VACUUM;";static const char *SQL_INSERT_INFO = "INSERT INTO info (key, value) VALUES (?, ?);";static const char *SQL_BEGIN = "BEGIN;";static .原创 2021-10-25 20:56:36 · 345 阅读 · 0 评论 -
mysql启动失败
mysql启不来分析方法1.通过以下命令查询错误日志mysqld --console2.通过mysqld --help查看错误日志存放的路径列表,依次查看这些路径下的日志3.根据错误日志的线索找问题dyn-72-33-214-45:python mona$ sudo /usr/local/mysql/bin/mysqld stop2014-09-06 09:49:04 0 [Warning] TIMESTAMP with implicit DEFA...原创 2021-07-24 13:26:15 · 346 阅读 · 2 评论 -
MongoDB 删除数据后不释放空间?
MongoDB 3.6以后,默认使用的储存引擎是 WiredTiger。这个引擎有一个特点,就是删除数据不释放空间。例如现在你的一个集合里面有10000000条数据,占用10GB 的硬盘空间。你把其中的9999999条数据都删了,占用空间仍然是10GB。如果你想释放空间,最直接的方法是删除整个集合(Drop Collection)或者删除整个数据库(Drop Database)。如果你的 MongoDB 版本小于4.4,但是大于等于3.6,那么虽然删除了数据,磁盘空间不会释放,但当你插入新的数据时,转载 2021-07-12 09:59:40 · 6403 阅读 · 0 评论 -
事务及其ACID特性
什么是数据库ACID? 事务在当今的企业系统无处不在,即使在高并发环境下也可以提供数据的完整性。一个事务是一个只包含所有读/写操作成功的集合。如下图:一个事务本质上有四个特点ACID:Atomicity原子性 Consistency一致性 Isolation隔离性 Durability耐久性原子性原子性任务是一个独立的操作单元,是一种要么全部是,要么全部不是的原子单位性的操作。一致性一个事务可以封装状态改变(除非它是一个只读的)。事务必须始终保持系统处于一致的状态,不管转载 2021-04-27 14:37:15 · 276 阅读 · 0 评论 -
元数据
数据库中的元数据libmaxminddb中的MMDB_metadata_s原创 2021-01-30 22:56:36 · 182 阅读 · 0 评论 -
Redis Master/Slave
Redis的复制(Master/Slave)目录导航:是什么 能干嘛 怎么玩 复制原理 哨兵模式(sentinel) 复制的缺点是什么 行话:也就是我们所说的主从复制,主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主。 能干嘛读写分离 容灾恢复怎么玩配从(库)不配主(库) 从库配置:sla...转载 2020-01-14 09:13:40 · 244 阅读 · 0 评论 -
redis 常用命令
redis数据库之间切换Redis Select 命令用于,数据库索引号 index 用数字值指定,以 0 作为起始索引值。SELECT index$ select 0zset1.查询zset所有key$ keys *2.计算在有序集合中指定区间分数的成员数ZCOUNT key min max$ZCOUNT 2019122916|0.0.0.0 0 100...原创 2019-12-29 16:58:41 · 150 阅读 · 0 评论 -
es curl快速入门
当前文档所用ES版本 6.4.3ElasticSearch 提供了一系列的Restful风格的API,我们可以使用curl命令进行使用,也可以在kibana中使用。Restful风格它是一种网络应用程序的设计风格和开发方式,基于HTTP,可以使用XML格式定义或JSON格式定义。 RESTFUL适用于移动互联网厂商作为业务使能接口的场景,实现第三方OTT调用移动网络资源的功能,动...转载 2019-12-26 09:58:54 · 338 阅读 · 0 评论 -
centos mysql5.7安装
Mysql5.7.27 版本有很多变化,安装必须要BOOST库,这个BOOST库在MYSQL官网下载。下载地址:https://dev.mysql.com/downloads/mysql/5.7.html#downloads如果官网地址打不开,慢可以考虑其他源mysql国内镜像下载网址http://mirrors.sohu.com/mysql/http://mirrors.ustc.e...转载 2019-08-21 12:06:09 · 156 阅读 · 0 评论 -
redis与mysql数据同步
最近做的一个项目中很多地方用到了redis,其中纠结了一下redis的数据持久化问题,毕竟是缓存,数据随时都有可能丢失,虽然概率不大,况且redis还会将数据持久到安装路径的一个文件中,但还是要保证缓存数据与持久化数据的一致性,这个问题总结了一下(看到了一个不错的博文),其实就是读和写,还有就是要注意谁先谁后的问题。 Redis是一个高性能的key-value数据库。 redis的出...转载 2019-05-21 09:43:04 · 4223 阅读 · 0 评论 -
存储过程的优缺点
在维护公司的几年前的一个项目,虽说不上是历史悠久,但也有些年头了,采用三层架构,加上存储过程的这么一个老的架构,本来这个架构也没什么问题,大部分系统都是这么干的,但是由于这个系统存储过程被滥用的问题,后期维护的时候,麻烦事就来了,任何涉及到数据库的调整,都得存储过程,实体类,SQL操作等相关的地方,都得改一通。可以说被存储过程伤的很深啊,所以今天就来总结下存储过程的优缺点。 优...转载 2019-05-20 16:21:33 · 4861 阅读 · 0 评论 -
mysql installed
mysql 安装 http://www.blogjava.net/pzxsheng/archive/2012/06/10/380438.html原创 2014-05-25 19:48:42 · 764 阅读 · 0 评论 -
MySQL 面试题
一些面试题原创 2014-05-31 11:34:30 · 882 阅读 · 0 评论 -
SELECT …INTO
使用SELECT …INTO语句为变量赋值在MySQL存储过程中,可以使用SELECT …INTO语句对变量进行赋值,该语句在数据库中进行查询,并将得到的结果赋值给变量。SELECT …INTO语句的语法格式如下:SELECT col_name[,...] INTO var_name[,...] table_expr col_name:要从数据库中查询的列字段名;转载 2014-06-17 16:11:40 · 868 阅读 · 0 评论 -
B , B+ ,B*树
从B 树、B+ 树、B* 树谈到R 树 作者:July、weedge、Frankie。编程艺术室出品。说明:本文从B树开始谈起,然后论述B+树、B*树,最后谈到R 树。其中B树、B+树及B*树部分由weedge完成,R 树部分由Frankie完成,全文最终由July统稿修订完成。出处:http://blog.csdn.net/v_JULY_v 。第一节、B树、B+树转载 2017-03-10 20:40:57 · 454 阅读 · 0 评论 -
存储系统 (二)
简介该篇blog只是存储系列科普文章中的第二篇,所有文章请参考:博客所有文章在工程架构领域里,存储是一个非常重要的方向,这个方向从底至上,我分成了如下几个层次来介绍:硬件层:讲解磁盘,SSD,SAS, NAS, RAID等硬件层的基本原理,以及其为操作系统提供的存储界面;操作系统层:即文件系统,操作系统如何将各个硬件管理并对上提供更高层次接口;单机引擎层:常见存储系统对应单机引转载 2017-07-14 12:37:53 · 574 阅读 · 0 评论 -
存储 (一)
文件系统学习步骤 计算机系统硬件架构 存储介质-硬盘硬件结构 磁盘管理协议(软件-指令集(ata,scsi) 硬件-传输方式) ext文件系统 1、磁盘分配方式。 1、meta block group原理介绍。 2、《深入理解LINUX内核》中学习ext3文件系统工作机制。 3、从linux内核源码中研究ext3和ext4文件系原创 2017-07-14 15:53:32 · 458 阅读 · 0 评论 -
初识 raid
RAID简介RAID是英文Redundant Array of Independent Disks的缩写,即为独立磁盘冗余阵列,或简称磁盘阵列。RAID是一种把多块独立的硬盘(物理硬盘)按不同方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据冗余的技术。组成磁盘阵列的不同方式成为RAID级别(RAID Levels)。RAID技术经过发展,拥有了原创 2017-06-14 16:24:13 · 479 阅读 · 0 评论 -
io流之buffer
IO之流程与buffer概览为了说明这个流程,还是用图来描述一下比较直观。中间过程请参考(按照如下顺序进行阅读)《IO之内核buffer----"buffer cache"》《IO之标准C库buffer》《IO队列和IO调度》原文出处:http://blog.chinaunix.net/uid-29075379-id-3944364原创 2017-07-18 14:59:06 · 458 阅读 · 0 评论 -
读写磁盘
待续https://www.ibm.com/developerworks/cn/linux/l-scsi-api/原创 2017-04-17 14:36:20 · 429 阅读 · 0 评论 -
磁盘分区,格式化,挂载
分区与格式化 先用fdisk分区,分区完成后再用mkfs格式化并创建文件系统,挂载,磁盘就能使用。分区的原理: MBR:主引导扇区主分区表:64bytes,最多只能分四个主分区,每个主分区的记录(相关信息,比如分区大小,位置)在主分区表里占14bytes。 如 果要建多于四个的分区,就要拿出一个主分区做为扩展分区,再在扩展分区里面进行其它的分区操转载 2017-07-24 11:51:13 · 740 阅读 · 0 评论 -
MYSQL and vs
vshttp://wenku.baidu.com/link?url=47GBXOMUkNoEYGkQuw-Mv4fhsqKKtCuBHJ0cp8-uwbxP-J0t1YzwqZjaKBfP1prsU7BxO4cMcfHV2E9vyYz23s7nrL737wlk0sWKF4Li_0_原创 2014-05-24 21:24:46 · 753 阅读 · 0 评论