- 博客(67)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Lucene内部提交流程
原文链接：https://www.amazingkoala.com.cn/Lucene/Index/2019/0906/91.htmlprepareCommit()：该方法为两阶段提交的第一阶段，在这个阶段，会完成大部分的工作，包括处理新增的文档（Document）、删除的文档、生成所有的索引文件、生成Segment_N文件、保证索引文件持久化到磁盘操作，等等commit()：该方法为两阶段提交的第二阶段，在这个阶段，处理一些简单的工作，包括删除旧的Segment_N文件（segment_N文件可能有
2022-02-23 17:54:30
452
原创 elasticsearch文件结构
56rPa6sFRV6_L5HavKCpnw├── 1│ ├── index│ │ ├── _6.dii // Point Values│ │ ├── _6.dim // Point Values│ │ ├── _6.fdt // Field Data,存储了正排存储数据，写入的原文存储在这│ │ ├── _6.fdx // Field Index,
2022-02-23 17:48:31
1603
原创 elasticsearch master选举
Raft：http://thesecretlivesofdata.com/raft/elasticsearch函数入口：org.elasticsearch.cluster.coordination::Coordinator7.0+ 由bully算法转化为raft算法1）老版本里面有个discovery.zen.minimum_master_nodes，这个很重要，但是动态扩展的时候有些时候可能会忘记设置这个东西2）如果不设置这个东西，Zen Discovery会在每次选举过程中等待一阵，
2022-02-23 17:42:57
1144
原创 lsm与b tree
学习《数据密集性应用系统设计》Lsm-tree：日志结构存储引擎，写入友好，tidb/elasticsearchb tree:面向叶的存储引擎，读友好， oracle/mysql/postgres。Lsm-tree：每个日志结构的存储段都是kv对序列，对该序列按键排序，即为sstable，即排序字符串表。通过压缩过程确保每个键在每个合并的段文件中只能出现一次。如有更新即保留最新值，文件查找特定键时，只需要知道范围和偏移量，即可的到结果。虽然仍然需要内存索引来记录键的偏移，但它可.
2022-02-23 17:28:20
787
原创 elasticsearch 生命周期 冷热数据分离
官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.4/index-lifecycle-management.html需求：1.5天后，将旧索引移至暖机阶段，将其标记为只读，然后将其缩小为单个碎片。2.30天后，将索引移至冷态，然后将其移至较便宜的硬件上。3.达到所需的90天保留期后，删除索引。实施1.为所...
2019-10-25 13:16:47
1154
原创 mongodb 索引详解（二）
1.单字段索引原文链接：https://docs.mongodb.com/manual/core/index-single/MongoDB为文档集合中的任何字段提供完整的索引支持 。默认情况下，所有集合在_id字段上都有索引，应用程序和用户可以添加其他索引以支持重要的查询和操作。本文档描述了单个字段的升序/降序索引。1.1 在单个字段上创建升序索引如： r...
2019-05-06 17:44:48
313
原创 MVCC (多版本并发控制) part 1
原文链接: https://15721.courses.cs.cmu.edu/spring2018/Compare-and-Swap(CAS) 乐观锁实现机制原子操作，认为某一内存位置M的值应为V，如果是，则将位置M的值更新为V’，否则，操作失败 图1.1内存位置M的值为20，compare value为20，两者相等，...
2019-05-05 23:39:58
563
转载 浅析分布式一致性模型
转载自：http://loopjump.com/distributed_consistency_model/一致性术语的理解一致性这个中文术语在计算机的不同领域有不同的含义，对应的英文术语也是不一样的：Consistency, Consensus, Coherence等等。就这三个术语而言，其区别可以简单的如下理解：Coherence这个单词只在Cache Coherence...
2019-04-24 11:38:49
1583
转载 In-Memory Database Management Systems
Source: Goetz Graefe CMU 15-721 (Spring 2018)copyfrom:http://15721.courses.cs.cmu.edu/spring2018/notes/02-inmemory.pdf1. Disk-Oriented Database Management SystemsFor a disk oriented DBMS, t...
2019-04-14 09:37:45
500
原创 serverStatus详解
serverStatus原文链接：https://docs.mongodb.com/manual/reference/command/serverStatus/index.html定义 行为 输出*定义==serverStatusserverStatus命令返回一个文档，该文档提供数据库状态的概述。监控应用程序可以定期运行此命令收集有关该实例的统计信息。db....
2019-04-01 17:48:04
4882
原创 mongodb 索引详解（一）
原文链接：https://docs.mongodb.com/manual/indexes/ 默认_id 索引 创建索引 索引类型 索引属性 索引使用 索引及排序规则 覆盖查询 交叉索引 约束 其他考量 其他资源索引支持MongoDB中查询的高效执行。如果没有索引，MongoDB必须执行集合扫描，即扫描集合中的每个...
2019-03-24 12:29:59
2267
转载 mysql mmm
本文转载，原文链接：https://blog.51cto.com/13746824/2173073目录：1·MMM 简介2·MMM 各个角色说明3·案例环境介绍4·案例实施5·总结一：MMM 简介：1）MMM 是什么：说得简单点，就是 MySQL 主主复制的管理器。之前的一篇文章讲述了 MySQL的主从复制 + 读写分离，其中原理都相同，有兴趣的朋友可以访问：MySQ...
2019-03-15 14:34:30
432
原创 Redis RESP协议
原文: https://redis.io/topics/protocolReids客户端和redis服务器交流使用RESP协议(redis序列化协议)，这个协议是设计是服务于redis的，在其他客户端-服务器软件工程中也可以使用这个协议。RESP特点：简单实现，快速解析，人类可读RESP可以序列化不同的数据类型如integers/strings/arrays。同时也定义了错误的专用类型...
2019-03-15 12:34:43
898
转载 深入浅出MongoDB复制
本文转载自mongo中文社区，原文链接：http://www.mongoing.com/archives/5200，作者赵景波大神综述笔者最近在生产环境中遇到许多复制相关问题，查阅网上资料发现官方文档虽然系统但是不够有深度，网上部分深度文章则直接以源码展示，不利于大家了解。所以本文则是结合前两者最终给读者以简单的方式展现MongoDB复制的整个架构。本文分为以下5个步骤：MongoDB...
2019-03-08 21:47:58
530
转载 Raft与MongoDB复制集协议比较
本文版权归作者xybaby（博文地址：http://www.cnblogs.com/xybaby/）所有原文链接：https://www.cnblogs.com/xybaby/p/10165564.html目录leader election 选举、投票资格 priority heartbeat primary handover 选举过程 - 预投票 log r...
2019-03-08 21:03:08
396
转载 shell学习1--变量/数组/字符串
[root@localhost shell]# cat st1.sh#!/bin/bashecho "Hello World!"#------------shell variables--------------#for file in `ls /etc`#do #echo "${file}"#done#for skill in Ada Coffee Action Java;do...
2019-02-25 21:54:54
259
转载 mysql执行计划
EXPLAINOutput Columns id (JSON name: select_id) The SELECT identifier.This is the sequential number of the SELECT withinthe query. The value can be NULL if the row refers to the unionresult of...
2019-02-25 21:54:40
201
转载 innodb lock
Innodb type •Sharedand Exclusive Locks•IntentionLocks•RecordLocks•GapLocks•Next-KeyLocks•InsertIntention Locks•AUTO-INCLocks•PredicateLocks for Spatial Indexes Sharedand Exclu...
2019-02-25 21:54:03
268
转载 linux时间同步，ntpd、ntpdate
原文地址：http://blog.sina.com.cn/s/blog_636a55070101u1mg.html linux时间同步，ntpd、ntpdateLINUX 2010-10-13 09:01:02 阅读1043 评论0 字号：大中小 订阅在Windwos中，系统时间的设置很简单，界面操作，通俗易懂。而且设置后，重启，关机都没关系。系统时间会自动保存在Bios...
2019-02-25 21:53:34
320
原创 mysqldump 原理
Single-transaction 与锁表时间有关打开 show variable like '%gen%'先建回滚点，然后打开，然后释放$ >> mysqldump -uroot -p --protocol=TCP --port=$port --single-transaction --databases testdb > 1.sql===============...
2019-02-25 21:53:01
435
原创 one of patch打包
#!/bin/bashfor file in *.zipdo dir_optach=`ls -lrt $file| awk '{print $9}'|awk -F _ '{print $1}' |sed 's/p*//g'` num=`ls -lrt|egrep $dir_optach|wc -l` ...
2019-02-25 21:52:49
347
原创 ERROR 1665 (HY000) /binlog简介
1. 报错 ERROR 1665 (HY000)MariaDB [test]> create table jing as select * from st;ERROR 1665 (HY000): Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT ...
2019-02-25 21:52:18
381
转载 linux setcap/getcap
转载：https://blog.csdn.net/mark20170902/article/details/53422384 Linux是一种安全操作系统，它给普通用户尽可能低的权限，而把全部的系统权限赋予一个单一的帐户--root。root帐户用来管理系统、安装软件、管理帐户、运行某些服务、安装/卸载文件系统、管理用户、安装软件等。另外，普通用户的很多操作也需要root权限，这通过set...
2019-02-25 21:52:02
9534
原创 innobackup做了什么？
--全量备份[root@localhost /]# innobackupex --user=root --password=xxx --socket=/opt/lampp/var/mysql/mysql.sock /opt/lampp/var/backup180416 12:12:36 innobackupex: Starting the backup operation...
2019-02-25 21:51:46
320
原创 mysql查看系统状态
[root@localhost ~]# which mysqld/usr/sbin/mysqld[root@localhost ~]# /usr/sbin/mysqld --verbose --help |grep -A 1 'Default options'Default options are read from the following files in the given orde...
2019-02-25 21:47:40
3191
原创 ORA-38760: This database instance failed to turn on flashback database
SYS@d3vip> startup ORACLE instance started.Total System Global Area 8589934592 bytesFixed Size 7663544 bytesVariable Size 5335154760 bytesDatabase Buffers...
2019-02-25 21:46:43
1385
原创 ORA-23421: 作业编号在作业队列中不是一个作业
select job from dba_jobs;select a.PRIV_USER from dba_jobs a where a.JOB=67;PRIV_USER------------------------------PATA非当前用户EXEC SYS.DBMS_IJOB.BROKEN(67, FALSE);
2019-02-25 21:46:35
3036
转载 ocp详解
【dbdao.comMySQL OCP认证专题\】- MySQL 5.6 -OCP 考题讲解===========================第1题============================1. A simplemaster-to-slave replication is currently being used. The following informationis ...
2019-02-25 21:46:14
2109
转载 cg_group
1. cgroup介绍 cgroup是control group的简称，它为Linux内核提供了一种任务聚集和划分的机制，通过一组参数集合将一些任务组织成一个或多个子系统。 子系统是根据cgroup对任务的划分功能将任务按照一种指定的属性划分成的一个组，主要用来实现资源的控制。在cgroup中，划分成的任务组以层次结构的形式组织，多个子系统形成一个数据结构中类似多根树的结构。cgro...
2019-02-25 21:45:56
617
原创 mysql日常运维
1. mysql查看数据库大小use 数据库名SELECT sum(DATA_LENGTH)+sum(INDEX_LENGTH) FROM information_schema.TABLES where TABLE_SCHEMA='数据库名';2. mysql表占用的空间SELECT TABLE_NAME,DATA_LENGTH+INDEX_LENGTH,TABLE_ROWS FROM T...
2019-02-25 21:45:44
2660
原创 大话存储--存储历史、IO、总线
1. 存储历史：分类：硬盘驱动器、软盘、光盘、flash芯片和K式存储(专用数字电路芯片、通用CPU芯片、RAM芯片、Flas芯片)、磁盘阵列(SATA硬盘)、大型网络化磁盘阵列 U盘：flash芯片用USB接入到主机总线网络。存储卡：flash芯片集成产品 磁存储：程序存储在磁盘上，计算机启动时，CPU按照ROM里的指令一条一条执行，检查硬件，通过后，让CPU跳转...
2019-02-25 21:45:22
418
原创 sql优化
sql优化==================================================================1.查找索引SELECT m.table_owner,m.index_name,n.COLUMN_POSITION,n.COLUMN_NAME,m.distinct_keys,m.num_rows from dba_indexes m,dba_i...
2019-02-25 21:45:09
243
原创 sysbench测试脚本
#!/bin/bashthread_num=(50 250 500 1000 1500 2000)lua_name=(oltp_read_write oltp_read_only oltp_point_select oltp_update_index oltp_update_non_index oltp_insert oltp_delete)length=${#lua_name[@]} f...
2019-02-25 21:44:58
377
原创 mysql导出csv
mysql导出set names utf8;--selrct ... into outfileselect id,val from st limit 5 into outfile './st1.csv' CHARACTER SET 'utf8' fields terminated by ',' enclosed by "";mysql导入load data infile './st.cs...
2019-02-25 21:44:22
407
转载 pg_查看表的创建时间
这个表的创建时间是Dec 18号 [postgres:5603@eimta] [04-02.11:30:31]=# \dcompany Table "public.company"Column| Type | Modifiers ...
2019-02-25 21:44:03
10466
mysql技术内幕:Innodb存储引擎
2017-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人