- 博客(398)
- 资源 (17)
- 收藏
- 关注
RSS订阅
原创 elasticsearch亿级数据性能调优实战指南
文章目录慢查询日志es优化黄金原则1、搜索结果不要返回过大的结果集2、避免超大的document3、避免稀疏的数据（1）避免将没有任何关联性的数据写入同一个索引（2）对document的结构进行规范化/标准化（3）避免使用多个types存储不一样结构的document（4）对稀疏的field禁用norms和doc_values写入性能优化1、用bulk批量写入2、使用多线程将数据写入es3、增加r......
2019-10-14 22:34:32
291434
原创 elasticsearch的底层模块深入解析
文章目录shard分配相关的配置及原理1、shard allocation的介绍2、cluster level shard allocation（1）shard allocation settings（2）shard rebalance settings（3）shard balance heuristics3、disk-based shard allocation4、shard allocatio...
2019-10-14 18:12:56
643
原创 生产环境Elasticsearch索引管理篇
索引创建修改删除压缩及滚动创建1、创建索引（1）创建索引的语法用settings给这个索引在创建时可以添加一些设置，还有可以初始化一些type的mappingcurl -XPUT 'http://elasticsearch02:9200/twitter?pretty' -d '{ "settings" : { "index" : { "nu...
2019-10-14 17:30:33
523
原创 Promise执行流程分析
先上代码console.log(1);new Promise(function (resolve, reject){ reject(true); window.setTimeout(function (){ resolve(false); }, 0);}).then(function(){ console.log(2);}, function...
2019-01-17 10:06:39
2015
原创 linux conf配置文件(全)
用户账号相关etcprofilebash_profileetcbashrcbashrcbash_logout用户环境配置 bash_profilebashrc和bash_logoutetcgshadow网络配置修改IP地址等网络相关的配置文件 etcsysconfignetwork-scriptsifcfg-ethetcsysconfignetwork 网关配置相关的配置文件e
2017-09-22 15:52:22
22853
原创 用户访问网站基本流程及原理(史上最全,没有之一)
[TOC] 用户访问网站流程框架第一步：客户端用户从浏览器输入www.baidu.com网站网址后回车，系统会查询本地hosts文件及DNS缓存信息，查找是否存在网址对应的IP解析记录。如果有就直接获取到IP地址，然后访问网站，一般第一次请求时，DNS缓存是没有解析记录的；第二步：如果客户端没有DNS缓存或hosts没有对应www.baidu.com网站网址的域名解析记录，那么，系统会把浏览器的
2017-06-04 10:38:28
36058
11
原创 ETCD介绍以及Go语言中使用ETCD详解
ETCD是一个分布式、可靠的key-value存储的分布式系统，用于存储分布式系统中的关键数据；当然，它不仅仅用于存储，还提供配置共享及服务发现；基于Go语言实现。
2024-07-21 12:41:16
84
原创 Go 程序是怎样跑起来的?
这次的话题太大了，困难重重。从编译原理到 go 启动时的流程，到 go 命令原理，每个话题单独抽出来都可以写很多。幸好有一些很不错的书和博客文章可以去参考。这篇文章就作为一个引子，你可以跟随参考资料里推荐的一些内容去发散。
2024-07-21 12:37:13
179
翻译 Go 内存模型
Go 内存模型指定了在一个 Goroutine 中读取变量时可以保证观察到在不同 Goroutine 中写入同一变量所产生的值的条件。
2024-07-20 08:22:39
34
原创 GO Channel使用详解（各种场景下的最佳实践）
这节课，我借助代码示例，带你学习了 Channel 的应用场景和应用模式。这几种模式不是我们学习的终点，而是学习的起点。掌握了这几种模式之后，我们可以延伸出更多的模式。虽然 Channel 最初是基于 CSP 设计的用于 goroutine 之间的消息传递的一种数据类型，但是，除了消息传递这个功能之外，大家居然还演化出了各式各样的应用模式。
2024-07-20 08:01:49
541
原创 Go channel实现原理详解（源码解读）
chan 的值和状态有多种情况，而不同的操作（send、recv、close）又可能得到不同的结果，这是使用 chan 类型时经常让人困惑的地方。为了帮助你快速地了解不同状态下各种操作的结果，我总结了一个表格，你一定要特别关注下那些 panic 的情况，另外还要掌握那些会 block 的场景，它们是导致死锁或者 goroutine 泄露的罪魁祸首。还有一个值得注意的点是，只要一个 chan 还有未读的数据，即使把它 close 掉，你还是可以继续把这些未读的数据消费完，之后才是读取零值数据。思考题。
2024-07-20 07:55:21
65
原创 Go操作Redis详解
Redis是一个开源的内存数据库，Redis提供了多种不同类型的数据结构，很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制、持久化和客户端分片等特性，我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。
2024-07-19 11:27:56
801
原创 NSQ介绍以及使用Go操作NSQ
NSQ是Go语言编写的一个开源的实时分布式内存消息队列，其性能十分优异。NSQ提倡分布式和分散的拓扑，没有单点故障，支持容错和高可用性，并提供可靠的消息交付保证NSQ支持横向扩展，没有任何集中式代理。NSQ易于配置和部署，并且内置了管理界面。
2024-07-19 11:17:49
19
原创 Kafka介绍及Go操作kafka详解
每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登陆到服务器上查看即可满足当系统机器规模巨大，登陆到机器上查看几乎不现实（分布式的系统，一个系统部署在十几台机器上）LogAgent：日志收集客户端，用来收集服务器上的日志Kafka：高吞吐量的分布式队列（Linkin开发，Apache顶级开源项目）ElasticSearch：开源的搜索引擎，提供基于HTTP RESTful的web接口Kibana：开源的ES数据分析和可视化工具。
2024-07-19 10:29:57
295
原创 Go Context的使用详解
在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间。当一个请求被取消或超时时，所有用来处理该请求的 goroutine 都应该迅速退出，然后系统才能释放这些 goroutine 占用的资源。
2024-07-19 10:03:10
879
原创 Elasticsearch的Index sorting 索引预排序会导致索引数据的移动吗？
首先通过refresh在内存中生成新的Segment段时，由于段数据是此时生成的，很容易确保段数据是有序的，此外在段合并的过程中涉及到端数据的重整，这时候也可以确保合并后的新段的数据是有序的。但是我们知道，Elasticsearch的Segment段数据是不可变的，这是为了写入的时候可以进行顺序写而提高磁盘的IO效率，同时可以提高段文件的缓存命中率，不至于一条数据被修改，整个段的数据缓存都要失效的情况。可以想象一个链表结构，如果需要确保它的有序性，在插入新数据的时候需要对链表节点进行移动。
2024-05-23 10:05:09
137
原创 MySQL性能调优：从入门到精通，让你的数据库飞起来！
MySQL性能调优是一个涉及多方面的过程，包括了解MySQL体系结构、选择合适的存储引擎、设置合理的参数、索引优化、查询优化以及其他优化手段等。通过全面地了解和掌握这些知识点，可以帮助你的MySQL数据库性能得到大幅度的提升，让你的数据库飞起来！最后需要注意的是，性能调优并非一成不变的，需要根据实际业务场景和需求进行调整。在进行调优时，要关注具体的性能指标，遵循优化原则，同时要注意权衡各方面的利弊，以达到最佳的效果。
2024-05-17 12:29:32
94
原创 match_phrase查不到？match_phrase查询规则详解
"title":{"fields":{},},这里，为了验证分词，同时使用了ik_smart和ik_max两种分词。实际开发中不需要，因为：两种分词共存，会导致导入数据创建索引的时候，索引会非常大，对磁盘和检索性能都会有影响。
2024-04-11 14:52:19
83
原创 【无标题】
各列长度不超过 767 字节 ，如果有超过 767 bytes 的，则给出报警，索引最后创建成功，但是对于超过 767 字节的列取前缀索引，与索引列顺序无关，总和不得超过 3072 ，否则失败，无法创建。开启 innodb_large_prefix 可以使单索引的长度限制达到 3072 字节（但是联合索引总长度限制还是 3072 字节），禁用时单索引的长度限制为 767 字节。了解完存储引擎和不同MySQL版本对索引长度的限制，我们以InnoDB引擎为例，看MySQL不同的字符集对索引长度有啥影响。
2024-04-07 17:33:08
81
原创 消除 Git diff 中的换行符差异（Linux）
通常编辑器默认使用的换行符是跟随操作系统的，而windows操作系统上修改的代码，其换行符会被转成win的\r\n,在提交代码时会显示大量改动（对于sh脚本还会存在无法执行的问题），这时候我们可以通过设置git自动转成unix格式的换行符，
2024-03-21 10:03:20
251
原创 innoDB page页结构详解
Page分为几种类型，常见的页类型有数据页（B+tree Node）Undo页（Undo Log Page）系统页（System Page） 事务数据页（Transaction System Page）等。页的主要作用是存储记录，所以“最小和最大记录”和“用户记录”部分占了页结构的主要空间。另外空闲空间是个灵活的部分，当有新的记录插入时，会从空闲空间中进行分配用于存储新记录。通用部分 : 主要指文件头和文件尾，将页的内容进行封装，通过文件头和文件尾校验的CheckSum方式来确保页的传输是完整的。
2024-02-18 22:22:57
197
1
原创 MySQL为什么改进LRU算法？
改进型LRU：将链表分为new和old两个部分，加入元素时并不是从表头插入，而是从中间midpoint位置插入(就是说从磁盘中新读出的数据会放在冷数据区的头部)，如果数据很快被访问，那么page就会向new列表头部移动，如果数据没有被访问，会逐步向old尾部移动，等待淘汰。LRU = Least Recently Used（最近最少使用）: 就是末尾淘汰法，新数据从链表头部加入，释放空间时从末尾淘汰.冷数据区的数据页什么时候会被转到到热数据区呢?
2024-02-18 22:20:47
230
原创 innodb的意向锁有什么作用？
同样，只要表中数据行被加上了共享锁，就给这个表加上一个意向共享锁，用来标识这个表中已经有数据行持有共享锁了。所以意向锁的本质是一种标识锁，所以意向锁之间不管是共享锁还是互斥锁都是不存在互斥关系的，也就是说意向锁之间不会互相阻塞。注意：申请意向锁的动作是数据库完成的，就是说，事务A申请一行的行锁的时候，数据库会自动先开始申请表的意向锁，不需要我们程序员使用代码来申请。如果仅仅锁定一行仅仅需要加一个锁，那么就直接加锁就好了，这里要表明加锁意图的原因是因为要锁定一行不仅仅是要加一个锁，而是要做一系列操作吗？
2024-02-06 15:53:02
121
原创 mysql的锁机制详解
*锁是计算机协调多个进程或线程并发访问某一资源的机制。**在数据库中，除传统的 计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一 个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。相对其他数据库而言，MySQL的锁机制比较简单，其最 显著的特点是不同的存储引擎支持不同的锁机制。
2024-02-06 12:33:32
215
原创 mysql死锁详解
上述，事务抛出1213这个出错提示，即发生了死锁，上例中当两个事务都执行了第一条UPDATE语句，更新了一行数据，同时也锁定了该行数据，接着每个事务都尝试去执行第二条UPDATE语句，却发现该行已经被对方锁定，然后两个事务都等待对方释放锁，同时又持有对方需要的锁，则陷入死循环。如果InnoDB监视器输出的最新检测到的死锁部分包含一条消息，“在锁表等待图中搜索太深或太长，我们将在事务之后回滚”，这表明等待列表中的事务数量已经达到了200的上限。这样，查询需要扫描的索引记录就更少，因此设置的锁就更少。
2024-02-06 12:32:20
211
原创 mysql事务锁
lock对象是事务，用来锁定的是数据库中的对象，如表、行、页。并且一般lock的对象仅在事务commit或rollback后进行释放（不同事务隔离级别释放的时间可能不同）。此外，lock，正如在大多数数据库中一样，是有死锁机制的。
2024-02-06 12:25:25
118
原创 mysql线程锁(latch)源码级详解
latch是闩锁，一种轻量级锁。要求锁定的时间必须非常短。若时间长，则性能非常差。其目的是为了保证并发线程操作临界资源的正确性。通常没有死锁检测通常指的是server层、innodb层的互斥锁和读写锁。
2024-02-06 12:21:07
289
原创 MYSQL performance schema详解
MySQL 5.5开始新增一个数据库：PERFORMANCE_SCHEMA，主要用于收集数据库服务器性能参数。并且库里表的存储引擎均为PERFORMANCE_SCHEMA，而用户是不能创建存储引擎为PERFORMANCE_SCHEMA的表。MySQL5.5默认是关闭的，需要手动开启。从MySQL5.6开始，默认打开，本文就从MySQL5.6来说明，在数据库使用当中PERFORMANCE_SCHEMA的一些比较常用的功能。具体的信息可以查看官方文档。
2024-02-05 18:20:17
706
原创 MYSQL中NULL值字段为什么会影响查询优化器的统计信息？
对于InnoDB和MyISAM 表，分别可以通过innodb_stats_method和 myisam_stats_method系统变量来控制对表统计信息的收集。因此，如果您使用一种方法收集统计数据，但系统变量被设置为另一种方法时，表的统计数据自动收集后，将使用系统变量设置的那个方法。2、nulls_unequal中，使用的是 = ，判断 NULL = NULL 时，结果为0，故每个NULL值都不一样。1、nulls_equal中，使用的是 安全等，所以他会把所有的NULL值都统计在一起。
2024-02-05 18:15:16
337
原创 详解MYSQL中的平均值组大小
然而，前缀长度为索引规范CREATE TABLE，ALTER TABLE和CREATE INDEX语句解释为非二进制串类型的字符数（CHAR， VARCHAR， TEXT对于二进制串类型），并且字节数（BINARY， VARBINARY， BLOB）。平均值组的大小与表基数有关，表基数是值组的数目。sex的选择性低于province的选择性，所以当MySQL要走sex这个索引时，他需要扫描更多的行，所需要的成本越高。随着索引的平均值组大小的增加，该索引在这两个用途中的作用不大，因为每次查找的平均行数增加。
2024-02-05 18:07:12
297
原创 聚簇索引的效率明显要低于非聚簇索引，为什么还需要聚簇索引？
因为MyISAM的主索引并非聚簇索引，那么他的数据的物理地址必然是凌乱的，拿到这些物理地址，按照合适的算法进行I/O读取，于是开始不停的寻道不停的旋转。不过，如果涉及到大数据量的排序、全表扫描、count之类的操作的话，还是MyISAM占优势些，因为索引所占空间小，这些操作是需要在内存中完成的。key（索引值）和对应的数据，都会在一次IO操作中被读取到缓存中，所以在访问同一个页中的不同记录时，会在内存里操作，而不用再次进行IO操作了。辅助索引的叶子节点，存储主键值，而不是数据的存放地址。
2024-02-05 18:04:25
269
原创 复合索引（多列索引）的规则实例详解
这里虽然使用了name索引列，但是索引的type是index，也就说明这个查询走了索引列的全表扫描。也就是必须从last_name字段开始才能走索引，因为last_name字段是多列索引中的第一个字段，而B+tree的查找是从索引值的开头位置进行查找的.该索引可用于查询中的查找，这些查询指定在已知范围内的last_name、first_name和customize_name值组合的值。这里虽然使用了name索引列，但是索引的type是index，也就说明这个查询走了索引列的全表扫描。
2024-02-05 16:46:33
463
原创 不得不知的11个Redis 5.0的新特性
相较于Redis 4.0, Redis 5.0增加了很多新的特性，限于篇幅，本节主要介绍几个较重要的特性，具体内容可以参考官方文档。
2024-02-04 16:53:27
208
原创 mysql Change buffer详解
MySQL的Change buffer是一种用来优化更新操作的机制。当对数据库进行更新操作时，MySQL会先将更新操作记录到Change buffer中，然后再将更新操作应用到实际的数据页中。Change buffer的原理如下：当需要更新某个数据页时，MySQL首先会检查该数据页是否在内存中。如果数据页在内存中，直接在内存中进行更新操作；如果不在内存中，MySQL会将该数据页加载到内存中，然后在内存中进行更新操作。在进行更新操作时，MySQL会将更新操作记录到Change buffer中。
2024-02-03 23:41:48
419
原创 彻底搞懂字符集与字符编码
|很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为"计算机"。开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。
2024-01-15 17:53:08
947
Elasticsearch技术解析与实战（朱林）
2018-12-21
勇哥带你玩转git基本操作
2017-04-19
史上最全vim配置带插件包,耗时一周打造,覆盖插件文件夹即可使用
2017-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人