- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 elasticsearch 磁盘优化-index
### index参数 的作用> + 当我们不需要一些字段参数搜索和过滤时可以配置index来减轻我们的磁盘空间的消耗。> + index 的默认值是true，是能够被索引和过滤的。> + index = false 配置那些不需要搜索和过滤，只需要存储展示的字段情况#举个栗子：> 创建索引```jsonPUT whl_test{"mappings": {"properties": {"age": {"type": "integer
2021-10-28 17:03:29
1158
原创 关于搜索elasticsearch的数据条数大于10000的坑 max_result_window的解决方案
关于这个问题我主要从5.6.x版本和7.10.x版本分析：5.6.x版本：只需要一步即可{ "settings": { "index": { "number_of_shards": "1", "max_result_window": "1000000", "analysis": { "analyzer": { "keep_none_chinese_in_joined_full_p
2021-07-28 11:10:43
1328
2
原创 Elasticsearch 大小写敏感问题（raw/keyword 对 wildcard 的支持）
# 问题背景_elasticsearch 的 keyword/raw 是没有对字段值的逐字存储的，所以对英文字母大小写敏感。当我们使用wildcard 做模糊查询时就会遇到查询结果集不全或者查询不到结果集_# 解决方案_我们需要在索引文档的时候对raw/keyword做下特殊里，下面是具体实现步骤_+ 在setting中设置分析器```PUT /test_raw{"settings": {"analysis": {"filter": {"my_synonym":
2021-07-07 17:00:00
3889
原创 Elasticsearch 缓存汇总
前言Elasticsearch 中有多种查询缓存，当一个查询请求执行后，他可能会被缓存下来，但是哪些查询会被缓存，哪些不会缓存，缓存了什么内容，什么时候失效，这些总是让人迷惑。现在，我们来把他搞清楚。总共涉及的缓存有Shard Request Cache Node Query Cache (Filter Cache) 其他缓存Shard Request CacheShard Request Cache 简称 Request Cache，他是分片级别的查询缓存，每个分片有自己的缓存。该缓
2021-04-28 15:16:07
399
原创 git 查看非当前分支提交log
命令格式 ：git log $分支名称/tag名称 -n4xuenlai:document tezignuser$ git log content-hub-1.1.0 -n4commit cceaed4abeac63793ad51dd592121769ec0cf287 (origin/content-hub-1.1.0, content-hub-1.1.0)Author: weihonglai <weihonglai@tezign.com>Date: Thu Dec 31 17:
2020-12-31 17:28:46
1129
原创 elasticSearch 中的查询关键词
match_allmatch_all 查询简单的匹配所有文档。在没有指定查询方式时，它是默认的查询：{ "match_all": {}}。match如果你在一个全文字段上使用 match 查询，在执行查询前，它将用正确的分析器去分析查询字符串：{ "match": { "title": "中国人" }}multi_matchmulti_match 查询可以在多个字段上执行相同的 match 查询：{ "multi_match": { "quer
2020-10-25 15:45:33
1118
原创 git 命令总结
# clone 分支git clone url# status 查看状态git status# add 添加git add .# 删除文件git rm [file1] [file2] ...# 停止追踪指定文件，但该文件会保留在工作区git rm --cached [file]# 改名文件，并且将这个改名放入暂存区$ git mv [file-original] [file-renamed]# 列出所有本地分支git branch# 列出所有远程分支git br.
2020-08-24 10:57:13
122
原创 antd modal的onOk提交form表单
import React, { Component } from 'react'import { Modal, Form, Input, Button } from 'antd'import FormModal from './SharedForm'class SharedFormModal extends Component { state = { visible: true, } showModelHandler = (e) => { if (e) e.s.
2020-08-17 16:48:32
4656
原创 布隆过滤器-Java实现版
guava实现了布隆过滤器我们直接使用即可：<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>版本自取</version></dependency>然后直接用：import com.google.common.hash.BloomFilte
2020-06-29 16:12:50
288
1
原创 mysql innoDB 的MVCC工作原理
mysql为每行数据添加了两个隐藏的字段，一个为保存创建版本号，一个保存删除版本号，版本号根据时间是递增的。那么我们看下mysql在REPEATABLE READ隔离级别下，MVCC是如何操作的；我们模拟一张表：create table tbl( create_no int, delete_no int);假设事物的版本号 no = 20200525001;insert 操作：创建版本号 = 当前事物版本号； insert into tbl (icreate_no,del...
2020-05-25 13:40:10
177
原创 适配器模式
适配器模式：当前接口不满足用户想要的结果并且又不想改动现有的接口时，适配器模式就可以有用武之地了。代码：1.业务接口public interface Adaptee { /** * 交强险 */ public void compulsory();}2.接口实现/** * adaptee */public class Adapte...
2020-04-13 13:58:45
76
原创 java8 stream 常规操作
去入职新公司看到代码中有大量的stream操作，去网上看了一些博客学习做了一些笔记import com.google.common.collect.Lists;import java.util.*;import java.util.function.Function;import java.util.stream.Collectors;public class Demo { ...
2020-04-01 17:48:25
113
原创 elasticsearch 创建静态映射索引
所谓静态映射就是像mysql一样在建表的时候对各个字段的属性进行设置：put books{ "mappings":{ "it":{ "dynamic":"strict", "properties":{ "title":{ "type":"text" }, "process":{ "type":"date" } }...
2019-07-26 16:33:39
851
原创 elasticsearch 获取文档操作
获取单个id文档：get blog/type_blog/1响应信息：{"_index":"blog","_type":"type_blog","_id":"1","found":true,"_source":{ "id":1, "name":"zhangsan", ......}}found:表示是否查询到数据source:返回的数据获取多...
2019-07-26 11:46:51
838
原创 elasticsearch 笔记
1，创建索引：put blog{"settings":{"number_of_shards":3,"number_of_replicas":0}}返回值为：{"acknowledged": true,"shards_acknowledged": true,"index": "blog"}注："number_of_shards":分片数"number_of...
2019-07-25 14:51:37
194
原创 elasticsearch 复制索引
复制索引：post _reindex{ "source": { "index": "i_alarm_count" }, "dest": { "index": "blog" }}返回值：{"took": 19,"timed_out": false,"total": 9,"updated": 9,"created": 0,"deleted"...
2019-07-25 14:40:36
2442
原创 java 创建高可用 的elastic 连接池
第一步创建工厂类：package com.whl.espool;import org.apache.commons.pool2.PooledObject;import org.apache.commons.pool2.PooledObjectFactory;import org.apache.commons.pool2.impl.DefaultPooledObject;import...
2019-07-19 11:38:44
1542
2
转载 zookeeper原理及应用
1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么？1)文件系统2)通知机制3.Zookeeper文件系统每个子目录项如 N...
2019-06-26 08:59:29
125
原创 centos ssh 免密设置
1，生产密钥[root@localhost ~]# ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.Enter passphrase (em...
2019-05-16 22:24:21
194
原创 centos 7 安装docker
由于Docker 要求 centos 系统的内核版本高于 3.10 ，首先查看centos 的内核版本[root@localhost ~]# uname -r3.10.0-514.el7.x86_64[root@localhost ~]#安装需要的软件：[root@localhost ~]# yum install -y yum-utils device-mapper-pers...
2019-05-16 21:16:32
218
原创 mysql 最终版解决分组topN方案
SELECT name, age, itemTime FROM ( SELECT csg.*, CASE WHEN @mid = csg.itemTime THEN @rownum :=@rownum + 1 ELSE @rownum := 1 END rownum, @mid := csg.itemTime MID F...
2019-05-16 13:48:00
866
原创 docker常用命令
安装命令：yum -y install docker启动 Docker 后台服务：<span style="color:#000000">service docker start</span>运行hello-world命令：[root@localhost ~]# docker run ansible/centos7-ansible...
2019-05-14 15:59:01
143
转载 TIDB 初识
一 概念：TiDB 是 分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库 结合了传统的 RDBMS 和 NoSQL 的最佳特性 TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性 TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (...
2019-05-13 11:03:21
230
转载 MYSQL中取当前周/月/季/年的第一天与最后一天
源地址：http://www.2cto.com/database/201308/240281.html#当年第一天：SELECT DATE_SUB(CURDATE(),INTERVAL dayofyear(now())-1 DAY); #当年最后一天：SELECT concat(YEAR(now()),'-12-31'); #当前week的第一天： select date...
2019-05-09 13:46:26
177
转载 java并发实例
一.银行出纳员仿真问题描述：银行会有很多来办业务的顾客，他们会排队等待服务；对于银行方面他们派出出纳员来服务顾客，如果排队的顾客数量过多，银行就会增加出纳员的数量，如果顾客的数目过少，则减少出纳员的数目；总之要保持一个平衡。仿真思路:封装Customer类来表示顾客，每个顾客对象都会有一个需要服务的时间；使用有限容量的阻塞队列CustomerLine来模拟顾客的排队队列；封装Cus...
2019-05-08 10:33:06
142
原创 mysql top N 分组后取前N条
SELECT itemTime, reporter, aggsCountFROM ( SELECT itemTime, reporter, aggsCount, IF (@tmp = itemTime ,@rank :=@rank + 1 ,@rank := 1) AS new_rank ,@tmp := itemTime AS tmp FROM ...
2019-05-06 10:19:18
271
原创 mysql 分组后top N
直接上代码建表语句：CREATE TABLE `studentgrade` ( `stuId` varchar(255) DEFAULT NULL, `subId` int(11) DEFAULT NULL, `grade` int(255) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;INSERT INTO `y...
2019-05-06 09:24:40
415
原创 mysql如何获取周的起始时间和结束时间
直接上代码SELECT DATE_FORMAT( str_to_date( '2019-04-28 18:23:11', '%Y-%m-%d %k:%i:%s' ), '%Y-%m-%d' ) AS 'now day', CONCAT_WS( '-', from_unixtime( UNIX_TIMESTAMP( str_to_date(...
2019-05-06 09:20:48
3903
原创 kafka的message和batches
Kafka 中最基本的数据单元是消息message，如果使用过数据库，那么可以把Kafka 中的消息理解成数据库里的一条行或者一条记录。消息是由字符数组组成的，kafka 并不关系它内部是什么，索引消息的具体格式与Kafka 无关。消息可以有一个可选的key，这个key 也是个字符数组，与消息一样，对于kafka 也是透明的。key 用来确定消息写入分区时，进入哪一个分区。最简单的处理方...
2019-05-05 22:59:45
473
原创 plsql编程笔记
学习计划：1.pl/sql 基本的语法格式2.记录类型 type ... is record(,,,,);3.流程控制 3.1 条件判断（两种） 方式一：if .... then elsif then ... else ... end if; 方式二：case ... when ... then ... end; 3.2 ...
2018-06-29 10:29:24
228
原创 oracle存储函数和存储过程
存储过程概念：存储过程（Stored Procedure）是在大型数据库系统中，一组为了完成特定功能的SQL 语句集，存储在数据库中，经过第一次编译后再次调用不需要再次编译，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。存储过程是数据库中的一个重要对象。sql语句：sql中的存储过程及相关介绍：CREATE PROCEDURE [拥有者.]存储过程名[;程序编号][(参数...
2018-06-27 14:43:51
145
原创 oracle的触发器
概念：触发器（trigger）是数据库 提供给程序员和数据分析员来保证数据完整性的一种方法，它是与表事件相关的特殊的存储过程，它的执行不是由程序调用，也不是手工启动，而是由事件来触发，比如当对一个表进行操作（ insert，delete， update）时就会激活它执行。触发器经常用于加强数据的完整性约束和业务规则等。 触发器可以从 DBA_TRIGGERS ，USER_TRIGGERS 数据字典...
2018-06-27 09:43:28
127
原创 spring事务
事务的特性（ACID）： 原子性（atomicity）：事务是一个原子操作，是有一系类的动作组成，事务的原子性是确保这一系列动作要么全部完成，要么全部不起作用。一致性（consistency）：一旦事务完成（不管是成功还是失败），系统必须确保他所建模的业务处于一致的状态，在现实的数据中不应该被破坏。隔离性（isolation）：在多事务的操作相同的数据时每个事物都应该与其他事物隔离开来，防止数据破...
2018-06-18 10:46:54
281
原创 redis学习笔记
redis的数据类型有：string，list，set，hash，zset五种类型。1.string操作命令：set 设置string的值 get 获取string的值 del 删除string的值实例：127.0.0.1:6379> set hello worldOK127.0.0.1:6379> get hello"...
2018-06-09 12:46:04
904
原创 java异常
java的异常体系：Throwable类是整个Java异常体系的超类，都有的异常类都是派生自这个类。包含Error和Exception两个直接子类Error表示程序在运行期间出现了十分严重、不可恢复的错误，在这种情况下应用程序只能中止运行，例如JAVA虚拟机出现错误。在程序中不用捕获Error类型的异常。一般情况下，在程序中也不应该抛出Error类型的异常Exception是应用层面上最顶层的异常...
2018-06-09 11:05:45
116
原创 centos7下安装python3
第一步：安装依赖库安装gcc-c++，zlibyum install gcc-c++yum install zlib zlib-devel第二步：下载python3wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz第三步：解压缩tar -zxvf Python-3.6.0.tgz第四步：安装./configure --pref...
2018-05-23 17:33:53
129
原创 centos 7 安装mysql5.7
1，下载mysql源安装：wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm2，安装mysql源：yum localinstall mysql57-community-release-el7-8.noarch.rpm3，查看是否安装成功： yum repolist enabled | grep "mys...
2018-03-23 11:26:51
132
原创 docker常用命令
安装命令：yum -y install docker启动 Docker 后台服务：service docker start运行hello-world命令：[root@localhost ~]# docker run ansible/centos7-ansible:latest /bin/echo 'hello'hello[root@localhost ~]# 各个参数解析：docker: Do...
2018-03-23 09:26:52
241
原创 centos 安装mysql
1.下载 安装前卸载libs[root@node0 opt]# rpm -qa | grep mysqlmysql-libs-5.1.73-8.el6_8.x86_64rpm -e --nodeps mysql-libs用此命令删除安装依赖：yum install -y make yum install -y cmakeyum install -y gccyum install -y ...
2018-02-02 10:30:27
439
原创 centos 下storm集群的搭建
1.安装jdk我安装的是 [master@node0 bin]$ java -versionjava version "1.8.0_151"Java(TM) SE Runtime Environment (build 1.8.0_151-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)2.安
2018-01-30 18:24:37
301
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人