自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Redis 事务

Redis 事务1、Redis 事务介绍Redis 事务可以一次执行多个命令, 并且带有以下三个重要的保证: 批量操作在发送 EXEC 命令前被放入队列缓存。 收到 EXEC 命令后进入事务执行,事务中任意命令执行失败,其余的命令依然被执行。 在事务执行过程,其他客户端提交的命令请求不会插入到事务执行命令序列中。Redis事务的三个阶段: 开始事务。...

2020-03-24 10:16:31 403

原创 Redis多数据库

Redis多数据库Redis默认有16个数据库,且都是用整数命名的,所以在测试环境和生产环境可以使用不同数据库1 select index切换到指定的数据库2 move key db将key移动到指定的数据库3 dbsize查看数据库中key的数量4 info查看数据库信息5 flushdb清空当前数据库6 flushall清空...

2020-03-23 16:47:56 476

原创 Redis 发布订阅

Redis 发布订阅1、介绍Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。Redis 客户端可以订阅任意数量的频道。eg:以微博和公众号,任何粉丝只要关注(订阅)了某一个人的微博或者公众号,该微博或者公众号只有有状态更新,都会将消息推送(发布)到粉丝下图展示了频道 channel1 , 以及订阅这个频道的三个客户端 ...

2020-03-23 16:23:53 557

原创 Redis HyperLogLog

Redis HyperLogLog1、介绍Redis 在 2.8.9 版本添加了 HyperLogLog 结构。Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算...

2020-03-23 14:07:34 517

原创 Linux ssh无密登陆

Linux ssh无密登陆1、生成SSH密钥和公钥执行命令后,一直回车ssh-keygen -t rsa[lucky@gitlab ~]$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/lucky/.ssh/id_rsa)...

2020-03-20 10:23:36 1027

原创 Gitlab 重置密码

Gitlab 重置密码1、执行gitlab-rails console production2、输入:user = User.where(id: 1).firstuser.password = '你的密码'user.password_confirmation = '你的密码-确认'user.save!...

2020-03-20 09:30:53 1095

原创 docker安装redis

docker安装redis1.docker安装https://blog.csdn.net/u014646662/article/details/1049822232.查看redis版本docker search redis3.安装最新版redisdocker pull redis:latest4.查看docker镜像docker images结果如下:...

2020-03-20 09:12:18 1091

原创 CentOS7 Docker-ce 安装(阿里源)

CentOS7 Docker-ce 安装(阿里源)1、docker所依赖的包环境yum install -y yum-utils device-mapper-persistent-data lvm22、Docker-ce 阿里源镜像yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/ce...

2020-03-20 08:59:08 1691

原创 Logstash input输入 beats插件 和 syslog插件

Logstash input输入 beats插件 和 syslog插件Logstash input多个输入插件同时使用Logstash -7.2.0filter使用的插件:grok、kv、urldecode、date、mutate、geoip1、先看总体配置logstash.conf(执行时请去除所有中文注释)input { #beats输入插件 beats ...

2020-03-18 11:49:25 2111

原创 Logstash input输入 jdbc插件

Logstash jdbc作为输入,从数据库输出到ElasticsearchLogstash input输入 jdbc插件logstash-7.2.0以mysql为例1、先看总体配置mysql.conf(执行时请去除所有中文注释)input { jdbc { #mysql-jdbc驱动位置 jdbc_driver_library => "/opt/...

2020-03-18 10:47:44 1485

原创 Logstash input输入 http插件

Logstash http作为输入,并输出到ElasticsearchLogstash-7.2.0本次以json数据为例1、先看总体配置http.confinput { http{ host => "0.0.0.0" #http启动端口 port => 8088 #接受JSON数据 additional_codecs => {"text/p...

2020-03-18 10:13:25 2588

原创 Logstash 默认支持的输入和输出方式

Logstash 默认支持的输入和输出方式Logstash-7.6.1部分输入输出方式在其他播客中会有介绍,欢迎关注1.input 支持的输入方式:azure_event_hubs beats cloudwatch couchdb_changes dead_letter_queue elasticsearch exec file ganglia gelf gen...

2020-03-18 10:02:46 1862

原创 logstash 安裝配置

logstash 安裝配置及优化logstash-7.2.01、安装首先从官网下载logstash:windows下载zip,linux下载tar.gz解压到指定目录如果不做任何优化,现在就可以运行bin/logstash -f config/logstash.conflogstash.conf是你收集日志的配置文件,关于这个文件的配置,之后会简单介绍...

2020-03-18 08:56:29 1294

原创 Redis keys 命令

Redis常用Key命令1 del key该命令用于在 key 存在时删除 key。2 dump key序列化给定 key ,并返回被序列化的值。3 exists key检查给定 key 是否存在。4 expire key seconds为给定 key 设置过期时间,以秒计。5 expireat key timestampexpireat 的作用...

2020-03-17 15:11:44 1271

原创 Redis 有序集合(sorted set)

Redis 有序集合(sorted set)1 zadd key score1 member1 [score2 member2]向有序集合添加一个或多个成员,或者更新已存在成员的分数2 zcard key获取有序集合的成员数3 zcount key min max计算在有序集合中指定区间分数的成员数4 zincrby key increment member...

2020-03-14 16:12:20 1311

原创 Redis 集合(Set)

Redis 集合(Set)1 sadd key member1 [member2]向集合添加一个或多个成员2 scard key获取集合的成员数3 sdiff key1 [key2]返回给定所有集合的差集4 sdiffstore destination key1 [key2]返回给定所有集合的差集并存储在 destination 中5 sinte...

2020-03-13 09:28:15 1331

原创 Redis 列表(List)

Redis 列表(List)1 blpop key1 [key2 ] timeout移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。2 brpop key1 [key2 ] timeout移出并获取列表的最后一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。3 brpoplpush source dest...

2020-03-12 15:22:31 1286

原创 Redis 哈希(Hash)命令

Redis 哈希(Hash)命令1 hdel key field1 [field2]删除一个或多个哈希表字段2 hexists key field查看哈希表 key 中,指定的字段是否存在。3 hget key field获取存储在哈希表中指定字段的值。4 hgetall key获取在哈希表中指定 key 的所有字段和值5 hincrby key...

2020-03-12 14:53:32 1275

原创 Redis 字符串(String)命令

Redis 字符串(String)命令1 set key value设置指定 key 的值2 get key获取指定 key 的值。3 getrange key start end返回 key 中字符串值的子字符4 getset key value将给定 key 的值设为 value ,并返回 key 的旧值(old value)。5 getbit...

2020-03-12 10:10:13 1351

原创 ElasticSearch Split 切分主分片数

ElasticSearch Split 增加主分片数ElasticSearch 7.2.0Split 的使用方式和Shrink很像见:https://blog.csdn.net/u014646662/article/details/103575489如果不完全符合,可以重新索引:https://blog.csdn.net/u014646662/article/details/9763...

2019-12-17 14:46:06 1423

原创 ElasticSearch Shrink 减少主分片数

ElasticSearch Shrink 减少主分片数版本:ElasticSearch 7.2.0如果该方式不适合,可选用重排索引reindex :https://blog.csdn.net/u014646662/article/details/97638792目录1、使用场景2、降低主分片数3、使用条件4、Shrink 测试1、使用场景ES 5.x 后推出的一...

2019-12-17 11:34:09 1552

原创 ElasticSearch Open/Close Index

ElasticSearch Open/Close Index1、close index2、open index3、总结针对部分索引,我们暂时不需要对其进行读写,可以临时关闭索引,以减少es服务器的开销1、close index#为索引添加一条数据put test/_doc/1{ "key":"value"}#关闭索引POST test/_close...

2019-12-17 10:21:31 3273

原创 Elasticsearch Java REST高级客户端 删除索引

Elasticsearch Java REST高级客户端 删除索引版本:Elasticsearch 7.2.01、索引是否存在2、删除索引3、创建客户端4、maven配置---pom1、索引是否存在 /** * 索引是否存在 * @param indexName * @return */ public static boolean exists(St...

2019-11-22 11:09:29 1595

原创 Logstash 将ES数据导入数据库

Logstash 将ES数据导入数据库Logstash 7.2.01、logstash-output-jdbc安装2、问题梳理3、conf文件1、logstash-output-jdbc安装/opt/logstash/bin/logstash-plugin install logstash-output-jdbc2、问题梳理a、日期字段格式转换问题b、es日期与...

2019-11-08 13:47:08 2216

原创 Elasticsearch Java REST高级客户端 parent/child join

Elasticsearch Java REST高级客户端 parent/child joinElasticsearch 7.2.01.数据准备2.parentId根据父文档id查询相关子文档3.通过ID和routing ,访问子文档(不加routing查不到)4.hasChild 返回父文档5.hasParent 返回相关的子文档6.Java REST高级客户端连接及...

2019-08-27 14:45:40 2199 3

原创 ElasticSearch nested parent/child join

ElasticSearch nested parent/child joinElasticSearch 7.2.01、创建索引含有nested类型的索引2、添加数据(nested)3、查询(nested)4、创建含有关联关系的索引5、添加数据(parent/child join) 5.1 添加父文档 5.2 添加子文档6、查询(parent/child...

2019-08-26 17:23:52 2321

原创 Nginx + ElasticSearch + Kibana结合

Nginx + ElasticSearch + Kibana结合操作系统 软件下载 安装编译工具及库文件 安装 PCRE 安装 Nginx ElasticSearch配置 Kibana配置 Nginx配置 启动Nginx对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,...

2019-08-19 14:04:33 2284

原创 ElasticSearch集群安装配置

ElasticSearch集群安装配置ElasticSearch 7.2.0操作系统 软件及版本 安装包准备 JDK安装 ElasticSearch安装 ElasticSearch-head安装 Kibana安装 集群配置 安全验证对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的...

2019-08-16 09:41:41 2200

原创 ElasticSearch 性能优化

ElasticSearch 性能优化一、索引层面1 增加 Refresh 时间间隔2 减少副本数量3、开启异步刷写4、开启慢查询日志二、服务器层面5、内存设置6、集群分片设置7、Mapping建模8、索引优化设置9、查询优化对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入...

2019-08-12 11:53:32 5834 3

原创 ElasticSearch Java REST客户端创建

ElasticSearch Java REST客户端创建1.低级客户端创建2.高级客户端创建3.安全验证高级客户端创建(带用户名和密码)4.Java REST高级客户端 maven配置对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享...

2019-08-09 16:49:19 2991 1

原创 Elasticsearch Java REST高级客户端 条件更新 updateQuery

Elasticsearch Java REST高级客户端 条件更新 updateQueryElasticsearch 7.2.01.条件更新2.客户端创建3.maven配置-pom对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下...

2019-08-09 13:27:44 4906 2

原创 Elasticsearch Java REST高级客户端 条件删除 DeleteByQuery

Elasticsearch Java REST高级客户端 条件删除DeleteByQueryElasticsearch 7.2.01.条件删除2.客户端创建3.maven配置-pom对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享...

2019-08-09 13:27:35 6688 3

原创 ElasticSearch Java REST 高级客户端 查询模板 SearchTemplate

ElasticSearch Java REST 高级客户端 内联模板 SearchTemplateElasticSearch 7.2.01.内联模板2.创建注册模板3.执行注册模板4.多模板5.创建客户端6.maven配置---pom文件对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非...

2019-08-09 13:27:27 6209

原创 ElasticSearch painless debug

ElasticSearch painless debug对painless脚本调试数据准备 测试代码1、数据准备PUT /hockey/_doc/1?refresh{"first":"johnny","last":"gaudreau","goals":[9,27,1],"assists":[17,46,0],"gp":[26,82,1]}2、测试测试一POST ...

2019-08-06 18:59:33 3249

原创 ElasticSearch Painless 脚本 简单使用

ElasticSearch Painless 脚本 简单使用数据准备 使用for循环---改变搜索评分 使用for循环---对数组求和 对拼接字段排序 使用脚本更新文档 使用脚本添加新字段 使用脚本对日期操作 正则表达式使用1、数据准备PUT hockey/_bulk?refresh{"index":{"_id":1}}{"first":"johnny","la...

2019-08-06 18:59:26 3467

原创 ElasticSearch 脚本简单使用

ElasticSearch 脚本简单使用ElasticSearch 7.X如发现问题可以看官方文档1、脚本语法2、脚本参数 parameters3、简单格式 Short4、存储脚本 Stored对人工智能感兴趣点击下面的连接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风...

2019-08-02 16:01:24 5994 4

原创 ElasticSearch使用模板中定义的分词器

ElasticSearch使用模板中定义的分词器ElasticSearch7.2.01、定义ik+english分词器2、定义ik+english+同义词分词器3、定义english+pinyin分词器4、使用分词器5、测试分词效果对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白...

2019-08-02 10:49:43 3927

原创 ElasticSearch使用脚步做数学运算 加减乘除

ElasticSearch使用脚步做数学运算 加减乘除ElasticSearch版本:7.XElasticSearch的脚本提供了加、减、乘、除、取模、乘方、开方、对数等运算1、加、减、乘、除、取模、乘方、开方、对数等运算2、脚本简单语法3、对索引中的字段运算1、加、减、乘、除、取模、乘方、开方、对数等运算1.1 expression脚本GET metric/_s...

2019-08-02 09:34:52 7592 2

原创 Elasticsearch Java REST高级客户端 maven配置

Elasticsearch Java REST高级客户端 maven配置版本:Elasticsearch 7.2.0如果不是7.2.0,请换成对应版本,包括小版本号<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...

2019-07-31 10:44:14 4555

原创 ElasticSearch reindex 使用

ElasticSearch reindex 使用处理:ElasticSearch reindex 超时 "error": "Gateway Time-out", "message": "Client request timeout"有以下几个方案:增加并行数(根据集群的cpu决定) 增加refresh间隔 副本数为0 增大批次处理量(最大是10000)对人工智能感兴趣的同学,可...

2019-07-29 14:00:03 6381

提示
确定要删除当前文章?
取消 删除