大数据
文章平均质量分 92
周天祥
一起学习,一起分享
展开
-
Redis keys 命令
Redis常用Key命令1 del key该命令用于在 key 存在时删除 key。2 dump key序列化给定 key ,并返回被序列化的值。3 exists key检查给定 key 是否存在。4 expire key seconds为给定 key 设置过期时间,以秒计。5 expireat key timestampexpireat 的作用...原创 2020-03-17 15:11:44 · 5505 阅读 · 0 评论 -
Redis 有序集合(sorted set)
Redis 有序集合(sorted set)1 zadd key score1 member1 [score2 member2]向有序集合添加一个或多个成员,或者更新已存在成员的分数2 zcard key获取有序集合的成员数3 zcount key min max计算在有序集合中指定区间分数的成员数4 zincrby key increment member...原创 2020-03-14 16:12:20 · 5429 阅读 · 0 评论 -
Redis 集合(Set)
Redis 集合(Set)1 sadd key member1 [member2]向集合添加一个或多个成员2 scard key获取集合的成员数3 sdiff key1 [key2]返回给定所有集合的差集4 sdiffstore destination key1 [key2]返回给定所有集合的差集并存储在 destination 中5 sinte...原创 2020-03-13 09:28:15 · 5354 阅读 · 0 评论 -
Redis 列表(List)
Redis 列表(List)1 blpop key1 [key2 ] timeout移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。2 brpop key1 [key2 ] timeout移出并获取列表的最后一个元素, 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。3 brpoplpush source dest...原创 2020-03-12 15:22:31 · 5363 阅读 · 0 评论 -
Redis 哈希(Hash)命令
Redis 哈希(Hash)命令1 hdel key field1 [field2]删除一个或多个哈希表字段2 hexists key field查看哈希表 key 中,指定的字段是否存在。3 hget key field获取存储在哈希表中指定字段的值。4 hgetall key获取在哈希表中指定 key 的所有字段和值5 hincrby key...原创 2020-03-12 14:53:32 · 5587 阅读 · 0 评论 -
Redis 字符串(String)命令
Redis 字符串(String)命令1 set key value设置指定 key 的值2 get key获取指定 key 的值。3 getrange key start end返回 key 中字符串值的子字符4 getset key value将给定 key 的值设为 value ,并返回 key 的旧值(old value)。5 getbit...原创 2020-03-12 10:10:13 · 5419 阅读 · 0 评论 -
ElasticSearch Split 切分主分片数
ElasticSearch Split 增加主分片数ElasticSearch 7.2.0Split 的使用方式和Shrink很像见:https://blog.csdn.net/u014646662/article/details/103575489如果不完全符合,可以重新索引:https://blog.csdn.net/u014646662/article/details/9763...原创 2019-12-17 14:46:06 · 6602 阅读 · 0 评论 -
ElasticSearch Open/Close Index
ElasticSearch Open/Close Index1、close index2、open index3、总结针对部分索引,我们暂时不需要对其进行读写,可以临时关闭索引,以减少es服务器的开销1、close index#为索引添加一条数据put test/_doc/1{ "key":"value"}#关闭索引POST test/_close...原创 2019-12-17 10:21:31 · 15495 阅读 · 1 评论 -
ElasticSearch Shrink 减少主分片数
ElasticSearch Shrink 减少主分片数版本:ElasticSearch 7.2.0如果该方式不适合,可选用重排索引reindex :https://blog.csdn.net/u014646662/article/details/97638792目录1、使用场景2、降低主分片数3、使用条件4、Shrink 测试1、使用场景ES 5.x 后推出的一...原创 2019-12-17 11:34:09 · 6896 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 删除索引
Elasticsearch Java REST高级客户端 删除索引版本:Elasticsearch 7.2.01、索引是否存在2、删除索引3、创建客户端4、maven配置---pom1、索引是否存在 /** * 索引是否存在 * @param indexName * @return */ public static boolean exists(St...原创 2019-11-22 11:09:29 · 7944 阅读 · 0 评论 -
Logstash 将ES数据导入数据库
Logstash 将ES数据导入数据库Logstash 7.2.01、logstash-output-jdbc安装2、问题梳理3、conf文件1、logstash-output-jdbc安装/opt/logstash/bin/logstash-plugin install logstash-output-jdbc2、问题梳理a、日期字段格式转换问题b、es日期与...原创 2019-11-08 13:47:08 · 8407 阅读 · 0 评论 -
ElasticSearch reindex 使用
ElasticSearch reindex 使用处理:ElasticSearch reindex 超时 "error": "Gateway Time-out", "message": "Client request timeout"有以下几个方案:增加并行数(根据集群的cpu决定) 增加refresh间隔 副本数为0 增大批次处理量(最大是10000)对人工智能感兴趣的同学,可...原创 2019-07-29 14:00:03 · 14744 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 bool查询
Elasticsearch Java REST高级客户端 bool查询版本:Elasticsearch 7.2.0maven配置见:Elasticsearch Java REST高级客户端-DocumentApi1.search bool 查询2.SearchScroll bool 查询3.创建客户端对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋...原创 2019-07-24 14:27:04 · 9179 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端-DocumentApi
Elasticsearch Java REST高级客户端-DocumentApi版本:Elasticsearch 7.2.0当你把Elasticsearch升级到7后会发现TransportClient这个客户端已过时,而且PreBuiltTransportClient这个已被删除,那么现在有如何使用java 客户端?Elasticsearch官方建议使用REST高级客户端RestHigh...原创 2019-07-19 08:54:46 · 12397 阅读 · 5 评论 -
Logstash设置ElasticSearch默认分词器
Logstash设置ElasticSearch默认分词器ElasticSearch:7.2.0Logstash:7.2.01.定义Logstash模板2.Logstash配置文件3.查看执行结果4.测试对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不...原创 2019-07-05 15:36:39 · 14381 阅读 · 0 评论 -
ElasticSearch 7.x 默认不在支持指定索引类型
ElasticSearch 7.x 默认不在支持指定索引类型在elasticsearch7.x上执行:put es_test{ "settings":{ "number_of_shards" : 3, "number_of_replicas" : 0 }, "mappings":{ "boo...原创 2019-07-05 10:20:39 · 41988 阅读 · 6 评论 -
ElasticSearch SQL 日期函数
ElasticSearch SQL 日期函数1、日期计算2、日期函数3、日期字符串转换(获取毫秒值、日期转字符串、字符串转日期)对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。https...原创 2019-04-30 20:28:59 · 31103 阅读 · 0 评论 -
ElasticSearch SQL 操作符
ElasticSearch SQL 操作符相等 (=) 安全的空值相等 (<=>) 不等 (<> 或!=) 比较(<, <=, >, >=) BETWEEN IS NULL/IS NOT NULL IN (<value1>, <value2>, ...) AND OR NOT 加 (+)、 减(infi...原创 2019-04-29 20:10:25 · 17158 阅读 · 0 评论 -
ElasticSearch SQL 数据类型
ElasticSearch SQL 数据类型 ElasticSearch类型 ElasticSearch sql 类型 sql 类型 SQL精度 核心数据类型 null null NU LL 0 ...原创 2019-04-29 19:28:40 · 17650 阅读 · 0 评论 -
ElasticSearch SQL Commands入门
ElasticSearch SQL CommandsElasticSearch SQL与mysql的语法还是比较像的,只是比较像1、命令行启动SQL2、DESCRIBE TABLE3、SELECT4、SHOW COLUMNS5、SHOW FUNCTIONS6、SHOW TABLES对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教...原创 2019-04-29 19:07:15 · 16765 阅读 · 0 评论 -
Elasticsearch安装Head
Elasticsearch安装Head1、下载nodejs 2、安装nodejs 3、测试node 4、安装grunt 5、启动Head对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。...原创 2019-04-24 14:59:07 · 17427 阅读 · 0 评论 -
ElasticSearch在Java中实现复合查询
ElasticSearch在Java中实现复合查询适用范围ElasticSearch6.x如果是ElasticSearch7或以上版本情转到如下链接REST高级客户端-DocumentApi:https://blog.csdn.net/u014646662/article/details/96473156REST高级客户端SearchApi:https://blog.csdn.ne...原创 2019-04-23 11:06:34 · 23961 阅读 · 0 评论 -
JDBC 连接 ElasticSearch
JDBC 连接 ElasticSearch1、Maven依赖2、测试连接3、破解x-pack-core(使ElasticSearch支持JDBC)对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转...原创 2019-04-26 16:41:26 · 33786 阅读 · 10 评论 -
ElasticSearch在Java中实现聚合操作
ElasticSearch在Java中实现聚合操作适用范围ElasticSearch6.x如果是ElasticSearch7或以上版本情转到如下链接REST高级客户端-DocumentApi:https://blog.csdn.net/u014646662/article/details/96473156REST高级客户端SearchApi:https://blog.csdn.ne...原创 2019-04-21 16:55:35 · 23134 阅读 · 2 评论 -
ElasticSearch在Java中实现term查询
ElasticSearch在Java中实现term查询适用范围ElasticSearch6.x如果是ElasticSearch7或以上版本情转到如下链接REST高级客户端-DocumentApi:https://blog.csdn.net/u014646662/article/details/96473156REST高级客户端SearchApi:https://blog.csdn....原创 2019-04-21 15:56:15 · 23362 阅读 · 0 评论 -
Elasticsearch 定义多个分词器模板
Elasticsearch 定义多个分词器模板版本:Elasticsearch 7.2.01.定义索引时,使用多个分词器2.在模板中定义中使用多个分词器3.ik+pinyin对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以...原创 2019-07-25 16:46:49 · 9292 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端SearchApi
Elasticsearch Java REST高级客户端SearchApi版本:Elasticsearch 7.2.0本节讲述一下Elasticsearch的条件搜索、排序、分组和聚合,以几个例子简单实现以下操作1.matchAllQuery查询2.matchQuery查询3.termQuery查询4.聚合操作aggregation5.创建和关闭客户端6.maven...原创 2019-07-22 14:05:33 · 11965 阅读 · 0 评论 -
Elasticsearch Java REST高级客户端 maven配置
Elasticsearch Java REST高级客户端 maven配置版本:Elasticsearch 7.2.0如果不是7.2.0,请换成对应版本,包括小版本号<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...原创 2019-07-31 10:44:14 · 12341 阅读 · 0 评论 -
Hadoop3 50070端口访问不到HDFS页面(hadoop的默认配置)
Hadoop3 50070端口访问不到HDFS页面hadoop3配置注意事项:https://blog.csdn.net/u014646662/article/details/82890443hadoop3 hdfs web端口改为9870<property> <name>dfs.namenode.http-address</name> &...原创 2018-09-28 19:27:10 · 114773 阅读 · 4 评论 -
Elasticsearch Java REST高级客户端 parent/child join
Elasticsearch Java REST高级客户端 parent/child joinElasticsearch 7.2.01.数据准备2.parentId根据父文档id查询相关子文档3.通过ID和routing ,访问子文档(不加routing查不到)4.hasChild 返回父文档5.hasParent 返回相关的子文档6.Java REST高级客户端连接及...原创 2019-08-27 14:45:40 · 7460 阅读 · 4 评论 -
ElasticSearch nested parent/child join
ElasticSearch nested parent/child joinElasticSearch 7.2.01、创建索引含有nested类型的索引2、添加数据(nested)3、查询(nested)4、创建含有关联关系的索引5、添加数据(parent/child join) 5.1 添加父文档 5.2 添加子文档6、查询(parent/child...原创 2019-08-26 17:23:52 · 7510 阅读 · 0 评论 -
ElasticSearch集群安装配置
ElasticSearch集群安装配置ElasticSearch 7.2.0操作系统 软件及版本 安装包准备 JDK安装 ElasticSearch安装 ElasticSearch-head安装 Kibana安装 集群配置 安全验证对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的...原创 2019-08-16 09:41:41 · 7120 阅读 · 0 评论 -
ElasticSearch 性能优化
ElasticSearch 性能优化一、索引层面1 增加 Refresh 时间间隔2 减少副本数量3、开启异步刷写4、开启慢查询日志二、服务器层面5、内存设置6、集群分片设置7、Mapping建模8、索引优化设置9、查询优化对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入...原创 2019-08-12 11:53:32 · 21307 阅读 · 4 评论 -
Elasticsearch Java REST高级客户端 条件更新 updateQuery
Elasticsearch Java REST高级客户端 条件更新 updateQueryElasticsearch 7.2.01.条件更新2.客户端创建3.maven配置-pom对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下...原创 2019-08-09 13:27:44 · 17935 阅读 · 5 评论 -
ElasticSearch Java REST 高级客户端 查询模板 SearchTemplate
ElasticSearch Java REST 高级客户端 内联模板 SearchTemplateElasticSearch 7.2.01.内联模板2.创建注册模板3.执行注册模板4.多模板5.创建客户端6.maven配置---pom文件对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非...原创 2019-08-09 13:27:27 · 14187 阅读 · 1 评论 -
ElasticSearch painless debug
ElasticSearch painless debug对painless脚本调试数据准备 测试代码1、数据准备PUT /hockey/_doc/1?refresh{"first":"johnny","last":"gaudreau","goals":[9,27,1],"assists":[17,46,0],"gp":[26,82,1]}2、测试测试一POST ...原创 2019-08-06 18:59:33 · 8469 阅读 · 0 评论 -
ElasticSearch Painless 脚本 简单使用
ElasticSearch Painless 脚本 简单使用数据准备 使用for循环---改变搜索评分 使用for循环---对数组求和 对拼接字段排序 使用脚本更新文档 使用脚本添加新字段 使用脚本对日期操作 正则表达式使用1、数据准备PUT hockey/_bulk?refresh{"index":{"_id":1}}{"first":"johnny","la...原创 2019-08-06 18:59:26 · 10365 阅读 · 0 评论 -
Nginx + ElasticSearch + Kibana结合
Nginx + ElasticSearch + Kibana结合操作系统 软件下载 安装编译工具及库文件 安装 PCRE 安装 Nginx ElasticSearch配置 Kibana配置 Nginx配置 启动Nginx对人工智能感兴趣点下面链接现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,...原创 2019-08-19 14:04:33 · 7075 阅读 · 0 评论 -
ElasticSearch使用脚步做数学运算 加减乘除
ElasticSearch使用脚步做数学运算 加减乘除ElasticSearch版本:7.XElasticSearch的脚本提供了加、减、乘、除、取模、乘方、开方、对数等运算1、加、减、乘、除、取模、乘方、开方、对数等运算2、脚本简单语法3、对索引中的字段运算1、加、减、乘、除、取模、乘方、开方、对数等运算1.1 expression脚本GET metric/_s...原创 2019-08-02 09:34:52 · 22190 阅读 · 2 评论 -
Elasticsearch Java REST高级客户端 MultiSearch Api
Elasticsearch Java REST高级客户端 MultiSearch Api版本:Elasticsearch 7.2.0maven配置见:Elasticsearch Java REST高级客户端-DocumentApi对人工智能感兴趣的同学,可以点击以下链接:现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入...原创 2019-07-23 15:41:25 · 10095 阅读 · 0 评论