ES
世界之大追梦者
这个作者很懒,什么都没留下…
展开
-
基本知识:es 基本信息查询
1.查询集群的基本运行状况-healthcurl -XGET 'localhost:9200/_cat/health?v&pretty'结果:结果参数:status:Green - everything is good (cluster is fully functional)Yellow - all data is available but some replicas are not ...原创 2018-03-07 18:28:47 · 2152 阅读 · 0 评论 -
扩展:查询DSL
一、基本查询:es中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个json,由于post的请求是json格式的,所以存在很多灵活性,也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结构只是一部分,并不是可以直接黏贴复制进去使用的。一般要在外...转载 2018-03-08 13:27:56 · 1169 阅读 · 1 评论 -
基本知识:返回结果参数设置
返回结果属性:took:查询结果花费的时间(ms)timed_out:是否超时_shards:分片信息:{total:总共的分片数,successful:成功查询的分片数:skipped跳过查询的分片数,failed:查询失败的分片数}hits:返回结果信息:{total:返回的结果总数,max_score:最大文档分数,hits:返回真实的结果:{_index:索引,_type:类型,_id:i...原创 2018-03-08 13:22:24 · 1231 阅读 · 0 评论 -
扩展:Elasticsearch DSL中Query与Filter的不同
Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询。举个DSL例子GET _search{"query": {"bool": {"must": [{ "match": { "title": "Search" }},{ "match": { "content": "Elasticse转载 2018-03-08 12:24:18 · 232 阅读 · 0 评论 -
扩展:hive插入数据到ES
Hive建表加入hive和es的相关jar包(此例以es5.5.2为例,jar去官网下载)add jar file:///data/xj6500_data/lib/elasticsearch-hadoop-5.5.2.jar;建表语句DROP TABLE IF EXISTS dim_use_year_es ;CREATE EXTERNAL TABLE dim_use_year_es( datal...原创 2018-03-08 12:20:35 · 3841 阅读 · 0 评论 -
教程:Elasticsearch入门介绍
ES是一个高扩展的、开源的、全文检索的搜索引擎,它提供了近实时的索引、搜索、分析功能。ES文档翻译与总结参考:ES知识汇总应用场景1 它提供了强大的搜索功能,可以实现类似百度、谷歌等搜索。2 可以搜索日志或者交易数据,用来分析商业趋势、搜集日志、分析系统瓶颈或者运行发展等等3 可以提供预警功能(持续的查询分析某个数据,如果超过一定的值,就进行警告)4 分析商业信息,在百万级的大数据中轻松的定位关键...转载 2018-03-08 12:18:30 · 253 阅读 · 0 评论 -
扩展:更改ES结果窗口大小
ES默认窗口大小是10000,就是如果查询的数据超过了这个值就会出现异常,下面可以将窗口设置大一点:put http://192.168.1.69:9200/my_index/_settings{ "index" : { "max_result_window" : 100000000}}或者curl -XPUT http://82.1.31.63:9200/my_index/_set...原创 2018-03-07 18:43:03 · 2367 阅读 · 0 评论 -
扩展:关于ES字符串类型(Text vs keyword)的选择
ElasticSearch 5.0以后,string类型有重大变更,移除了string类型,string字段被拆分成两种新的数据类型: text用于全文搜索的,而keyword用于关键词搜索。ElasticSearch字符串将默认被同时映射成text和keyword类型,将会自动创建下面的动态映射(dynamic mappings):{ "class_code": { "typ...转载 2018-03-07 18:35:06 · 7006 阅读 · 0 评论 -
异常:ES异常集
1. elasticsearch 400错误,原因主要是没把hadoop文本转化为Json格式,引入Gson解决。add jar file:///opt/spacewalk/xj6500_data/lib/gson-2.2.4.jar;2.classnotFound---EsOutputFormat,主要是运行的时候没加依赖包,add jar file:///opt/spacewalk/xj650...原创 2018-03-07 18:32:43 · 2150 阅读 · 0 评论 -
扩展:基于Python操作ElasticSearch
环境依赖: Python:2.7 ES依赖包:pyelasticsearch ElasticSearch:5.5.1 / 6.0.1 操作系统:Windows 10 / CentOS 7 本文主要就ES基本的CRUD操作做以归纳整理,ES官方对Python的依赖支持有很多,eg:pyelasticsearch、ESClient、elasticutils、pyes、rawes、Surfiki ...转载 2018-03-08 14:07:49 · 1092 阅读 · 0 评论