Elasticsearch
游九河
每日需更进一步
展开
-
Es中报错:Fielddata is disabled on text fields by default. Set fielddata=true on [revision]...
PUT person_real_time_location_record/_mapping/data{"properties": { "person_type": { "type": "text", "fielddata": true } }}原创 2019-12-26 16:31:53 · 387 阅读 · 0 评论 -
Elasticsearch -- 基本概念
ElasticsearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。indexElasticSearch索引(Index)定义了文档的逻辑存储和字段类型,索引是文档的集合,文档以索...原创 2019-05-26 23:41:35 · 198 阅读 · 0 评论 -
Elasticsearch 特定场景下使用
假设一: 现在有一批互联网数据信息字段名字name联系人listeners开始时间starttime结束时间endtime位置position联系内容content需求一:实时搜索到在目标时间内和目标地(方圆3千米)内所有联系过的人员需求二:实时统计在目标时间内和目标人所有联系过的人员及次数需求三:实时统计在目标时间内和目标...原创 2019-05-27 22:51:10 · 465 阅读 · 0 评论 -
elasticsearch -- win10 elasticsearch.bat闪退
win10 elasticsearch.bat闪退怎么搞的1、在elasticsearch/bin目录下,按shift + 鼠标右键 打开 powershell窗口2、输入bat文件名 如 elasticsearch.bat 回车运行,这时能看到错误提示,根据提示排查错误即可。[2019-06-19T11:04:17,247][INFO ][o.e.x.s.a.s.FileRolesSto...原创 2019-06-19 11:15:25 · 6184 阅读 · 2 评论 -
Elasticsearch -- search_after
Elasticsearch 搜索返回的数据默认最大为 10000 条,如果需要返回全部的数据,需要修改默认配置或者 scroll 或者 search after 的解决方案。其中 search after 解决方案不需要额外的配置和操作是三者中最合适的解决方案使用 HTTP 请求实践GET phonebills/_search{ "query": { "term": { ...原创 2019-07-04 11:39:35 · 5984 阅读 · 1 评论 -
spark与Elasticsearch整合
maven添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-c...原创 2019-07-11 16:40:36 · 886 阅读 · 0 评论 -
Elasticsearch kibana -- 时区
今天遇到 kibana 和 Elasticsearch 时区不一致,导致有数据时间段内的查询出现异常,其可视化出现图形位移现象。如:时间是 2019-07-13 10:56:24 却被分到 2019-07-13 18:56:24的桶了查看了源数据中同一时间段的数据没有,判断是时区出了问题查找 es 的默认时区。在官网中找到下面一句,默认是UTC Date-times are stor...原创 2019-07-25 17:49:16 · 1064 阅读 · 0 评论 -
Spark抽取转换182个用户的轨迹数据到ES,Kibana展示
GeoLife GPS Trajectories该GPS轨迹数据集出自微软研究GeoLift项目。从2007年四月到2012年八月收集了182个用户的轨迹数据。这些数据包含了一系列以时间为序的点,每一个点包含经纬度、海拔等信息。包含了17621个轨迹,总距离120多万公里,总时间48000多小时。这些数据不仅仅记录了用户在家和在工作地点的位置轨迹,还记录了大范围的户外活动轨迹,比如购物、旅游、远...原创 2019-08-29 18:51:24 · 805 阅读 · 0 评论