ElasticSearch
关注
分享
扫一扫
文章平均质量分 69
实时数据的处理，restfulAPI
Ayub
喜欢学习，喜欢交流分享大数据技术。
展开
-
实时可视化大数据项目05 -- UI界面
很多人在问我，UI界面的源代码。首先我先说明一下，UI是使用开源的在我第一部分就提出来了，所以，在这里感谢开源软件码云提供。 如果喜欢也可以给开源的commit点点 star 。在这里也感谢作者。下方我也贴出几张图片，以及地址给大家下载使用，该作者也在持续更新中。下方为地址：大屏数据展示模板: 各类大屏展示模板持续更新中......原创 2021-11-13 22:44:54 · 1962 阅读 · 0 评论 -
ElasticSearch重建索引以及重建优化
1、前言我们都知道elasticSearch在创建好mapping后不能修改mapping的字段type，因为elasticSearch的底层是lucene，他是会先构建好分词，以及倒排索引等一些操作。所以，是不能修改mapping的。又是我们在工作中：比如，date类型弄成了text类型，或者相反。还有inter类型，需要变为float类型。等情况。我们总不可能将索引删除，重新创建一个index，这样会丢失数据。解决办法就是重建索引。2、重建索引所谓重建并不是删除重建创建mapping，而是使用别名原创 2020-09-14 22:59:30 · 1059 阅读 · 0 评论 -
Elasticsearch性能优化总结
1、前言用了很久的ElasticSearch终于想给自己以及大家总结一份调优文档了。我的集群是10台ElasticSearch，内存是每台16G，2core的CPU，硬件资源并不好。所以对于调优工作就更要认真做好了。如果大家有条件选择SSD就更加好，这样能大大提高ElasticSearch的速度和性能。2、内存设置由于本身的资源不好，所以设置内存极为重要。同时ElasticSearch是基于lucene，而lucene是通过内存来缓存索引数据，以提供快速的查询性能。...原创 2020-08-15 18:38:54 · 694 阅读 · 0 评论 -
实时可视化大数据项目04 -- 后端代码
1、SpringBootApplicationimport org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;/** * @author ayub */@SpringBootApplicationpublic class BigdataEsApplication { public static void mai原创 2020-07-26 17:00:20 · 1813 阅读 · 0 评论 -
实时可视化大数据项目03 -- 前端和配置
<!doctype html> 大数据经纪智慧屏 页面加载中... 大数据经纪智慧屏 智慧屏 <div class="sycm"> <原创 2020-07-26 15:12:48 · 1328 阅读 · 1 评论 -
实时可视化大数据项目02 -- 项目目录介绍
1、项目目录结构后端采用分层架构，前端springBoot整合了前端。2、目录介绍2.1、dao存放的是实体类，基本是封装好的对象，传递给前端的对象。2.2、service业务层： 封装数据请求ES的部分。2.3、supportUtils类，主要是一些配置和一些utils类2.4、webcontroller层，用于给前端调用的接口。2.5、resource主要是一些配置文件和前端的静态文件...原创 2020-07-19 16:03:09 · 972 阅读 · 0 评论 -
实时可视化大数据项目01 -- 项目介绍
1、项目架构OGG + FileBeat + Kafka + Logstash + ElaticSearch + SpringBoot + Echarts + Jquery2、项目介绍1、项目是通过beat采集业务系统的日志，发送至kafka ，Logstash解析日志存入ElaticSearch，2、另外一个数据，通过oracle内部的OGG同步至kafka，消息中中包含insert，update的状态字段。采集时区分inset和update。由于ElaticSearch具有原子性。自己设置好do原创 2020-07-15 17:43:21 · 3841 阅读 · 0 评论 -
ElasticSearch RESTFUL API的简单操作(增删改查)
1、查看状态GET /_cat/health?v2、查询索引全部数据GET /ma_2020/_search3、查询索引mappingGET /ma_2020/_mapping4、删除索引DELETE /ma_20205、创建索引PUT /ma_20206、设置mappingPUT /qhpms_retail_headpremium/_mapping{ "properties" : { "@timestamp" : { "ty原创 2020-06-03 11:41:52 · 619 阅读 · 0 评论 -
ElasticSearch进行and,or,in,not in,group by多条件组合DSL结构化查询
1、两个条件and 问题：SELECT * FROM t_test_info t WHERE t.kv.p.keyword = '123' AND t.kv.b.keyword = 'p'如果想看详情数据设置sizeGET /t_test_info/_search{ "size": 0, "from": 0, "query": { "bool": { "must": [ { "term": { "kv.p.k原创 2020-05-23 18:00:16 · 2956 阅读 · 0 评论 -
ElasticSearch中distinct,count和group by的实现
1 - distinctSELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3;{“query”: {“term”: {“user_id_type”: 3}},“collapse”: {“field”: “user_id”}}{…“hits”: {“hits”: [{“_index”: “es_qd_mkt_visitor_packet_dev_v1_20180621”,“_type”: “ad_crowd”,原创 2020-05-20 11:01:44 · 799 阅读 · 0 评论