- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ElasticSearch简单集群管理及document的crud操作实现
1 document数据格式面向文档的搜素引擎应用系统的数据结构都是面向对象的，复杂 对象数据存储到数据库中，只能拆解开来，变成多张表，每次查询的时候，需要定义相应的model或者bean格式，比较麻烦。 Es是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引，全文索引，分析聚合等功能。 Es的document是json数据...
2019-01-20 23:34:38
242
原创 ElasticSearch基础分布式架构讲解
1 Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一台分布式系统，之所以分布式，是为了应对大数据量，他把整个分布式系统的一些复杂的东西隐藏起来，我们不用去关系他们，直接可以使用es。隐藏的特性或机制：1.1 分片机制之前我们随便可以将document数据插入到es集群中，我们有没有care过数据是如何进行分片的，就是说document存放到哪一...
2019-01-20 19:01:00
578
原创 Elasticsearch安装&Kibana安装部署（Windows）
elasticsearch的安装与部署是非常简单的，win环境下直接在安装目录下解压缩，在命令行进入该目录下，直接运行elasticsearch。bat就可以启动elasticsearch了，elasticsearch默认端口号是9200，如下如：然后再浏览器地址栏中输入：http://localhost:9200/ 回车，显示如下：显示如上信息就表示elasticsearch安装...
2019-01-20 18:39:04
673
1
原创 kibana-Request Timeout after 30000ms故障解决
修改配置文件/etc/kibana/kibana.yml，将#去掉，然后将30000毫秒（也就是30s）更改成90000(90秒)，这个根据实际情况进行修改。修改完毕后，重启服务kibana连接成功显示如下：下面是elasticsearch端的状态：然后kibana连接成功后在浏览器中访问本地5601端口，显示如下：...
2019-01-20 18:35:32
15775
原创 mysql 错误 [Err] 1260 - Row * was cut by GROUP_CONCAT()
最近在处理数据的时候，进行一对多处理的时候，单个字段的数值长度超过限制，报一下错误：[Err] 1260 - Row 20 was cut by GROUP_CONCAT()网上查找资料后发现，原来GROUP_CONCAT有个最大长度的限制，超过最大长度就会被截断掉，你可以通过下面的语句获得mysql> SELECT @@global.group_concat_max_len...
2019-01-20 14:36:12
417
原创 MySql百万级数据去重保留一份，一对多合并处理
最近帮运维组处理了一份急着上架的数据，大概有140万量，下面我们看一下是怎样处理的吧。这批数据大部分都是重复的，经过处理的数据大概在30万左右，然后进行一对多合并处理，最后的数据量大概在1万左右。下面提供了两种方法或思路，第一种思路是网上提供的比较多的一种，就是通过唯一性约束的字段进行排序，然后查询处理出来的这些数据都是重复数据的第一条，所以id必然是这些重复数据最小的，然后删除调这些重复...
2019-01-20 14:30:37
1752
原创 ElasticSearch核心概念讲解
目录1、es的前世今生2、es的核心概念3、es与数据库的对比1、es的前世今生Lucene 是最先进的，功能最强大的搜索库，但是直接基于Lucene开发十分复杂，api非常复杂，体现在实现一个简单的功能要实现大量的代码，而且需要我们深入理解其底层原理，比如各种索引结构等；ElasticSearch : 基于Lucene进行封装，一定程度上隐藏了复杂性，提供了简单的api接...
2019-01-17 23:32:11
444
原创 ElasticSearch入门简介
本文简单介绍4个问题：目录1、什么是搜索；2、什么是基于关系型数据库的搜索；3、什么是全文检索（倒排索引）；4、什么是ElasticSearch；1、什么是搜索首先需要了解什么是搜索，我们一提到搜索，可能立刻想到的是百度或则谷歌，没错，这是搜索的一种，百度提供搜索的入口，我们可以搜寻我们需要的信息；另外一种搜索也是比较常见的，垂直搜索，也叫站内搜索。站内搜索有两种。第一...
2019-01-16 23:09:25
226
原创 Required request body is missing 错误解决
今天测试接口的时候报错如下：ERROR c.j.d.a.c.PartCleanController - Required request body content is missing: org.springframework.web.method.HandlerMethod$HandlerMethodParameter@8141deeforg.springframework.http.c...
2019-01-15 14:03:52
124528
9
原创 this is incompatible with sql_mode=only_full_group_by MySql报错
昨天在项目中有一个sql查询语句使用到了group by ,在开发环境和测试环境都没有问题，结果到了线上接口就宕掉了，查看了一下报了 this is incompatible with sql_mode=only_full_group_by这个错误。这个错误对于我来说还算是比较熟悉了，因为这是第二次踩坑了，第一次在半年之前了，当时是修改的mysql的配置，然后就可以了，但是这次是线上的，领导不...
2019-01-15 09:54:04
1548
spring-boot-mybatis-mysql-demo
2018-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人