![](https://img-blog.csdnimg.cn/20210202175919214.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Elastic
文章平均质量分 63
本栏为Elastic学习
<一蓑烟雨任平生>
没成功之前才华等于狗屎,只有成功了才证明你的一切!
展开
-
ES集群规划
目录(1)ES内存设置(2)单节点分片数量(3)主节点设置(1)ES内存设置因为ES是非常消耗内存的,所以规划的第一步就是考虑index的JVM内存的问题。ES中 1TB的数据大概占据2GB的内存,一般情况我们都会按照这个来进行规划。如果要更加精确的计算的话,需要我们自己去ES中查看查看内存大小。假设JVM内存配置31G, ES的内存最好不要超过32G,JVM的新生代你可以配置10G,老年区可以配置21G,index的内存最好不要超过10G,换算成索引的数据量就是5TB。如果有100T的数据,那么每个原创 2021-03-01 20:54:46 · 1078 阅读 · 0 评论 -
基于ES之业务数据分组求和TopN开发
需求:把作家所有作品的总点击数加起来求和再进行排序的一个实现1.先通过SQL语句计算出作家排行select sum(a.clickcount) countTotal,a.author,group_concat(a.name) novel_namesfrom db_novel.novel_test a group by author order by countTotal desc ;2.把SQL语句转换成ES语句语句转换地址:http://www.ischoolbar.com/EsParser原创 2021-02-10 13:05:32 · 713 阅读 · 0 评论 -
基于ES之业务数据分类聚合开发
先在novel索引上对【category】字段分类聚合,通过在kibana上的测试,出现了一些问题,此问题的原因是类型不是keyword,对需要聚合类的需要设置Type为keyword。因为keyword类型在聚合的时候是作为一个整体的,而text类型会把字分开。对以上问题的实时方案:我们重新创建一个名为【 novel_category_count 】索引,并对其mapping 的category字段类型修改为keyword。原novel的mapping:重新创建一个mapping将categ原创 2021-02-10 12:44:46 · 330 阅读 · 0 评论 -
基于ES之详情页开发
接着前面对项目的分词索引开发,下面开始做详情页的开发。主表novel表,详情页的数据表为novel_detail表novel_detail表格式如下:mysql> desc novel_detail;+--------------+--------------+------+-----+---------+----------------+| Field | Type | Null | Key | Default | Extra |+-----原创 2021-02-08 22:10:51 · 228 阅读 · 0 评论 -
基于ES之分词搜索详解
目录(1)IK分词插件安装与验证(2)IK自定义词库扩展配置(3)创建ES索引和Mapping(1)IK分词插件安装与验证分词器地址:https://github.com/medcl/elasticsearch-analysis-ik1.IK analyzer插件包的下载地址:https://elasticsearch.cn/download/2.插件安装过程进入到/opt/modules/elasticsearch/plugins目录下创建ik目录mkdir ik将下载好的插件解压到原创 2021-02-05 18:40:53 · 8584 阅读 · 3 评论 -
数据准备与数据迁移
目录一、项目数据准备二、基于LogStash数据迁移至ES三、基于MR数据迁移至HBase一、项目数据准备将备份的数据导入到mysql中create database db_novel;mysql -u root -p199911 </opt/shell/novel.sql db_novel数据迁移架构二、基于LogStash数据迁移至ESLogStash数据迁移:启动LogStash数据迁移,需要编写数据迁移脚本,模版如下:cd logstash-6.7.2bin/logs原创 2021-02-04 15:10:15 · 355 阅读 · 1 评论 -
Centos7下ELK安装部署
目录(1)ES安装(2)Logstash安装(3)Kibana安装版本使用:elasticsearch-6.7.0kibana-6.7.0-linux-x86_64logstash-6.7.0.rpmcentos7相关软件安装包下载:https://elasticsearch.cn/download/(1)ES安装赋予权限:cd /opt/softwareschmod u+x elasticsearch-6.7.0.tar.gz 解压:tar -zxvf elasticsea原创 2021-02-02 21:09:55 · 559 阅读 · 1 评论