- 博客(8)
- 收藏
- 关注
RSS订阅原创 elasticsearch 查询过程
背景学习elasticsearch查询流程，了解es源码。在网络上看了很多elasticsearch的教程。对es的流程介绍都是停留在query then fetch层面。没有一篇真正细致的深入到流程的每一步。本篇博客旨在细致的介绍es search过程的整个调试流程，介绍的是query then fetch的流程。所以，默认对es有一定理解，且能搭建一个本地的调试环境。请带着以下问题去读本篇文章。elasticsearch client是如果发送请求的，又是如何接受和处理返回的结果？协调节点的接
2020-09-13 21:36:00
1556
1
原创 数据支撑的一些想法
毕业到现在，工作上一直是面对数据。有两个数据处理上的问题困扰着自己。做数据支撑（协助数据分析人员出报告），每次分析人员需要出报告都面临着需要程序员的支持，并且每次都需要程序员零时写代码（python，shell，java等）脚本代码。主要的原因在于数据分散在不同的地方存储，例如我们的业务使用了es，hbase，kafka，mysql，excel，txt等等，是否可以搭建一个系统，串通多个数据源...
2020-01-28 18:32:59
4680
原创 记一次多线程溢出问题
解决问题也是会上瘾的。按照惯例，先抛问题。问题我们线上环境，重新部署了数据处理流程的项目，但是，没过几天，大数据平台开始不正常了。表现出来的现象就是，ambari-agent节点失联，其他组件的节点挂了（hbase，hdfs），总之是各种预警。因为我是这边大数据的开发兼职运维（很惨），线上平台出现问题，赶紧去看了一波，系统性能，没问题。节点日志（后来看部分节点日志暴露了问题，所以日志真的很重...
2019-07-13 21:53:44
988
原创 lombok使用
转载一转载二lombok安装idea插件安装打开 IDEA 的 Settings 面板，并选择 Plugins 选项，然后点击 “Browse repositories”在输入框输入”lombok”，得到搜索结果，点击安装，然后安装提示重启 IDEA，安装成功;maven依赖引入在自己的项目里添加 lombok 的编译支持，在 pom 文件里面添加 dependency<d...
2019-06-17 19:36:43
749
原创 spring结合elasticsearch
spring-es.xml配置<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:ela...
2019-05-29 19:10:36
213
原创 es分词问题
今天来聊聊es的分词问题。我们的项目做的是舆情搜索，主要的技术在es。当时就到了一个很奇怪的问题，通过关键词查询，返回来的文本内容中并没有这个关键词，我们还对查询做来高亮显示。关键词是unita，返回的文本数据可以高亮的词为unit，很郁闷。倒排索引elasticsearch的底层是由lucene实现，主要的原理是倒排索引，在知乎上看到一篇对倒排索引原理介绍特别好的文章Lucene 查询原理...
2019-05-27 18:58:14
8935
原创 jar包冲突原因分析
jar包冲突原因项目leaf-verb-a（简称a）,leaf-verb-b（简称b）,leaf-verb-c（简称c）,leaf-verb-d（简称d）,leaf-verb-e（简称e）造成jar包冲突的原因主要有两种，第一种是一个项目，依赖了同一个项目的两个版本，我们用上面的四个项目来说明，即d项目有两个版本（姑且定为1.0-snapshot和2.0-snapshot），其中b项目依...
2019-05-25 17:29:00
6399
原创 spring结合hbase
依赖 <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artifactId> <version>2.5.0.RE...
2019-05-23 19:41:44
892
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人