![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
lipfff
一个专注于业务与技术的java开发攻城狮
展开
-
flume从文本中读取文件到kafka
需求: 监听日志文件的末尾内容变动则把内容发到kafka.步骤:1、配置flume的配置文件flume2kafka.conf# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tail -f /opt/m..原创 2020-10-18 13:49:52 · 838 阅读 · 1 评论 -
解决elasticsearch 中UNASSIGNED问题
在测试环境中,由于某个分片损坏,导致整个集群状态为red,如下图所示:对于索引index_question_youdao分片0损坏了,导致整个集群出现问题。解决方法:1)恢复存有0分片的源节点,并加入到集群中(不强制重新分配主分片)2)使用RerouteAPI强制重分配分片-XPOST _cluster/reroute{ "commands": [ ...原创 2019-12-20 15:36:42 · 2050 阅读 · 0 评论 -
ElasticSearch监控工具 - cerebro
之前一直用的head查看索引,还有kibana,最近发现一个比较牛逼的监控工具——cerebro,传说中的高富帅,一起来体验下:安装也很简单,网上一大把。首秀极具神秘高雅感觉,让人瞬间有了反应。连接客户端地址后进行以下界面:太清楚了,节点数,分片数,副本,节点cpu使用,磁盘使用,数据量等等信息一目了然,真的是相见恨晚呀以上就是它的风采。上面的配置...原创 2019-12-19 20:36:59 · 1506 阅读 · 0 评论 -
springboot整合elk-windows版本
下载三个资源:elasticsearch-6.2.2 主要存储数据logstash-6.2.2 存储日志信息并传给elasticsearchkibana-6.2.2-windows-x86_64 用于可视化展示一、配置elasticsearchconfig/elasticsearch.ymlnetwork.host: 127.0...原创 2019-10-22 20:37:24 · 717 阅读 · 1 评论 -
elasticsearch集群数据迁移之乾坤大挪移——snapshot
对于使用elasticsearch的用户而言有个事情不可避免,也比较棘手,那就是索引库的迁移,包括它的数据、mapping等等信息,最近公司正好遇到了这个问题,需要对集群数据进行迁移,在网上查了很多资料,自己又通过自己的实际情况做了一次数据迁移工作,折腾了几天终于尘埃落定了,为此就在这里总结一下迁移的过程。一、问题背景 因为原来的服务器集群容量比较少,应用型的服...原创 2019-08-16 14:12:37 · 2808 阅读 · 4 评论 -
spring-data-elasticseach存储日期型的方法
在创建index的之后,可以设置mapping。如果mapping中没有设置date的format,那么默认为两种格式:strict_date_optional_timeepoch_millis其中新版strict_date_optional_time移除了前缀strict_。(1)date_optional_time此格式为ISO8601标准示例:2019-08-20T14...原创 2019-08-20 09:48:37 · 3988 阅读 · 2 评论 -
(3)elasticsearch集成到spingboot相关的操作
ES的原生操作可以简单直观的查询一些东西,在实际的开发过程中与框架的整合可能才是我们比较关心的。今天这边文章主要是用spring data进行操作elasticsearch,详细如下:一、添加依赖<!--Elasticsearch相关依赖--><dependency> <groupId>org.springframework.boot<...原创 2019-07-19 09:59:46 · 147 阅读 · 0 评论 -
(2)elasticseatch各种插件的安装
elasticsearch插件的安装主要是elasticsearch-head、elasticsearch-analysis-ik的安装一、Head插件的安装以下的安装只需要在一台机器上安装#更新sudo yum update -ysudo rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noa...原创 2019-07-19 09:09:48 · 158 阅读 · 0 评论 -
(1)ElasticSearch 6.2.4在linux集群安装
对于海量数据的搜索,如果单单靠数据库搜索的话效果不是太好,及时利用多线程查询数据,但是随着数据量的增加查询的速度还是跟不上,尤其是查询大批量类似数据时,关系型数据库就无可奈何了,所以全文检索就派上了用场。关于ES的基本定义,我这边就不多啰嗦了,主要在多节点安装下集群。详细步骤如下:一、安装环境 (1).jdk8 (2).centos6 (通常情...原创 2019-07-18 19:59:42 · 185 阅读 · 1 评论 -
Elasticsearch5.4.3关于javaAPI相关操作
【1】获取TransportClientpublic static TransportClient getTransportClient() throws Exception{ Settings settings = Settings.builder().put("cluster.name", "my-es").build(); //创建client ...原创 2019-05-07 17:17:15 · 525 阅读 · 0 评论