
elasticsearch
gb4215287
这个作者很懒,什么都没留下…
展开
-
Centos7 安装 Elasticsearch7.10(不错可以试试)
1、安装JDK,Elasticsearch需要Java 7或者更高版本的支持具体安装操作请移步: Centos 7安装JDK2、安装Elasticsearch2.1、在Linux上创建elasticsearch的文件夹:mkdir /usr/local/software/elasticsearchcd /usr/local/software/elasticsearch/2.2、下载Elastaicsearch方式一:下载LINUX_X86_64文件到本地,然后把文件上传到Lin.转载 2021-04-22 16:52:30 · 351 阅读 · 0 评论 -
Centos7 单台服务器搭建Elasticsearch6.0.1集群
文章目录一.环境规划二.环境搭建1.创建用户及目录2.修改配置文件三.启动和停止服务脚本四.使用elasticsearch-head 插件查看集群状态1.安装nodejs2.拉取elasticsearch-head.git 库五.启动错误处理:一.环境规划服务器IP 服务端口 群服务端口 是否可以为主节点 是否可以为数据存储节点192.168.100.97 9201 9301 True True192.168.100.97 92...转载 2021-04-22 16:49:59 · 260 阅读 · 0 评论 -
【附10】kibana创建新的index patterns
elk整体架构图:一、logstash indexer配置文件:input { stdin{}}filter { }output { elasticsearch { hosts => ["127.0.0.1:9200"] index => "mymicroservice-%{+YYYY.MM....转载 2018-11-29 15:07:34 · 3918 阅读 · 1 评论 -
elk收集nginx日志
一 :客户端logstash.conf配置文件input { file { path => "/usr/local/nginx/logs/access.log" type => "nginxlog" start_position => "beginning" # sincedb_path => "/home/l...转载 2018-11-29 19:25:37 · 317 阅读 · 0 评论 -
filebeat Template 报错(安装的时候遇到错误了用这个方法解决的)
filebeat安装的是 filebeat-6.4.2,因为是rpm安装的,默认的日志路径是cat /var/log/filebeat/filebeat,从这里面可以看相关的配置错误。filebeat-6.4.2配置如下所示:setup.template.name: "own*"setup.template.pattern: "own*" 我用 filebeat 推送日志到 es,...转载 2018-11-29 19:33:46 · 11486 阅读 · 1 评论 -
从0开始搭建ELK及采集日志的简单应用
关于ELK的理论介绍、架构图解说,很多博客都有很详细的讲解可以参考。本文主要记录了elk的简单搭建和简单应用。 安装前准备1、环境说明:IP 主机名 部署服务 10.0.0.101(centos7) test101 jdk、elasticsearch、logstash、kibana及filebeat(filebeat用于测试采集test101服务器自身m...转载 2018-11-29 19:35:42 · 359 阅读 · 0 评论 -
将redis加入到elk日志系统里
之前在http://blog.51cto.com/chenx1242/2048014 里面,我画的那个架构图里说了整个架构可以加入redis,但是在文章里我没有写到redis怎么加进去。为了让整个系统更好的分层,是非常建议引入 Redis 的,毕竟Redis 服务器是logstash官方推荐的broker选择。Redis 作为一个缓存,能够帮助我们在主节点上屏蔽掉多个从节点之间不同日志文件的差异,...转载 2018-11-30 16:48:19 · 358 阅读 · 0 评论 -
elk+redis分布式分析nginx日志
一.elk套件介绍ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站: https://www.elastic.co/productsElasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。Logstash 是一个...转载 2018-11-30 16:49:23 · 223 阅读 · 0 评论 -
elk 第二篇 , 为elk加入redis, 替换下beats(个人感觉不错2)
为elk加入redis, 替换下beats这是elk的第二篇文章编译安装日志分析平台 elk + filebeatelk支持多种输入输出方法 ,本文章主要描述通过redis做队列中间件 ,缓解elk平台的压力使用场景数据不可控时 ,例如日志不是文件 , 而是由TCP直接推送到elk的 ,filebeats就无法使用了当然redis是可以和beats一起使用的, 例如beats读...转载 2018-11-30 16:52:28 · 395 阅读 · 0 评论 -
编译安装日志分析平台 elk + beats(个人感觉不错1)
这是elk系列的第1篇文章本文主要描述如何安装和配置elk, 并利用beats来取出数据推送到logstash,使之正常提供服务流程图开始之前假设您已经拥有一台内存至少1G的linux计算机或虚拟机并且安装了screen命令并且您应该了解screen命令的使用 , 如果不了解您可以粗略的看一下 screen简明教程下载安装包java http://www.o...转载 2018-11-30 16:58:56 · 390 阅读 · 0 评论 -
ELK自动安装脚本
一、简介ELK由Elasticsearch、Logstash和Kibana三部分组件组成;Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用kibana 是一个开源和免费的工具,...转载 2018-11-30 17:16:06 · 481 阅读 · 0 评论 -
elasticsearch与PHP版本要求
PHP 版本需求编辑Elasticsearch-PHP 6.0 需要 PHP 7.0.0 或者更高版本。另外,它还需要原生 JSON 扩展的版本为 1.3.7 或者更高版本。。来源:https://www.elastic.co/guide/cn/elasticsearch/php/current/_php_version_requirement.html...转载 2018-11-30 19:16:19 · 1582 阅读 · 0 评论 -
ElasticSearch面试 - es 在数据量很大的情况下如何提高查询效率啊?
面试题es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊?面试官心理分析这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别是有几亿条数据的时候,可能你会懵逼的发现,跑个搜索怎么一下5~10s,坑爹了。第一次搜索的时候,是5~10s,后面反而就快了,可能就几百毫秒。你就很懵,每个用户第一次访...转载 2019-05-10 09:52:33 · 973 阅读 · 0 评论 -
ElasticSearch教程——创建索引、类型、文档
ElasticSearch汇总请查看:ElasticSearch教程——汇总篇介绍索引是ElasticSearch存放数据的地方,可以理解为关系型数据库中的一个数据库。事实上,我们的数据被存储和索引在分片(shards)中,索引只是一个把一个或多个分片分组在一起的逻辑空间。然而,这只是一些内部细节——我们的程序完全不用关心分片。对于我们的程序而言,文档存储在索引(index)中。剩下的细节...转载 2018-11-29 15:05:53 · 491 阅读 · 0 评论 -
elk中kibana中如何显示写入elasticsearch的数据
写入es的数据语句如下所示:curl -H "Content-Type: application/json" -XPOST 'http://192.168.32.137:9200/system-syslog-20181129/system-syslog' -d '{"first_name":"yuan","last_name":"mu","age":88,"about&quo原创 2018-11-29 15:02:46 · 9054 阅读 · 0 评论 -
Elasticsearch 架构原理
为什么要学习架构?Elasticsearch的一些架构设计,对我们做性能调优、故障处理,具有非常重要的影响。下面将从Elasticsearch的准实时索引的实现、自动发现、rounting和replica的读写过程,shard的allocate控制使文本可以被搜索?在传统的数据库中,一个字段存一个值,但是这对于全文搜索是不足的。想要让文本中的而每个单词都可以被搜索,这意转载 2017-09-25 23:50:56 · 252 阅读 · 0 评论 -
Elasticsearch索引原理
最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方,望指明,一起探讨,学习,进步。介绍Elasticsearch 是一个分布式可扩展的实转载 2017-09-25 23:52:11 · 1170 阅读 · 0 评论 -
elasticsearch 索引存储深入详解
1、关于ES index存储在内存的问题?(1)早期ES1.X版本对ES索引存储介绍:原文地址: https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-store.html ES1.X存储模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能转载 2017-09-25 23:53:13 · 597 阅读 · 0 评论 -
Elasticsearch索引迁移的三种方式
0、引言将ES中的索引拷贝到其他ES中,或者将ES整体迁移,研究发现有两个开源的工具:elaticserch-dump和 Elasticsearch-Exporter。除此之外,logstash在索引同步、迁移方面的作用也很大。 两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下:1、elasticsearch-dump迁移1.1 elasticse转载 2017-09-01 17:12:43 · 885 阅读 · 0 评论 -
while opening read connection: jdbc:mysql message from server: Host is not allowed to connect to t
远程mysql_java.sql.SQLException: null, message from server: "Host 'xxx' is not allowed to connect最近在做一个项目,里面要用到远程mysql数据库。我想把我想要实现的功能说一下吧:1 /**2 * 是这样的功能:我的机器是A,我现在先利用我转载 2017-10-09 00:47:29 · 297 阅读 · 0 评论 -
LINUX下使用elasticsearch-jdbc工具实现MySQL同步到ElasticSearch 以及linux 64位centos系统安装jdk1.8
标签:第一步:环境匹配1)elasticsearch 2.3.3 成功安装部署 2)mysql安装成功,增删改查无误~~。 3)要保证elasticsearch-jdbc的版本要与elasticsearch的版本是一致的(下面的内容会提示下载)。否则会报错,无法进行之后的步骤。(例如elasticsearch-jdbc-2.3.3.0-dist.zip转载 2017-10-09 00:49:05 · 1650 阅读 · 0 评论 -
Composer -- PHP依赖管理的用法
1:下载 1.1:方法一: 通过PHP来安装 cd /home/composer curl -sS https://getcomposer.org/installer | php #这个命令会下载composer.phar到当前目录下 1.2:方法二:(下载地址:https://getcompose转载 2017-10-10 16:02:04 · 547 阅读 · 0 评论 -
Elasticsearch的PHP的API使用(一)
前提:在服务器上安装Elasticsearch (host:192.168.1.10) http://192.168.1.10:9200?_search?pretty 1:安装PHP的Elasticsearch的的扩展(使用composer方法) 1.1 下载composer.phar包(见composer安装软件 http://www.转载 2017-10-10 16:03:23 · 1979 阅读 · 0 评论 -
-bash: /tyrone/jdk/jdk1.8.0_91/bin/java: cannot execute binary file
问题描述:今天在linux环境下安装了一下JDK,安装成功后,打算输入java -version去测试一下,结果却出错了。错误信息:-bash: /tyrone/jdk/jdk1.8.0_91/bin/java: cannot execute binary file错误图示:解决方案:该错误原因是由于jdk的安装位数与系统安装位数不一致。查看linux安装位数方法。更换jd转载 2017-10-04 17:47:50 · 1676 阅读 · 0 评论 -
elasticsearch按照配置时遇到的一些坑 [Failed to load settings from [elasticsearch.yml]]
这里整理几个空格引起的问题.版本是elasticsearch-2.3.0 或者elasticsearch-rtf-masterException in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseExcepti转载 2017-10-04 18:05:34 · 2822 阅读 · 0 评论 -
elasticsearch6.x {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported"
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dtiove/article/details/78870607问题描述curl -XPOST 192.168.14.173:32000/test_index_1221/test_type/5 -d '{'user_name':"xiaoming"}'{"error":"Content-Type...转载 2018-11-26 15:07:50 · 737 阅读 · 0 评论 -
搭建elsticsearch集群 报错 failed to send join request to master [{data-node-0}(已经测试)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_24879495/article/details/77718032搭建elsticsearch集群的时候,先用windows 10和 ubuntu 16.04试了一下,发现可以。然后将虚拟机里的ubunut复制一份,然后一直报错如下:[2017-08-30T15:17:40,016]...转载 2018-11-29 13:45:18 · 1150 阅读 · 0 评论 -
Elasticsearch的功能、使用场景以及特点
1、Elasticsearch的功能,干什么的2、Elasticsearch的适用场景,能在什么地方发挥作用3、Elasticsearch的特点,跟其他类似的东西不同的地方在哪里1、Elasticsearch的功能(1)分布式的搜索引擎和数据分析引擎搜索:百度,网站的站内搜索,IT系统的检索数据分析:电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些;新闻网站,最转载 2017-09-08 10:06:31 · 16630 阅读 · 0 评论