2019年11月_xidianzxm

原创 SpringBoot集成ElasticSearch

1、使用方法springboot里有两个比较好用的操作ES的工具，一个是Jest（默认不生效），连接的是es的9200端口（Http Restful）。需要导入jest的工具包，(io.searchbox.client.JestClient)一个是spring data elasticsearch，前者连接的是es的9300端口（TCP连接，把自己伪装成ES的一个节点）。1) ...

2019-11-25 18:18:00 673

原创 ios TCP抓包

1、工具安装Mac15.1 ，Xcode11.2.1这一步有个小坑，我第一次执行rvictls -s 提示 rvictl: command not found。Stack Overflow上提供了两种解决方法：xcode没有安装Command Line Tools,执行命令 xcode-select --install 安装一下然后重启终端，对我无效进入/usr/bin，看有没有...

2019-11-19 17:25:00 699

原创 ELK日志解决方案

1、方案整体设计FileBeats+Logstash+ElasticSearch+Kibana1)ElasticSearch简称ES，用来做日志数据的存储，当然也可以存储其他数据，ES是互联网应用全文检索的大杀器。2)LogStash用来做日志的收集、整理、拆分，负责将数据存储到ES中。由于Logstash本身消耗资源较多，因此官方建议使用Filebeat来进行日志收集。...

2019-11-15 14:04:00 725

原创 Kibana

1、Kibana介绍Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示E...

2019-11-14 17:47:00 136

原创 Filebeat使用

1、Beat家族Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后在Kibana中将其可视化。2、FileBeat安装2.1 安装https://www.elastic.co/cn/downloads/beats/filebeat直接下载，解压2.2 配置配置文件：filebeat.yml1). ...

2019-11-14 15:29:00 175

原创 ElasticSearch3：RestAPI

1、设置分片数和副本数es7默认主分片数和主分片副本数都为1，通过 default_template 指定分片数PUT http://192.168.8.101:9200/_template/default_template{ "index_patterns" : ["*"], "settings": { "number_of_shards": 3, "n...

2019-11-12 18:40:00 106

原创 ElasticSearch1:基本概念

ElasticSearch的基本概念es基本概念：Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式NRT:Nearly Real Time近实时查询，插入数据到查询时间大概为1秒延时基于lucene开发的分布式全文检索框架，es存储和查询的数据格式是json文档：Document es中最小的数据单元，一个Document...

2019-11-12 17:22:00 88

原创 Linux中soft nproc 、soft nofile和hard nproc以及hard nofile配置

Linux中soft nproc 、soft nofile和hard nproc以及hard nofile配置"soft" 和 "hard" 的区别soft xxx : 代表警告的设定，可以超过这个设定值，但是超过后会有警告。 hard xxx : 代表严格的设定，不允许超过这个设定的值。如：soft 设为1024，hard设为2048 ，则当你使用数在1~1024之间...

2019-11-08 16:53:00 426

原创 Linux系统中sysctl命令详解

Linux系统中sysctl命令详解1、介绍sysctl命令用于运行时配置内核参数，这些参数位于/proc/sys目录下。sysctl配置与显示在/proc/sys目录中的内核参数。可以用sysctl来设置或重新设置联网功能，如IP转发、IP碎片去除以及源路由检查等。用户只需要编辑/etc/sysctl.conf文件，即可手工或自动执行由sysctl控制的功能。2、命令格式：...

2019-11-08 16:46:00 508

原创 Linux 最大进程数

前言使用环境：centos 7系统一、查看用户打开的最大进程数ulimit -amax user processes (-u) #系统限制某用户下最多可以运行多少进程或线程[root@ip101 config]# ulimit -acore file size (blocks, -c) 0data seg size ...

2019-11-08 15:45:00 268

原创 ES节点分析

ES集群概念集群一个集群cluster由一个或者多个节点组成，具有相同的cluster.name，协同工作，分项数据和负载。当有新的节点加入或者删除了一个节点时，集群回感知到并能够平衡数据。ElasticSearch中可以监控很多信息，有一个最重要的就是集群健康。集群健康有三个状态：green（所有主要分片和复制分片都可用），yellow（所有主要分片可用，但不是所有复制分片都...

2019-11-01 09:12:00 328

xidianzxm