elk套件

centos 安装elk监控
下面就是要安装一些收集日志 或者分配日志的工具，我选择的是 Filebeat 来收集日志，然后放到kafka中 让kafka这个消息队列来分配生产者消费者 然后通过Logstash 或者一个国产大神的 gohangout (及其节省性能) 来提取日志信息 然后放到es中 然后通过kibana 来展示数据信息

elk可以理解为是一套组件这个组件是帮助我们解决日志收集的信息 其中的

es:Elasticsearch 是用来存放收集来的日志信息的 也就是一个日志存放容器，

Kibana 是用来存放更好的展示数据信息的 更直观的展示

beats 和 logstash 是用来收集日志信息 然后发送到es中 ，但是logstash消耗特别厉害吃性能，但是可以做分词之类的过滤展示

整个流程图就是 ：

下面的收集 收集完成之后给es 展示 但是有时候信息量大的时候 需要加上个消息队列来进行使用 不然就会造成日志信息量过大而宕机

centos7安装es：

首先es这些组件是以来java环境的， java 开发的开源的全文搜索引擎工具 ，所以我们要现在服务器上安装jdk环境：https://www.cnblogs.com/zhaoyunlong/p/10521326.html

然后再下载es ：地址 https://www.elastic.co/downloads/

然后解压进行配置：

centos7
centos7的配置还和ccentos6的配置是不一样的

首先下载然后上传 到你的安装目录 然后解压：

首先要进行用户的创建 ，因为es是不被允许是root用户打开的，然后创建用户并且赋予他操作es的权限

创建用：useradd

	
useradd www   # 创建一个www用户

然后给与权限
chown -R www:www  es文件
 

然后进入es中的config目录下进行配置

配置elasticsearch.yml中的信息

复制代码

	cluster.name: my-application   # 你的 集群名字
	node.name: node-1　　　　　　　　# es 名字
	path.data: /data/opt/es  #  数据存放额目录

	path.logs: /data/opt/es  # 日志存放的目录
	bootstrap.memory_lock: true
	network.host: 0.0.0.0  # 修改为都可以连接
	http.port: 9200端口号

上面有些信息是被隐去的要自己去打开，目录什么的要自己设置 ，其中的存放信息的目录必须要先创建好 不然会报错

centos6
如果是centos6 版本的配置就要加上这两个：

	bootstrap.system_call_filter: false
	bootstrap.memory_lock: false

然后把 默认的 bootstrap.memory_lock: true 继续注释
然后 配置 jvm.options

默认的是centos6的配置是4g的可能内存太大 容易溢出就设置为2 或者1

	-Xms2g
	-Xmx2g

下面就要修改你的默认的配置文件中心：

	vim /etc/sysctl.conf   #单个JVM下支撑的线程数（也可以不进行配置）
	vim /etc/security/limits.conf    
	vim /etc/security/limits.d/20-nproc.conf

配置 /etc/sysctl.conf

vm.max_map_count=262144 #单个JVM下支撑的线程数数量就是262144
然后配置：/etc/security/limits.conf

这是设置 用户所有进程能打开的最大文件数量，oft nofile表示软限制，hard nofile表示硬限制，软限制要小于等于硬限制

		
* soft nofile 65536
* hard nofile 65536

www soft memlock unlimited # www是我建立的用户 这是内存锁无限制
www hard memlock unlimited # www是建立的用户 硬盘锁无限制

然后修改： （其实也不用修改centos7默认的就是一下的配置）

		
*          soft    nproc     4096
root       soft    nproc     unlimited
		

以上的三个配置centos7只需要修改第二个就可以 一般的，然后再切换到你新建立的www用户

然后到es下的bin目录输入

./elasticsearch -d

就能启动了，然后看看你的进程是否有

ps -ef | grep java

如果没有就去你的日志指定的目录下，我的是在/data/opt/es下

如果没有启动就去查看报错日志 查看日志信息 才启动就去 my-application.log 查看信息日志

因为我的日志和数据指向是同一个文件 所以modes就是我的数据的存放

然后在在浏览器中输入服务器ip和启动端口就可以访问你的es信息了 如果启动了不能访问信息就是你的防火墙的事情了

centos7关闭防防火墙：

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

安装kafka消息队列：
安装kafka的之前你要先安装zookeeper 因为kafka是以来zookeeper来运行的

安装zookeeper

下载 http://mirror.bit.edu.cn/apache/zookeeper/

然后解压之后就去进行配置 进入config中 配置信息的值

执行：

cp zoo_sample.cfg zoo.cfg
zook.cfg的配置信息如下：

基本上都是默认的配置信息

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper  # 日志存放的目录（中文不可以加入里面）
clientPort=2181  # 启动的端口
 

然后进入bin目录下启动：

	
./zkServer.sh start   # 启动
./zkServer.sh restart   # 重启 

当显示如下就是启动成功

然后查看启动情况：

./zkServer.sh status   

然后安装kafka

kafka是一个消息队列和rabbitmq 一样都是消息队列，它是一种高吞吐量的分布式发布订阅消息系统，以可水平扩展和高吞吐率而被广泛使用

首先 下载kafka：https://kafka.apache.org/downloads

还可以直接wget来下载 ：wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.1/kafka_2.11-2.1.1.tgz

然后解压完成之后久开始配置信息：

切换到你解压的kafka目录下de config进行信息的配置，

这两个配置信息是很重要的， 然后进入server.properties 来进行服务信息的配置

里面的信息都是默认的 一般只需要修改 listeners 就是监听的端口号

listeners=PLAINTEXT://localhost:9092
listeners=PLAINTEXT://:9092 # 默认的信息是这样

加上localhost是代表监听的端口就是我们本机的9092 的配置

然后其他的大部分都是默认的信息：

复制代码
broker.id=0

listeners=PLAINTEXT://localhost:9092 # 一般只需要修改这一个就可以 加上监听的端口是哪个位置的

num.network.threads=3
num.io.threads=8

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs # 放置的信息的位置

num.partitions=1
复制代码

然后zookeeper.properties 的配置如果你上面的zookeeper的性能是没有改变的时候就可以直接使用默认的，如果改变久修改默认的配置信息值

然后 你还要使用topic来进行你的分区的盘的设置 kafka的topic就相当于是kafka的盘符 你的 信息日志收集来久灌溉到kafka中

创建topic：

复制代码
首先要先进入kafka目录下的 bin目录下执行语句

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test_kafka

./kafka-topics.sh --create --zookeeper 地址:端口 --replication-factor 分区数 --partitions 消费者数 --topic test_kafka
复制代码
partitions指定topic分区数，replication-factor指定topic每个分区的副本数（可以理解为replication-factor是有多少个消费者，这个时候我创建了三个 也就是最多每次只能有三个消费者来取数据），然后你收集来的数据就可以灌输到分区中然后消费者来取数据