ELK日志系统搭建，推荐一个GitHub项目

保存退出

3、启动kibana

systemctl start kibana

测试访问kibana和Elasticsearch

---

在8.20主机上安装nginx、filebeat

1、安装nginx：

yum install epel-release

yum install nginx

2、安装filebeat：

rpm -ivh filebeat-6.6.0-x86_64.rpm

3、修改filebeat配置output指向redis，删除配置文件原有的内容，添加下面
vim /etc/filebeat/filebeat.yml

filebeat.inputs:

• type: log
  enabled: true
  paths:

• /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: [“access”]

• type: log
  enabled: true
  paths:

• /var/log/nginx/error.log
  tags: [“error”]

setup.template.settings:
index.number_of_shards: 3

setup.kibana:

output.redis:
hosts: [“192.168.8.30”]
key: “filebeat”
db: 0
timeout: 5

启动filebeat

systemctl start filebeat

---

8.30主机上安装Redis和logstash

1、安装Redis，并启动：

准备安装和数据目录

mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}

2、下载redis安装包

cd /data/soft
wget http://download.redis.io/releases/redis-5.0.7.tar.gz

3、解压redis到/opt/redis_cluster/

tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7  /opt/redis_cluster/redis

4、切换目录安装redis

cd /opt/redis_cluster/redis
make && make install

5、修改配置文件

vim /opt/redis_cluster/redis_6379/conf/6379.conf
添加：

bind 127.0.0.1 192.168.8.30
port 6379
daemonize yes
pidfile /opt/redis_cluster/redis_6379/pid/redis_6379.pid
logfile /opt/redis_cluster/redis_6379/logs/redis_6379.log
databases 16
dbfilename redis.rdb
dir /opt/redis_cluster/redis_6379

6、启动当前redis服务

redis-server /opt/redis_cluster/redis_6379/conf/6379.conf

7、测试访问网站，登录redis，查看键值
redis-cli                #登录
keys *                    #列出所有键
type filebeat              #filebeat为键值名
LLEN filebeat            #查看list长度
LRANGE filebeat 0 -1     #查看list所有内容

8、安装logstash，收集redis的日志，提交给es
（1）安装logstash(安装包提前放在了/data/soft下)

cd /data/soft/
rpm -ivh logstash-6.6.0.rpm

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-2zihQxtI-1712516755611)]