path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 192.168.8.8,127.0.0.1
http.port: 9200
```
+ 创建数据目录，并修改权限
- ```
mkdir -p /data/elasticsearch
chown -R elasticsearch.elasticsearch /data/elasticsearch/
```
+ 启动es：systemctl start elasticsearch
* 部署安装kibana：
+ 安装kibana：rpm -ivh kibana-6.6.0-x86\_64.rpm
+ 修改配置文件：
- 修改项：
* ```
server.port: 5601
server.host: "192.168.8.8"
server.name: "db01" #自己所在主机的主机名
elasticsearch.hosts: ["http://192.168.8.8:9200"] #es服务器的ip，便于接收日志数据
保存退出
```
+ 启动kibana：systemctl start kibana
+ 查看两个服务的端口是否存在：
- netstat -anpt | grep 5601
- netstat -anpt | grep 9200
- 部署8.9服务器山的nginx和filebeat：
* 安装filebeat：
+ rpm -ivh filebeat-6.6.0-x86\_64.rpm
* 修改配置文件：
+ vim /etc/filebeat/filebeat.yml （清空源内容，直接覆盖）
- ```
filebeat.inputs: （日志来源）
- type: log （日志格式）
enabled: true （开机自启）
paths: （日志路径）
- /var/log/nginx/access.log
output.elasticsearch: （日志传送到那）
hosts: ["192.168.8.8:9200"]
```
+ 启动filebeat服务：
- systemctl start filebeat
* 安装nginx：
+ yum -y install nginx
+ 启动nginx：nginx
- 在8.8服务器上安装网站压力测试工具：
* yum -y install httpd-tools
- 2.使用ab压力测试工具测试访问
* ab -c 1000 -n 20000 http://192.168.8.9/
-c（并发数） -n（请求数）
+ 使用浏览器扩展程序登录es查看索引是否有访问数：
- 
+ 修改nginx的日志格式为json格式：
- vim /etc/nginx/nginx.conf
* 添加在http{}内：
* ```
log_format log_json '{ "@timestamp": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"up_resp_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
access_log /var/log/nginx/access.log log_json;
```
- 重启服务：systemctl restart nginx
+ 修改filebeat.yml文件，区分nginx的访问日志和错误日志
- vim /etc/filebeat/filebeat.yml
* ```
修改为：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
tags: ["access"]
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: ["error"]
output.elasticsearch:
hosts: ["192.168.8.8:9200"]
indices:
- index: "nginx-access-%{+yyyy.MM.dd}"
when.contains:
tags: "access"
- index: "nginx-error-%{+yyyy.MM.dd}"
when.contains:
tags: "error"
setup.template.name: "nginx"
setup.template.patten: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
```
- 重启服务：systemctl restart filebeat
+ 使用ab工具压力测试一下网站：
- 测试访问数据：ab -c 1000 -n 20000 http://192.168.8.9/
- 测试错误数据：ab -c 1000 -n 20000 http://192.168.8.9/444.html
- 可以看到es收集到了两个索引：
* 
+ 使用kibana图形化展示日志访问数据：
- [http://192.168.8.8:5601/]( )
- 创建索引，图形化展示：
* 
- 按照此步骤 将error错误索引页创建一下即可
+ 虽然以上环境也可以进行日志收集，但只适用于中小型公司，以下再多增加一台服务器，安装redis实现消息队列，和logstash日志采集，增加吞吐量。
+ 在8.10服务器上部署redis和logstash：
- 准备安装目录和数据目录：
* ```
mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}
```
- 下载redis安装包：
* ```
cd /data/soft
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
```
- 将软件包解压到/opt/redis\_cluster文件夹中：
* ```
tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7 /opt/redis_cluster/redis
```
- 切换目录编译安装redis：
* ```
cd /opt/redis_cluster/redis
make && make install
```
- 编写redis配置文件：
* vim /opt/redis\_cluster/redis\_6379/conf/6379.conf
+ ```
bind 127.0.0.1 192.168.8.10
port 6379
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
且后续会持续更新**
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-6VzuUeiE-1712959598588)]
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
扫一扫
1013
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
