网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
+ rpm -ivh elasticsearch-6.6.0.rpm
+ 修改配置文件:
- vim /etc/elasticsearch/elasticsearch.yml
* ```
node.name: es1
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 192.168.8.8,127.0.0.1
http.port: 9200
```
+ 创建数据目录,并修改权限
- ```
mkdir -p /data/elasticsearch
chown -R elasticsearch.elasticsearch /data/elasticsearch/
```
+ 启动es:systemctl start elasticsearch
* 部署安装kibana:
+ 安装kibana:rpm -ivh kibana-6.6.0-x86\_64.rpm
+ 修改配置文件:
- 修改项:
* ```
server.port: 5601
server.host: "192.168.8.8"
server.name: "db01" #自己所在主机的主机名
elasticsearch.hosts: ["http://192.168.8.8:9200"] #es服务器的ip,便于接收日志数据
保存退出
```
+ 启动kibana:systemctl start kibana
+ 查看两个服务的端口是否存在:
- netstat -anpt | grep 5601
- netstat -anpt | grep 9200
- 部署8.9服务器山的nginx和filebeat:
* 安装filebeat:
+ rpm -ivh filebeat-6.6.0-x86\_64.rpm
* 修改配置文件:
+ vim /etc/filebeat/filebeat.yml (清空源内容,直接覆盖)
- ```
filebeat.inputs: (日志来源)
- type: log (日志格式)
enabled: true (开机自启)
paths: (日志路径)
- /var/log/nginx/access.log
output.elasticsearch: (日志传送到那)
hosts: ["192.168.8.8:9200"]
```
+ 启动filebeat服务:
- systemctl start filebeat
* 安装nginx:
+ yum -y install nginx
+ 启动nginx:nginx
- 在8.8服务器上安装网站压力测试工具:
* yum -y install httpd-tools
- 2.使用ab压力测试工具测试访问
* ab -c 1000 -n 20000 http://192.168.8.9/
-c(并发数) -n(请求数)
+ 使用浏览器扩展程序登录es查看索引是否有访问数:
- ![](https://img-blog.csdnimg.cn/direct/37c6bc5c1b62435e9ef8c6ba4e5fe6d8.png)
+ 修改nginx的日志格式为json格式:
- vim /etc/nginx/nginx.conf
* 添加在http{}内:
* ```
log_format log_json '{ "@timestamp": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"up_resp_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
access_log /var/log/nginx/access.log log_json;
```
- 重启服务:systemctl restart nginx
+ 修改filebeat.yml文件,区分nginx的访问日志和错误日志
- vim /etc/filebeat/filebeat.yml
* ```
修改为:
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
tags: ["access"]
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: ["error"]
output.elasticsearch:
hosts: ["192.168.8.8:9200"]
indices:
- index: "nginx-access-%{+yyyy.MM.dd}"
when.contains:
tags: "access"
- index: "nginx-error-%{+yyyy.MM.dd}"
when.contains:
tags: "error"
setup.template.name: "nginx"
setup.template.patten: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
```
- 重启服务:systemctl restart filebeat
+ 使用ab工具压力测试一下网站:
- 测试访问数据:ab -c 1000 -n 20000 http://192.168.8.9/
- 测试错误数据:ab -c 1000 -n 20000 http://192.168.8.9/444.html
- 可以看到es收集到了两个索引:
* ![](https://img-blog.csdnimg.cn/direct/857118eb692e4a78a49e3368e2e8847f.png)
+ 使用kibana图形化展示日志访问数据:
- [http://192.168.8.8:5601/]( )
- 创建索引,图形化展示:
* ![](https://img-blog.csdnimg.cn/direct/3ada765329994c98b78a92ff4ee3fafb.png)![](https://img-blog.csdnimg.cn/direct/2a5ba7f4c9dd4cd488ea0aed47b03f30.png)![](https://img-blog.csdnimg.cn/direct/e4a62901eefb4c5a8a41e0c53b53d080.png)![](https://img-blog.csdnimg.cn/direct/06ec598618604dca953d567e34a3cf2b.png)![](https://img-blog.csdnimg.cn/direct/781099878568410aacf671fb888e4138.png)
- 按照此步骤 将error错误索引页创建一下即可
+ 虽然以上环境也可以进行日志收集,但只适用于中小型公司,以下再多增加一台服务器,安装redis实现消息队列,和logstash日志采集,增加吞吐量。
+ 在8.10服务器上部署redis和logstash:
- 准备安装目录和数据目录:
* ```
mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}
```
- 下载redis安装包:
* ```
cd /data/soft
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
```
- 将软件包解压到/opt/redis\_cluster文件夹中:
* ```
tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7 /opt/redis_cluster/redis
```
- 切换目录编译安装redis:
* ```
cd /opt/redis_cluster/redis
make && make install
```
- 编写redis配置文件:
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新