![](https://img-blog.csdnimg.cn/978b97694a3e4eaeba5e91b0872ab114.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
关于日志流量监控预警小小项目
文章平均质量分 89
这是有关日志流量监控预警平台小项目思路记录处
臭nian
脑袋瓜子笔记收集处
展开
-
关于日志流量监控预警小小项目 | Flask日志监控脚本
Flask日志监控脚本现在要写一个任务去监控每一秒钟的带宽值(每一分钟去监控三分钟之前的日志)现在就新增一个task需求分析:请求flask的监控项api接口,然后获取monitor数据表的数据---》request.get(“http://x.x.x.x/v1/monitor”)查询数据库原始日志nginxlog三分钟之前的日志 然后放入dataframe循环获取监控项数据表里的数据,依次从dataframe去获取原始日志有没有出发邮件告警也可以生成celer原创 2022-03-01 13:32:41 · 3789 阅读 · 0 评论 -
关于日志流量监控预警小小项目 | kafka vs redis
而关于客户端的请求:md5的做法需要先实例化一个然后再updaterequest可以自动识别params 于是我们给params字典添加内容就相当于再url?后面指定参数 可以自动识别转化的'Aurhorization':'Basic YXBpOg==',这一段的加密内容是api:Request连接url的时候前面要加上http://具体代码:import requestsimport jsonfrom hashlib import md5appid="fengqi.原创 2022-03-01 13:30:33 · 1459 阅读 · 0 评论 -
关于日志流量监控预警小小项目 | 对数据库的管理工具:migrate
manage.py的具体内容:#命令行管理flask#flask_script flask的命令行管理工具#安装 pip install flask_script# 首先,创建一个Python模板运行命令脚本,可起名为manager.py;# 在该文件中,必须有一个Manager实例,Manager类追踪所有在命令行中调用的命令和处理过程的调用运行情况;# Manager只有一个参数——Flask实例,也可以是一个函数或其他的返回Flask实例;# 调用manag...原创 2022-03-01 13:28:17 · 530 阅读 · 0 评论 -
关于日志流量监控预警小小项目 | 在flask里面和数据库交互 标准化返回
在flask里面和数据库交互:使用orm对数据库进行操纵(orm的底层还是pymysql)orm: object relational mapping(对象关系映射)flask不需要和复杂的sql语句打交道 只需要操控orm对象就可以了orm就是用来将数据库里的表结构映射成模型类类产生的对象就是数据库里的每一行记录配置文件setting里面添加数据库配置:第一行:连接数据库SQLALCHEMY_DATABASE_URI =用户名:密码@数据库主机/数据库?字符集原创 2022-03-01 13:24:10 · 738 阅读 · 0 评论 -
关于日志流量监控预警小小项目 | flask
前半部分架构已经实现了 后半部分Filebeat装在nginx存在的机器里面所用版本:Nginx网站只是为了模拟环境 产生日志flask:是python里面比较出名的web框架主要是看数据包的走向浏览器开发者工具Web服务都是基于http协议的http(超文本传输协议)(hyper text transfer protocol)传输的是超文本(这里的超文本就是源代码) 传输的是源代码 本地拿到了之后当地运行http协议:1991发布第一原创 2022-03-01 13:20:24 · 2564 阅读 · 0 评论 -
关于日志流量监控预警小小项目 | 环境基础 2
Mysql:方便数据的持久化MySQL的内容:安装 版本:5.7.34 二进制安装 商业版 收费 社区版 免费 MySQL支持分布式和集群 如:阿里 腾讯 百度 美团 小米等都是用的MySQL 脚本安装 安装包去mysql官网 建表建库库在mysql里面就相当于一个文件夹,是存放数据的地方建库:create database 库名;查库:use 库名;#创建表create table nginxlog (id int primar...原创 2022-03-01 13:16:21 · 292 阅读 · 0 评论 -
关于日志流量监控预警小小项目 | 环境及基础 1
环境及基础:web集群:实现web功能的很多台机器每次访问都会记录日志(access 日志)cdn:内容分发网络(ContentDeliveryNetwork),也就是缓存,有的话直接返回,没有的话就回源,把它缓存下来,下次访问就快了cdn的日志可以定时同步到总部的日志里面去无论写代码还是做架构,没有什么问题是加入中间层解决不了的!!!!一般会是去购买cdn服务(cdn按流量计费)带宽的95值:也就是最小带宽到最大带宽的百分之九十五的位置若是c..原创 2022-03-01 13:14:03 · 3673 阅读 · 0 评论