MOOC网站日志分析

最新推荐文章于 2024-07-24 15:33:11 发布

Vicky_进阶之路

最新推荐文章于 2024-07-24 15:33:11 发布

阅读量466

点赞数

本文链接：https://blog.csdn.net/weixin_40498384/article/details/87876871

版权

网站日志

什么是网站日志

日志：网络设备、系统及服务程序等，在运作时会产生的一个叫log的事件记录。它记载着日期、时间、使用者及动作等相关操作描述

网站日志：网站在运行过程中产生的日志，包括系统日志和程序日志。

系统日志：一般时网站所基于的服务器容器锁自动生成的日志，如访问日志，系统错误日志等等
程序日志：由用户在程序中自定义构建

网站日志分析的重要性

网站日志本身没有太大价值，而当我们对其进行分析并利用的时候会产生很大价值

通过对网站日志的分析，我们可以了解：

网站的运行状况：(如PV，UV)
网站的安全状况：（如恶意攻击，密码暴力破解）
网站的运营情况：（如搜索引擎流量来源）
网站的用户信息：（如操作系统，浏览器）

以上分析可以提供决策支持，比如增加服务器，提升网站安全，修改营销策略等。

网站日志分析的一般流程

数据采集：容器自动收集：Tomcat Nginx

数据处理：清理、转换、抽取 SQL JAVA PYTHON HADOOP

数据展现：图表化，Tableau D3.js python

结果处理：程序优化、服务器调整、搜索引擎SEO优化

网站访问日志搜集-nginx

nginx是一个高性能的HTTP和反向代理服务器

修改nginx配置文件：conf/nginx.conf,我们只要增加access_log即可，如果想配置访问日志的格式，可用log_format

access_log logs/access.log
# 增加格式名称
access_log logs/access.log combined；
# 增加了如下内容IP地址，远程用户名，本地服务器时间，请求地址，请求状态，发送流量，链接来源，用户的客户端信息
log_format combined'$remote_addr=$remote_user[$time_local]'
'"$request" $status $body_bytes_sent' '"$http_referer""$http_uset_agent"'；

tomcat

Tomcat是一种被广范使用的免费的开放源代码的Web应用服务器

修改tomcat的配置文件：conf/sever.xml找到最下面的Accesslog配置，默认被注释了，放开注释tomcat可以自动搜集访问日志。

# 配置主机名，app所在路径
<Host name="localhost" appBase="webapps" unpackWARS="true" autoDePloy="true">
  # 设置默认日志存放目录 
  <Value className="org.apache.catalina.values.AccessLogValue" directory="log"
        # 日志存储的文件名
        prefix="localhost_access.log" suffix=".txt"
        # 配置显示日志的格式
        pattern="%h %l %u %t ;%r&quot; %s %b" />
</ Host>

以 pattern="%h %l %u %t " %s %b"为例，对比以下表格

%a - 远程IP地址	%A-本地IP地址
%b - 发送的字节数，不包括HTTP头，如果为0则为“-”	%B - 发送的字节数，不包括HTTP头
%h - 远程主机名	%H - 请求协议
%l - 远程逻辑从identd的用户名（总是返回“-”）	%m - 请求方法
%p - 本地端口	%q - 查询字符串
%r - 第一行的要求	%s - 响应的HTTP状态代码
%S - 用户会话ID	%t - 日期和时间，在通用日志格式
%u - 远程用户身份验证	%U - 请求的URL路径
%v - 本地服务器名称	%D - 处理请求的时间（以毫秒为单位）
%T - 处理请求的时间（以秒为单位）	% I - 当前请求的线程名称