本文介绍了如何搭建一个网站流量分析系统，包括项目环境准备、日志采集系统、离线业务系统搭建、使用Hive进行离线数据处理，以及Flume日志服务器的配置。通过这个项目，读者可以了解到网站流量数据的全链条处理流程。
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州
▲ 本章节目的
⚪ 了解网站流量项目的运行环境；
⚪ 了解网站流量项目的日志采集系统搭建；
⚪ 了解网站流量项目的离线业务系统搭建；
⚪ 了解网站流量项目的Hive做离线数据处理；
⚪ 了解网站流量项目的日志服务器——Flume连通；
一、项目环境搭建
1. 所需资源
1. IDEA 集成开发环境。
2. maven 项目管理工具。
3. tomcat 应用服务器。
2. 实现步骤
1.创建Maven工程，选择webapp骨架。
2.创建FluxAppServer和FluxLogServer两个Module，也都是Maven的webapp骨架。
3.添加本地tomcat环境。
4.指定发布到Tomcat的web工程，并指定访问的路径。
5.修改启动端口。
6.添加FluxAppServer工程相关的js文件与网页文件。
<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<script type="text/javascript" src="js/tongji.js"></script>
<title>页面A</title>
</head>
7.添加FluxLogServer工程相关文件
并在pom.xml中添加如下内容：
<dependency>
<groupId>org.apache.tomcat</groupId>
<artifactId>tomcat-servlet-api</artifactId>
<version>7.0.63</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>org.apache.flume</groupId>
<artifactId>flume-ng-core</artifactId>
<version>1.9.0</version>
</dependency>
<dependency>
<groupId>org.apache.flume.flume-ng-clients</groupId>
<artifactId>flume-ng-log4jappender</artifactId>
<version>1.9.0</version>
</dependency>
8.启动Tomcat
二、日志采集系统搭建
1. 搭建步骤
1. log4j配置说明：
log4j.rootLogger = info,stdout,flume
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apach
最低0.47元/天 解锁文章
扫一扫
873
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
