论坛日志处理项目总结

最新推荐文章于 2023-01-28 10:20:56 发布
最新推荐文章于 2023-01-28 10:20:56 发布
阅读量1.6k 收藏 6
点赞数 1
分类专栏： 大数据 hadoop 文章标签： hadoop hive sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012432611/article/details/50360457
版权

项目描述

通过对黑马技术论坛的apache common日志进行分析，
计算论坛关键指标，供运营者决策。

数据情况

每行记录有5部分组成：
1.访问ip
2.访问时间
3.访问资源
4.访问状态
5.本次流量

more access_2013_05_30.log

27.19.74.143 - - [30/May/2013:17:38:20 +0800] “GET /static/image/common/faq.gif HTTP/1.1” 200 1127
110.52.250.126 - - [30/May/2013:17:38:20 +0800] “GET /data/cache/style_1_widthauto.css?y7a HTTP/1.1” 200 1292
27.19.74.143 - - [30/May/2013:17:38:20 +0800] “GET /static/image/common/hot_1.gif HTTP/1.1” 200 680
27.19.74.143 - - [30/May/2013:17:38:20 +0800] “GET /static/image/common/hot_2.gif HTTP/1.1” 200 682
27.19.74.143 - - [30/May/2013:17:38:20 +0800] “GET /static/image/filetype/common.gif HTTP/1.1” 200 90
110.52.250.126 - - [30/May/2013:17:38:20 +0800] “GET /source/plugin/wsh_wx/img/wsh_zk.css HTTP/1.1” 200 1482
110.52.250.126 - - [30/May/2013:17:38:20 +0800] “GET /data/cache/style_1_forum_index.css?y7a HTTP/1.1” 200 2331
110.52.250.126 - - [30/May/2013:17:38:20 +0800] “GET /source/plugin/wsh_wx/img/wx_jqr.gif HTTP/1.1” 200 1770

关键指标

  1. 浏览量PV
    定义：页面浏览量即为PV(Page View)，是指所有用户浏览页面的总和，一个独立用户每打开一个页面就被记录1 次。
    分析：网站总浏览量，可以考核用户对于网站的兴趣，就像收视率对于电视剧一样。但是对于网站运营者来说，更重要的是，每个栏目下的浏览量。
    计算公式：记录计数
  2. 注册用户数
    计算公式：对访问member.php?mod=register的url，计数
  3. IP数
    定义：一天之内，访问网站的不同独立IP 个数加和。其中同一IP无论访问了几个页面，独立IP 数均为1。
    分析：这是我们最熟悉的一个概念，无论同一个IP上有多少电脑，或者其他用户，从某种程度上来说，独立IP的多少，是衡量网站推广活动好坏最直接的数据。
    公式：对不同ip，计数
  4. 跳出率
    定义：只浏览了一个页面便离开了网站的访问次数占总的访问次数的百分比，即只浏览了一个页面的访问次数 / 全部的访问次数汇总
    计算公式：(1)统计一天内只出现一条记录的ip，称为跳出数
    (2)跳出数/PV
  5. 版块热度排行榜
    定义：版块的访问情况排行。
    分析：巩固热点版块成绩，加强冷清版块建设。同时对学科建设也有影响。
    计算公式：按访问次数统计排序

开发步骤

1.使用hdfs shell把日志数据导入到hdfs中
2.对数据进行清洗
3.使用hive进行数据的多维分析
5.把hive分析结果使用sqoop导出到mysql中
6.使用脚本实现定时完成任务

1，数据上传
hadoop fs -put /apache_logs/*   /hmbbs_logs

2，使用Mapreduce对HDFS中的原始数据进行清洗，过滤数据，并把结果输出到hdfs

//过滤静态信息
            if(parsed[2].startsWith("GET /static/")||parsed[2].startsWith("GET /uc_server")){
                return;
            }
            //去掉开头的特定格式字符串
            if(parsed[2].startsWith("GET /")){
                parsed[2] = parsed[2].substring("GET /".length());
            }
            else if(parsed[2].startsWith("POST /")){
                parsed[2] = parsed[2].substring("POST /".length());
            }
            //过滤结尾的特定格式字符串
            if(parsed[2].endsWith("HTTP/1.1")){
                parsed[2] = parsed[2].substring(0, parsed[2].length()-"HTTP/1.1".length());
            }
package hmbbs;

import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;


public class HmbbsCleaner extends Configured implements Tool{
//  static final String INPUT_PATH = "hdfs://chaoren:9000/hmbbs_logs/access_2013_05_30.log";
//  static final String OUT_PATH = "hdfs://chaoren:9000/hmbbs_cleaned";

    @Override
    public int run(String[] args) throws Exception {
        final Job job = new Job(new Configuration(), HmbbsCleaner.class.getSimpleName());
        job.setJarByClass(HmbbsCleaner.class);
        //1.1 指定输入文件路径
        FileInputFormat.setInputPaths(job, args[0]);
        //指定哪个类用来格式化输入文件
        job.setInputFormatClass(TextInputFormat.class);

        //1.2指定自定义的Mapper类
        job.setMapperClass(MyMapper.class);
        //指定输出<k2,v2>的类型
        job.setMapOutputKeyClass(LongWritable.class);
        job.setMapOutputValueClass(Text.class);



        //2.2 指定自定义的reduce类
        job.setReducerClass(MyReducer.class);
        //指定输出<k3,v3>的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        //2.3 指定输出到哪里
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        //把代码提交给JobTracker执行
        job.waitForCompletion(true);
        return 0;
    }

    public static void main(String[] args) throws Exception{
        ToolRunner.run(new HmbbsCleaner(), args);
    }






    static class MyMapper extends Mapper<LongWritable, Text, LongWritable, Text>{
        LogParser logParser = new LogParser();
        Text v2 = new Text();
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, LongWritable, Text>.Context context)
                throws IOException, InterruptedException {
            // 注：log格式如下
            //27.19.74.143 - - [30/May/2013:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127
            String[] parsed = logParser.parse(value.toString());
            //过滤静态信息
            if(parsed[2].startsWith("GET /static/")||parsed[2].startsWith("GET /uc_server")){
                return;
            }
            //去掉开头的特定格式字符串
            if(parsed[2].startsWith("GET /")){
                parsed[2] = parsed[2].substring("GET /".length());
            }
            else if(parsed[2].startsWith("POST /")){
                parsed[2] = parsed[2].substring("POST /".length());
            }
            //过滤结尾的特定格式字符串
            if(parsed[2].endsWith("HTTP/1.1")){
                parsed[2] = parsed[2].substring(0, parsed[2].length()-"HTTP/1.1".length());
            }

            v2.set(parsed[0]+"\t"+parsed[1]+"\t"+parsed[2]+"\t");
            context.write(key, v2);

        }
    }

    static class MyReducer extends Reducer<LongWritable, Text, Text, NullWritable>{
        @Override
        protected void reduce(LongWritable k2, Iterable<Text> v2s,
                Reducer<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException {
            for (Text v2 : v2s) {
                context.write(v2, NullWritable.get());
            }
        }
    }


}



class LogParser {   
    public static final SimpleDateFormat FORMAT = new SimpleDateFormat("d/MMM/yyyy:HH:mm:ss", Locale.ENGLISH);
    SimpleDateFormat dateformat1=new SimpleDateFormat("yyyyMMddHHmmss");//添加
    public static void main(String[] args) throws ParseException {
        final String S1 = "27.19.74.143 - - [30/May/2013:17:38:20 +0800] \"GET /static/image/common/faq.gif HTTP/1.1\" 200 1127";
        LogParser parser = new LogParser();
        parser.parseDateFormat("30/May/2013:17:38:20");
        final String[] array = parser.parse(S1);
        System.out.println("样例数据： "+S1);
        System.out.format("解析结果：  ip=%s, time=%s, url=%s, status=%s, traffic=%s", array[0],array[1], array[2], array[3], array[4]);
                                                            // parser.parseDateFormat(array[1]).toLocaleString()被替换为array[1]
    }
    /**
     * 解析英文时间字符串
     * @param string
     * @return
     * @throws ParseException
     */
    private  Date parseDateFormat(String string){
        Date parse = null;
        try {
            parse = FORMAT.parse(string);
        } catch (ParseException e) {
            e.printStackTrace();
        }
        return parse;
    }
    /**
     * 解析日志的行记录
     * @param line
     * @return 数组含有5个元素，分别是ip、时间、url、状态、流量
     */
    public String[] parse(String line){
        String ip = parseIP(line);
        String time = parseTime(line);
        String url = parseURL(line);
        String status = parseStatus(line);
        String traffic = parseTraffic(line);

        return new String[]{ip, time ,url, status, traffic};
    }

    private String parseTraffic(String line) {
        final String trim = line.substring(line.lastIndexOf("\"")+1).trim();
        String traffic = trim.split(" ")[1];
        return traffic;
    }
    private String parseStatus(String line) {
        final String trim = line.substring(line.lastIndexOf("\"")+1).trim();
        String status = trim.split(" ")[0];
        return status;
    }
    private String parseURL(String line) {
        final int first = line.indexOf("\"");
        final int last = line.lastIndexOf("\"");
        String url = line.substring(first+1, last);
        return url;
    }
    private String parseTime(String line) {
        final int first = line.indexOf("[");
        final int last = line.indexOf("+0800]");
        String time = line.substring(first+1,last).trim();
        Date date = parseDateFormat(time);  //添加

        return dateformat1.format(date);//添加

    }
    private String parseIP(String line) {
        String ip = line.split("- -")[0].trim();
        return ip;
    }

}

3.把项目jar包上传到服务器

如果上面没有做数据上传操作，可以执行下面脚本完成数据上传和清洗任务，注意这个脚本要先赋予执行权限chmod u+x upload_to_hdfs

vi /apache_logs/upload_to_hdfs.sh
     #!/bin/sh
     #upload logs to hdfs
     #get yesterday format string
    #yesterday=`date --date='1 days ago' +%Y_%m_%d`
    yesterday=$1  #这个1表示我们执行这个脚本时传进的第          一个参数
    hadoop fs -put /apache_logs/access_${yesterday}.log   /hmbbs_logs
    hadoop jar /apache_logs/cleaned.jar  /hmbbs_logs/access_${yesterday}.log  /hmbbs_cleaned/${yesterday}

执行脚本

   upload_to_hdfs.sh  2013_05_30

3.使用hive进行数据的多维分析

建立一个外部分区表

CREATE EXTERNAL TABLE hmbbs(ip string, atime string, url string) PARTITIONED BY (logdate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/hmbbs_cleaned';

增加分区

ALTER TABLE hmbbs ADD PARTITION(logdate='2013_05_30') LOCATION '/hmbbs_cleaned/2013_05_30';
统计每日的pv，代码如下
      CREATE TABLE hmbbs_pv_2013_05_30 AS SELECT COUNT(1) AS PV FROM hmbbs WHERE logdate='2013_05_30';
       统计每日的注册用户数，代码如下
       CREATE TABLE hmbbs_reguser_2013_05_30 AS SELECT COUNT(1) AS REGUSER FROM hmbbs WHERE logdate='2013_05_30' AND INSTR(url,'member.php?mod=register')>0;
       统计每日的独立ip，代码如下
      CREATE TABLE hmbbs_ip_2013_05_30 AS SELECT COUNT(DISTINCT ip) AS IP FROM hmbbs WHERE logdate='2013_05_30';
       统计每日的跳出用户，代码如下
       CREATE TABLE hmbbs_jumper_2013_05_30 AS SELECT COUNT(1) AS jumper FROM (SELECT COUNT(ip) AS times FROM hmbbs WHERE logdate='2013_05_30' GROUP BY ip HAVING times=1) e;
 ```
把以上四张表的内容整合到一张表中，之后删除这四张表
 ```
       把每天统计的数据放入一张表
       CREATE TABLE hmbbs_2013_05_30 AS SELECT '2013_05_30', a.pv, b.reguser, c.ip, d.jumper FROM hmbbs_pv_2013_05_30 a JOIN hmbbs_reguser_2013_05_30 b ON 1=1 JOIN hmbbs_ip_2013_05_30 c ON 1=1 JOIN hmbbs_jumper_2013_05_30 d ON 1=1 ;

使用sqoop把数据导出到mysql中

首先在mysql中创建一张表
mysql>use hmbbs;
mysql> create table hmbbs_logs_stat(logdate varchar(24) , pv int , reguser int ,jumper int );
使用sqoop导出到Mysql
sqoop export --connect jdbc:mysql://chaoren:3306/hmbbs --username root --password admin --table hmbbs_logs_stat --fields-terminated-by '\001'  --export-dir '/user/hive/warehouse/hmbbs_2013_05_30'

使用脚本完成以上任务

初始化脚本

系统刚上线的时候执行一次初始化脚本，hmbbs_init.sh 只需执行一次，它把咱们部署项目日期之前所有的日志数据进行清洗，这通过循环调用任务核心文件hmbbs_core.sh来完成，效果就是把过去每一 天的日志数据清洗好放到单独的一个hive目录下。

vi hmbbs.init.sh
#!/bin/sh
s1=`date --date="$1"  +%s`  #  $s1是我们执行这个初始化脚本时传进来的以前的日志数据的起始日期！
s2=`date +%s`
s3=$((($s2-$s1)/3600/24))  #获得从$s1到今天的天数。
for ((i=$s3; i>0; i--))   #循环调用清洗文件来清洗过去的日志并导出到mysql
do
  tmp=`date --date="$i days ago" +%Y_%m_%d`
  hmbbs_core.sh $tmp
done
执行项目核心任务的脚本
vi hmbbs_core.sh
#!/bin/sh

#get yesterday format string
#yesterday=`date --date='1 days ago' +%Y_%m_%d`
yesterday=$1

#upload logs to hdfs
hadoop fs -put /apache_logs/access_${yesterday}.log  /hmbbs_logs

#cleaning data
hadoop jar /apache_logs/cleaned.jar  /hmbbs_logs/access_${yesterday}.log  /hmbbs_cleaned/${yesterday}  1>/dev/null


#alter hive table and then add partition to existed table
hive -e "ALTER TABLE hmbbs ADD PARTITION(logdate='${yesterday}') LOCATION '/hmbbs_cleaned/${yesterday}';"

#create hive table everyday
hive -e "CREATE TABLE hmbbs_pv_${yesterday} AS SELECT COUNT(1) AS PV FROM hmbbs WHERE logdate='${yesterday}';"
hive -e "CREATE TABLE hmbbs_reguser_${yesterday} AS SELECT COUNT(1) AS REGUSER FROM hmbbs WHERE logdate='${yesterday}' AND INSTR(url,'member.php?mod=register')>0;"
hive -e "CREATE TABLE hmbbs_ip_${yesterday} AS SELECT COUNT(DISTINCT ip) AS IP FROM hmbbs WHERE logdate='${yesterday}';"
hive -e "CREATE TABLE hmbbs_jumper_${yesterday} AS SELECT COUNT(1) AS jumper FROM (SELECT COUNT(ip) AS times FROM hmbbs WHERE logdate='${yesterday}' GROUP BY ip HAVING times=1) e;"
hive -e "CREATE TABLE hmbbs_${yesterday} AS SELECT '${yesterday}', a.pv, b.reguser, c.ip, d.jumper FROM hmbbs_pv_${yesterday} a JOIN hmbbs_reguser_${yesterday} b ON 1=1 JOIN hmbbs_ip_${yesterday} c ON 1=1 JOIN hmbbs_jumper_${yesterday} d ON 1=1;"

#delete hive tables
hive -e "drop table hmbbs_pv_${yesterday};"
hive -e "drop table hmbbs_reguser_${yesterday};"
hive -e "drop table hmbbs_ip_${yesterday};"
hive -e "drop table hmbbs_jumper_${yesterday};"


#sqoop export to mysql
sqoop export --connect jdbc:mysql://hadoop0:3306/hmbbs --username root --password admin --table hmbbs_logs_stat --fields-terminated-by '\001' --export-dir '/user/hive/warehouse/hmbbs_${yesterday}'

#delete hive tables
hive -e "drop table hmbbs_${yesterday};"
以后每天都自动执行的脚本，把它配置到crontab中
vi hmbbs_daily.sh
#!/bin/sh

yesterday=`date --date='1 days ago' +%Y_%m_%d`
hmbbs_common.sh $yesterday
配置到crontab中定时执行
crontab -e 
* 1 * * * /apache_logs/hmbbs_daily.sh
岸芷汀兰whu
关注
专栏目录
网站日志分析项目的总结以及性能优化
weixin_43740680的博客
07-18 274
项目总结及性能优化 1.HDFS： （1）DataNode存储模式： 系统分区： 1-2T 不做raid NAMENODE: 1-2T 做raid DataNode: 大部分的存储 不做raid （2）定期清理hdfs的tmp目录 （3）做hdfs的负载均衡 sbin/start-balancer.sh sbin/stop-balancer.s...
日志分析总结
lcy_ltpsr的专栏
12-31 469
本文对日志分析做了相关的总结。
项目总结——日志
慢慢的长大
01-16 292
目的： 1.跟踪业务执行过程，流转数据，消耗时间 2.对异常信息的打印，方便排查问题 3.跟普通System.out.println相比，增加了日志级别管理，更加精细 日志类型： 常用的类型：error 、warn、info、debug（按日志严重级别排序） error：异常处理，try catch之后，打印error日志信息，便于查找流程中的异常信息。 warn：需要程序员关...
web日志分析总结
07-21
面对大量日志时，我们该如何处理分析日志的一个大体思路
项目总结
Android_Want
06-12 2437
通过对这个项目的练习,我学会了拿到需求文档不要立马开始着手写测试用例对项目步骤的深度分析,把各种尽可能出现的问题,出现的可能性都考虑全面,并且步骤写清晰,写全面并且仔细将需求文档文档阅读一遍，记录不明白的地方及关键测试点，然后再来一遍，仔细分析各个模块的功能，找出所有功能，并列出主要测试点等对需求进行了头脑风暴般的整理之后，此时已对测试系统的功能很清楚了，再着手开始写测试用例1.从需求开始，细读需...
C#日志封装类，队列方式处理
04-30
在IT行业中，日志记录是软件开发中的一个关键部分，它可以帮助开发者跟踪应用程序的运行状态，定位和解决问题。...在实际项目中，这样的日志处理方案能够帮助快速定位问题，提升软件的稳定性和用户体验。
AOP日志处理
03-20
总结起来，Spring AOP提供了一种高效、模块化的方式来实现日志记录，使得日志处理代码不会污染业务逻辑。通过定义切面和通知，我们可以轻松地控制日志的生成时机和内容，为系统的稳定运行和问题定位提供了有力支持。...
python使用装饰器作日志处理的方法
09-19
总结来说，Python装饰器在日志处理中扮演着重要角色，它们可以方便地在函数执行前后插入日志记录代码，提高代码的可读性和可维护性。`logger` 装饰器主要用于捕获和记录异常，而 `loggerInFile` 装饰器则更进一步，...
python对日志进行处理的实例代码
09-20
总结来说，Python的`logging`模块提供了一种灵活且强大的日志处理方案。通过自定义配置，我们可以实现日志的输出、级别控制、文件滚动等功能，这对于软件的调试、维护和问题追踪都具有很大的帮助。在实际项目中，...
测试日志分析报告
07-12
测试日志分析报告，这是一份日志分析报告，采用echarts绘图
一个简单的论坛项目，参考使用
08-21
一个简单的论坛项目 SSM+jQuery+layUI,数据库在项目SQL文件夹内，使用前导入即可，开发环境 Idea，Tomcat。具体详见 https://blog.csdn.net/orochi1972/article/details/81151401
web项目的一个论坛
04-27
一个论坛，java，web，管理员登陆就可以使用，里面有在线交流功能
hadoop 日志案例资源 show.log
04-16
http://blog.csdn.net/manageer/article/details/51169742 本博客中用到
java web项目——BBS论坛（程序源论坛）
04-23
java web项目——BBS论坛，数据库mysql，项目详细代码，另附文档说明，步骤不懂可以单独发视频讲解。
项目日志20190718（写20190717的）
cofeeFang的博客
07-18 851
今日实收640左右 先写一下，昨日的情况和我思考的实现。 1 我打印出了海报， 新店开张为了洗旧迎新，今日凡到店购买 新品（果咖、萃茶、酸奶、黑糖姜茶）均七折优惠。 明日到店购买，全场前7杯免费。7到27杯4折。 27到57杯5折优惠，57杯以后7折优惠，扫码加微信群成为扫码成为会员更有7代10元优惠券拿走，新骑士老虎茶，激情夏日，惊喜不断，惊七十七。 （ps： 类似如此，会后放图） 2 找了一...
Hadoop实战: 论坛点击流日志分析
Oeljeklaus的博客
06-04 4480
简介        网站点击流日志数据，比如，点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据，可以获知许多对网站运营至关重要的信息。采集的数据越全面，分析就能越精准。项目主要使用的技术有MapReduce，Hive，Sqoop，Spring，SpringMVC，Mybatis，Echarts；其中，在数据规整和ET...
论坛项目的总结
邹创
09-17 957
上一周做了一个论坛，实现了登录、注册、发帖、回复等小小的一些功能。自己感觉还是比较良好的。         这个项目用到的新知识有：自定义控件，母版，DataSet和Repeater，GridView绑定数据，强类型DataSet，父表、子表，多语言，本地资源，全局资源，主题切换，css，导航(SiteMapPath，web.sitemap), web.config等。         不足：
论坛交流项目总结
weixin_45105773的博客
01-28 500
论坛交流项目总结
上传自定义日志_处理前端项目中的日志信息
最新发布
05-24
处理前端项目中的日志信息是一个非常重要的任务，它可以帮助我们更好地理解应用程序的运行情况，以及及时发现潜在的问题。下面介绍如何上传自定义日志： 1. 定义日志格式 首先，我们需要定义日志的格式。一般来说...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值