海量Web日志分析（MR实现）

已于 2022-02-10 11:42:49 修改
阅读量1.4k 收藏 8
点赞数 3
分类专栏： hadoop_MapReduce 文章标签： mr
于 2022-02-09 23:22:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_49485313/article/details/122851732
版权

海量Web日志分析（MR实现）

海量Web日志分析（MR实现）

代码需求

实现PV，IP，访问时间，浏览器类型等常用的Web日志分析功能。

笔者配置

Hadoop3.1.3，有空再用spark实现
IDEA本地测试运行，可以打jar包上传集群跑数据

数据类型

222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] \"GET /images/my.jpg HTTP/1.1\" 200 19939 \"http://www.chinasofti.com\" \"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.1547.66 Safari/537.36\"

在这里插入图片描述

146190行数据，其中包含脏数据，以空格为分割符

需求具体实现思路

  1. KPI.java: 对数据的处理，还有一些功能类
  2. KPIPV.java: 统计特定页面的访问数量\
  3. KPIIP.java: 统计特定页面的访问独立ip数量（存在相同IP访问多次）\
  4. KPITime.java：每个时间段的访问数量\
  5. KPIBrowser.java： 统计每种浏览器的访问数量\

代码结构

在这里插入图片描述

KPI.java

package com.lmr;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.HashSet;
import java.util.Locale;
import java.util.Set;

public class KPI {
    private String remote_addr;     // 记录客户端的ip地址
    private String remote_user;     // 记录客户端用户名称,忽略属性"-"
    private String time_local;      // 记录访问时间与时区
    private String request;         // 记录请求的url与http协议
    private String status;          // 记录请求状态；成功是200
    private String body_bytes_sent; // 记录发送给客户端文件主体内容大小
    private String http_referer;    // 用来记录从哪个页面链接访问过来的
    private String http_user_agent; // 记录客户浏览器的相关信息

    private boolean valid = true;   // 判断数据是否合法

    private static KPI parser(String line){
        KPI kpi = new KPI();
        String[] arr = line.split(" ");
        if (arr.length > 11){
            kpi.setRemote_addr(arr[0]);
            kpi.setRemote_user(arr[1]);
            kpi.setTime_local(arr[3].substring(1));
            kpi.setRequest(arr[6]);
            kpi.setStatus(arr[8]);
            kpi.setBody_bytes_sent(arr[9]);
            kpi.setHttp_referer(arr[10]);

            if (arr.length > 12){
                kpi.setHttp_user_agent(arr[11] + " " + arr[12]);
            }else {
                kpi.setHttp_user_agent(arr[11]);
            }

            if (Integer.parseInt(kpi.getStatus()) >= 400){
                kpi.setValid(false);
            }
        }else {
            kpi.setValid(false);
        }
        return kpi;
    }


    /**
     *按page的pv分类
     * 只计算以下页面
     */
    public static KPI filterPVs(String line){
        KPI kpi = parser(line);
        Set<String> pages = new HashSet<String>();

        pages.add("/about");
        pages.add("/black-ip-list/");
        pages.add("/cassandra-clustor/");
        pages.add("/finance-rhive-repurchase/");
        pages.add("/hadoop-family-roadmap/");
        pages.add("/hadoop-hive-intro/");
        pages.add("/hadoop-zookeeper-intro/");
        pages.add("/hadoop-mahout-roadmap/");

        if (!pages.contains(kpi.getRequest())){
            kpi.setValid(false);
        }
        return kpi;
    }


    /**
     *
     *按page的独立ip分类
     */
    public static KPI filterIPs(String line){
        KPI kpi = parser(line);

        Set<String> pages = new HashSet<>();

        pages.add("/about");
        pages.add("/black-ip-list/");
        pages.add("/cassandra-clustor/");
        pages.add("/finance-rhive-repurchase/");
        pages.add("/hadoop-family-roadmap/");
        pages.add("/hadoop-hive-intro/");
        pages.add("/hadoop-zookeeper-intro/");
        pages.add("/hadoop-mahout-roadmap/");

        if (!pages.contains(kpi.getRequest())){
            kpi.setValid(false);
        }
        return kpi;
    }

    /**
     * PV按浏览器分类
     */
    public static KPI filterBroswer(String line){
        return parser(line);
    }


    /**
     * PV按小时分类
     */
    public static KPI filterTime(String line){
        return parser(line);
    }

    /**
     * PV按访问域名分类
     */
    public static KPI filerDomain(String line){
        return parser(line);
    }

    /**
     * 重写toString方法
     */
    public String toString(){
        StringBuilder sb = new StringBuilder();
        sb.append("valid:" + this.valid);
        sb.append("--remote_addr:" + this.remote_addr);
        sb.append("--remote_user:" + this.remote_user);
        sb.append("--time_local:" + this.time_local);
        sb.append("--request:" + this.request);
        sb.append("--status:" + this.status);
        sb.append("--body_bytes_sent:" + this.body_bytes_sent);
        sb.append("--http_referer:" + this.http_referer);
        sb.append("--http_user_agent:" + this.http_user_agent);
        return sb.toString();
    }


    public Date getTime_local_Date() throws ParseException {
        SimpleDateFormat df = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss", Locale.US);
        return df.parse(this.time_local);
    }
    
    public String getTime_local_Date_hour() throws ParseException {
        SimpleDateFormat df = new SimpleDateFormat("yyyyMMddHH");
        return df.format(this.getTime_local_Date());
    }

    public String getHttp_referer_domain() {
        if (http_referer.length() < 8) {
            return http_referer;
        }

        String str = this.http_referer.replace("\"", "").replace("http://", "").replace("https://", "");
        return str.indexOf("/") > 0 ? str.substring(0, str.indexOf("/")) : str;
    }
    

    public String getRemote_addr() {
        return remote_addr;
    }

    public void setRemote_addr(String remote_addr) {
        this.remote_addr = remote_addr;
    }

    public String getRemote_user() {
        return remote_user;
    }

    public void setRemote_user(String remote_user) {
        this.remote_user = remote_user;
    }

    public String getTime_local() {
        return time_local;
    }

    public void setTime_local(String time_local) {
        this.time_local = time_local;
    }

    public String getRequest() {
        return request;
    }

    public void setRequest(String request) {
        this.request = request;
    }

    public String getStatus() {
        return status;
    }

    public void setStatus(String status) {
        this.status = status;
    }

    public String getBody_bytes_sent() {
        return body_bytes_sent;
    }

    public void setBody_bytes_sent(String body_bytes_sent) {
        this.body_bytes_sent = body_bytes_sent;
    }

    public String getHttp_referer() {
        return http_referer;
    }

    public void setHttp_referer(String http_referer) {
        this.http_referer = http_referer;
    }

    public String getHttp_user_agent() {
        return http_user_agent;
    }

    public void setHttp_user_agent(String http_user_agent) {
        this.http_user_agent = http_user_agent;
    }

    public boolean isValid() {
        return valid;
    }

    public void setValid(boolean valid) {
        this.valid = valid;
    }


    /**
     * 测试
     */
    public static void main(String[] args) {
        String line = "222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] \"GET /images/my.jpg HTTP/1.1\" 200 19939 \"http://www.chinasofti.com\" \"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.1547.66 Safari/537.36\"";

        System.out.println(line);

        KPI kpi = parser(line);
        System.out.println(kpi);

        try {
            SimpleDateFormat df = new SimpleDateFormat("yyyy.MM.dd:HH:mm:ss", Locale.US);
            System.out.println(df.format(kpi.getTime_local_Date()));
            System.out.println(kpi.getTime_local_Date_hour());
            System.out.println(kpi.getHttp_referer_domain());
        } catch (ParseException e) {
            e.printStackTrace();
        }
    }
    
}

KPIPV.java

package com.lmr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;


public class KPIPV {
    public static class KPIPVMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private Text outK = new Text();
        private IntWritable outV = new IntWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            KPI kpi = KPI.filterPVs(value.toString());
            if (kpi.isValid()){
                outK.set(kpi.getRequest());
                System.out.println(kpi);
                context.write(outK, outV);
            }
        }
    }

    public static class KPIPVReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
        private IntWritable outV = new IntWritable();

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;

            for (IntWritable value : values) {
                sum += value.get();
            }
            outV.set(sum);

            context.write(key, outV);
        }
    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        String input = "海量Web日志分析系统/src/datas/input";
        String output = "海量Web日志分析系统/src/datas/output/pv1";

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "KPIPV");
        job.setJarByClass(KPIPV.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setMapperClass(KPIPVMapper.class);
        job.setReducerClass(KPIPVReducer.class);

        FileInputFormat.addInputPath(job, new Path(input));
        FileOutputFormat.setOutputPath(job, new Path(output));


        if (!job.waitForCompletion(true)){
            return;
        }
    }

}
代码结果截图

在这里插入图片描述

KPIIP.java

package com.lmr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.HashSet;
import java.util.Set;

public class KPIIP {
    public static class KPIIPMapper extends Mapper<LongWritable, Text, Text, Text> {
        private Text outK = new Text();
        private Text outV = new Text();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            KPI kpi = KPI.filterIPs(value.toString());
            if (kpi.isValid()){
                outK.set(kpi.getRequest());
                outV.set(kpi.getRemote_addr());
                context.write(outK, outV);
            }
        }
    }

    public static class KPIIPReducer extends Reducer<Text, Text, Text, Text> {
        private Text outV = new Text();

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            // 放在set里面，集合元素不会重复
            Set<String> count = new HashSet<String>();

            for (Text value : values) {
                count.add(value.toString());
            }
            outV.set(String.valueOf(count.size()));
            context.write(key, outV);
        }
    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        String input = "海量Web日志分析系统/src/datas/input";
        String output = "海量Web日志分析系统/src/datas/output/ip";

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "KPIip");
        job.setJarByClass(KPIIP.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        job.setMapperClass(KPIIPMapper.class);
        job.setReducerClass(KPIIPReducer.class);

        FileInputFormat.addInputPath(job, new Path(input));
        FileOutputFormat.setOutputPath(job, new Path(output));

        if (!job.waitForCompletion(true)){
            return;
        }
    }
}
代码结果截图

在这里插入图片描述

KPITime.java

package com.lmr;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.text.ParseException;

public class KPITime {
    public static class KPITimeMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private Text outK = new Text();
        private IntWritable outV = new IntWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            KPI kpi = KPI.filterTime(value.toString());
            if (kpi.isValid()){
                try {
                    outK.set(kpi.getTime_local_Date_hour());
                    context.write(outK, outV);
                } catch (ParseException e) {
                    e.printStackTrace();
                }

            }
        }
    }

    public static class KPITimeReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
        private IntWritable outV = new IntWritable();

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable value : values) {
                sum += value.get();
            }
            outV.set(sum);
            context.write(key, outV);
        }
    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        String input = "海量Web日志分析系统/src/datas/input";
        String output = "海量Web日志分析系统/src/datas/output/time";

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "KPITime");
        job.setJarByClass(KPITime.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setMapperClass(KPITimeMapper.class);
        job.setReducerClass(KPITimeReducer.class);

        FileInputFormat.addInputPath(job, new Path(input));
        FileOutputFormat.setOutputPath(job, new Path(output));

        if (!job.waitForCompletion(true)){
            return;
        }
    }
}
代码结果截图（部分）

在这里插入图片描述

KPIBrowser.java

package com.lmr;

import com.sun.xml.internal.txw2.TxwException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class KPIBrowser {
    public static class KPIBrowserMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private Text outK = new Text();
        private IntWritable outV = new IntWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            KPI kpi = KPI.filterBroswer(value.toString());
            if (kpi.isValid()){
                outK.set(kpi.getHttp_user_agent());
//                System.out.println(kpi.getHttp_user_agent());
                context.write(outK, outV);
            }
        }
    }

    public static class KPIBrowserReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
        private IntWritable outV = new IntWritable();

        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable value : values) {
                sum += value.get();
            }
            outV.set(sum);
            context.write(key, outV);
        }
    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        String input = "海量Web日志分析系统/src/datas/input";
        String output = "海量Web日志分析系统/src/datas/output/browser1";

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "KPIBrowser");
        job.setJarByClass(KPIBrowser.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setMapperClass(KPIBrowserMapper.class);
        job.setReducerClass(KPIBrowserReducer.class);

        FileInputFormat.addInputPath(job, new Path(input));
        FileOutputFormat.setOutputPath(job, new Path(output));

        if (!job.waitForCompletion(true)){
            return;
        }
    }
}
代码结果截图（部分）

在这里插入图片描述

·落魄书生·
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MR处理HDFS日志样例
12-27
标题中的“MR处理HDFS日志样例”指的是使用MapReduce框架处理存储在Hadoop分布式文件系统（HDFS）...通过理解和应用以上知识点，我们可以有效地利用Hadoop的MapReduce处理HDFS上的日志数据，实现大规模数据的高效分析。
c语言实现的工业数据分析系统
01-29
此外，系统可能还包含了数据挖掘和机器学习算法的实现，如聚类、分类、预测模型等，这些算法可以自动从海量数据中发现有价值的模式，实现智能预测和决策支持。 在实际应用中，这个C语言实现的工业数据分析系统可以...
Web服务器日志分析
Kali与编程
01-30 1380
Web服务器日志是Web应用程序管理和维护的重要工具，记录了所有用户请求和响应的信息，可以通过分析日志文件了解用户的访问情况、性能瓶颈、行为习惯、兴趣爱好等信息，从而可以进行流量控制、访问限制、优化改善、安全评估等工作。通过分析日志文件，可以了解Web应用程序的访问情况，如用户访问的时间、访问频率、IP地址等信息，从而可以进行流量控制和访问限制，提高Web服务器的性能和稳定性。Web服务器日志可以记录用户的登录和操作信息，帮助管理员追踪用户的登录行为和操作记录，加强Web应用程序的安全保护和用户隐私保护。
运维利器：WEB日志分析场景介绍
xnxqwzy的博客
08-09 629
一般可以按照两种思路展开，逐步深入，还原整个攻击过程。第一种：确定入侵的时间范围，以此为线索，查找这个时间范围内可疑的日志，进一步排查，最终确定攻击者，还原攻击过程。第二种：攻击者在入侵网站后，通常会留下后门权限，以方便再次访问，我们可以找到该文件，并以此为线索来展开分析。曾经有人问过运维的人员的大神，该如何分析日志？大神回答了三个字：“用命令”。因为站在脚本操作经验丰富的人角度来看，的确用命令足矣，可是对于一般的人员来说用Linux的shell命令还是稍显复杂。还是需要借助一些工具来提高效率。
最全10个好用的Web日志安全分析工具_前端日志工具有哪些(1)，看完就能找到工作
最新发布
2401_84562143的博客
05-11 757
一键自动化分析，输出安全分析报告，支持iis/apache/nginx日志，支持自定义格式。程序员的看日志利器，支持,tail, less, grep，支持超大的文本文件，从几M到几十G的日志文件都流畅自如。一款非常炫酷且可视化日志分析工具，可以直观的展示CC攻击和网站的日志分析，并以可视化的3D效果展示出来。一款功能强大的开源日志分析系统，可以图形方式生成高级Web，流媒体，ftp或邮件服务器统计信息。一款开源的分析web日志工具，采用python语言开发，具有灵活的日志格式配置。
mr日志输出
09-06 2278
摘自：http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-jobhistory-log/ Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-32
基于web日志的安全攻击分析系统_推荐 | 10个好用的Web日志安全分析工具
weixin_29095049的博客
02-03 597
经常听到有朋友问，有没有比较好用的web日志安全分析工具？首先，我们应该清楚，日志文件不但可以帮助我们溯源，找到入侵者攻击路径，而且在平常的运维中，日志也可以反应出很多的安全攻击行为。一款简单好用的Web日志分析工具，可以大大提升效率，目前业内日志分析工具比较多，今天推荐十个比较好用的Web日志安全分析工具。1、360星图一款非常好用的网站访问日志分析工具，可以有效识别Web漏洞攻击、C...
Web 日志分析过程
王道长的技术博客
05-09 2517
文章目录Web 日志分析过程一、日志格式学习二、入侵日志分析2.1 网站被入侵，分析解决思路:2.1.1 下载日志分析 access.log+error.log2.1.2 找到攻击者的 IP 地址2.1.3 攻击者是如何找到网站后台的？2.1.4 攻击者如何进入后台？2.1.5 攻击者修改了什么文件来写一句话？2.1.6攻击者通过一句话后门做了什么？三、通过 SQL 注入日志分析3.1 sql 入...
网络优化MR分析指导书.doc
11-15
在《网络优化MR分析指导书》中，MR（Mobility Record）分析是网络优化中的重要工具，尤其在GSM网络中扮演着关键角色。MR分析通过对移动台上报的数据进行收集和分析，可以获取关于网络覆盖、质量、时隙定时提前（TA）...
北区优化室周报-低MR分析.pptx
10-26
北区优化室周报-低MR分析 诺基亚区域低MR覆盖率分析与处理 本周对现网低MR覆盖率小区进行统计和分析，共筛选出511个低MR覆盖率小区，其中松原216个，白城295个。低MR小区大部分分布在农村和城乡结合部，主要因站间距...
WEB性能优化实践分析
07-15
"WEB性能优化实践分析"的主题旨在探讨和分享一系列实用的优化策略和技术，旨在遵循"web优化黄金规则"，确保网页快速加载，减少用户等待时间，提高网站的可访问性和可用性。 一、网页性能的重要性 网页性能优化不仅...
JAVA 统计网站的访问量PV，UV
06-18
Java+Spring+Mysql+C3P0 统计网站的访问量，比如PV（页面浏览量），UV（独立访客数），将统计结果保存到MYSQL数据库中。解压后有项目log和Mysql的建库脚本。
海量日志分析系统
11-07
基于 ELK+Filebeat+Kafka+ZooKeeper的海量日志分析平台
一种Web日志分析系统实现
01-19
随着Web站点规模的增大，所涉及的应用服务种类越来越多。所谓网站（Website），就是指在网际网路（因特网）上，根据一定的规则，使用HTML等工具制作的用於展示特定内容的相关网页的集合。简单地说，网站是一种通讯工具，就像布告栏一样，人们可以通过网站来发布自己想要公开的资讯（信息），或者利用网站来提供相关的网路服务（网络服务）。人们可以通过网页浏览器来访问网站，获取自己需要的资讯（信息）或者享受网路服务。站点的监控和统计分析已成为站点建设的一项重要内容。Web服务器的访问日志文件记录了客户端每次请求的细节，因此，对Web站点访问日志进行分析，已成为评估网站运行质量的一种常用方法。 　　大型We
海量日志分析处理系统 一、开篇
SavageGarden_Love的专栏
04-25 165
      目前正在写一个日志处理系统，虽然业务很简单，但是感觉想把它做大做强，还是有很多东西可以挖掘的，希望能在这里把整个过程记录下来，对自己的积累做个总结。         计划使用如下技术构建整个系统。         1. 使用scribe集群完成日志收集       2. 使用hadoop集群完成日志分析处理       3. 使用hbase完成分析结果的存储       ...
#老杨说运维# 把各种IT运维指标数据，以指标资源池方式统一处理
边逛边看边学习
10-16 598
夏洛克AIOos的各项产品，越来越多将数据和智能应用场景区分开来。 这样做的好处显而易见。 对于IT运维指标数据，也建立了类似的处理流程。 来自多个IT设备的数据（比如业务分析数据、APM的应用监控指标、自采的架构监控指标、日志数据、第三方软件...），不再逐一分析，而是先通过实时数据流处理平台，将数据规整后存储到“指标管理池”内，再在此技术上建立模型。 在指标数据上面建立的场景应用可以是 “监控”“告警”“异常分析”“容量分析”“根因定位”，乃至生成统一的业务视图、仪表盘、大屏。 #老杨.
Web日志安全分析系统实践
lixiaoxiong的专栏
03-13 7569
本文转自：https://xianzhi.aliyun.com/forum/topic/2136?from=timeline&amp;isappinstalled=0零、前言在社区看到了这篇日志分析的文章--《Web日志安全分析浅谈》，文章整体写的非常棒，对日志分析的作用、难点、工程化建设和攻击溯源等方面进行了全面的描述。去年的毕设我也做了相关的研究，主要是去实现一个日志分析系统，算是一个更加的完...
IDEA+MR实现ALS
shuangshaung_的博客
12-13 688
1.环境 导入spark-1.4.1-bin-hadoop2.6压缩包lib目录下的spark-assembly-1.4.1-hadoop2.6.0 2.IDEA代码 package demo import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.mllib.recommenda
本地idea 调试Hadoop的mr任务（Windows环境）以及对应安装包的下载
huni的博客
12-08 2082
本地运行调试 mr作业
网络优化：MR未处理及切换问题深度分析
通过对5月20日的log数据进行分析，发现有近一半的MR上报没有得到有效处理，主要原因是配置问题、发生重建、缺少日志、未明确的问题定位、下行失步、正常周期上报、流程嵌套和丢失的MR。文档详细分析了这些原因，并以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值