10小时入门大数据：第6章-Hadoop项目实战

用户行为日志概述

    用户行为日志：
    用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击…）
    用户行为轨迹、流量日志
    为什么要记录用户访问行为日志
    网站页面的访问量
    网站的黏性
    推荐
    日志产生的方式
    nginx
    ajax
    用户行为日志的内容
    ip
    账号
    访问时间区域
    客户端浏览器
    访问模块
    如何跳转来的
    等等
    日志数据内容：
    1）访问的系统属性： 操作系统、浏览器等等
    2）访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等
    3）访问信息：session_id、访问ip(访问城市)等
    如下是一条日志记录

2013-05-19 13:00:00     http://www.taobao.com/17/?tracker_u=1624169&type=1 B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1        http://hao.360.cn/      1.196.34.243 

用户行为日志分析的意义

    网站的眼睛
    网站的神经
    网站的大脑

离线数据处理架构（重点：架构图很重要）

数据处理流程
1）数据采集
    Flume： web日志写入到HDFS
2）数据清洗
    脏数据
    Spark、Hive、MapReduce 或者是其他的一些分布式计算框架
    清洗完之后的数据可以存放在HDFS(Hive/Spark SQL)
3）数据处理
    按照我们的需要进行相应业务的统计和分析
    Spark、Hive、MapReduce 或者是其他的一些分布式计算框架
4）处理结果入库
`结果可以存放到RDBMS、NoSQL
5）数据的可视化
    通过图形化展示的方式展现出来：饼图、柱状图、地图、折线图
    ECharts、HUE、Zeppelin
项目需求
    统计imooc主站访问日志的浏览器访问次数
功能实现之UserAgent解析类测试
    根据日志信息收取浏览器信息
    针对不同的浏览器进行统计
    开源项目使用github.com/yammer/user_agent的User Agent Parser
    clone下来到本地
    maven编译mvn clean package -DskipTest
    maven安装一下mvn clean install -DskipTest
在pom.xml中添加解析的依赖

<!--添加UserAgent解析的依赖-->
<dependency&g