每天访问网站的用户都在关注什么?
在网站上有哪些用户行为在不断发生?
如何根据用户行为来提升网站的商业价值?
网站日志包含用户日常的访问信息,通过日志分析可以了解网站的访问量、网页访问次数、网页访问人数、频繁访问时段等等,以便获取用户行为以优化网站的商业价值。
由于网站每天会产生海量的日志,非常适合使用百度MapReduce(简称BMR)这样的托管Hadoop服务。同时,BMR集成了Hive和Hue,开发者可以在友好的界面中通过SQL语句就能分析海量日志,大大降低了使用门槛。下面将通过一个具体的例子来展示如何通过BMR来分析网站日志。
创建BMR集群
BMR集群有两种常见的模式:
按需:用户可以把数据保存在对象存储BOS中,创建BMR集群并绑定BOS,以便读写BOS中的数据进行海量数据分布式处理。处理完了可以释放集群以节省计算资源,而数据已经持久化在BOS中。这种计算与存储分离的按需模式,非常适合批处理的场景。
常驻:用户可以创建BMR集群,然后把数据存储在本地HDFS中处理,适合随时需要大数据处理的常驻场景。
两种场景互相补充,适合不同的需求。
这里将使用按需场景处理Nginx日志,示例数据可以从http://bmr-public-data.bj.bcebos.com下载。下载以后请登录百度开放云管理控制台,创建或者选择一个bucket并上传。比如,日志上传到名为bigdata的bucket的log目录中,之后便可以通过bos://bigdata/log提交给BMR,BMR会自动扫描文件夹下面所有的日志文件。
现在进入百度MapReduce并创建集群,根据提示完成配置步骤。注意,在软件配置设置栏内,镜像类型请选择Hadoop 0.2.0并确保添加Hive和Hue应用。
不出几分钟BMR会创建集群并把登录信息以短信的方式发送到手机,请根据相应信息进行SSH连接到集群。
分析网站日志
Hue是一个开源的Apache Hadoop 图形界面系统,通过使用Hue可以在浏览器中与Hadoop集群交互来分析处理数据,例如创建数据集、执行Hive查询等。
考虑到安全因素,目前Hue的访问需要通过SSH。请参考建立SSH Tunnel并设置浏览器代理,然后访问Hue Web界面。
在分析之前,首先需要根据网站日志建立一张Hive表。在Hue菜单栏中选择查询编辑器、Hive,并输入以下SQL语句:
这样,Hive会重建access_logs表,然后通过正则表达式来解析日志文件。注意LOCATION需要跟上传日志文件所在的bucket和folder相对应,比如bos://bigdata/log。
成功创建access_logs表之后,便可以在Hive Editor左侧的辅助菜单中刷新数据库,找到access_logs表并预览示例数据:
定了表之后,便可以进行查询了。比如,以下语句可以统计网页请求的结果:
切换到图表页,还可以以饼图的形式可视化数据:
使用下面的语句可以了解哪个时段网页访问量最大:
切换到图表页,可以以柱状图来可视化结果:
可见大量的访问在晚上九点,是不是需要在这段时间多投放一些广告呢?
想了解百度MapReduce,请点击“阅读原文”