基于Hadoop技术实现的离线电商分析平台(Flume、Hadoop、Hbase、SpringMVC、highcharts)- 驴妈妈旅游项目

2 篇文章 0 订阅
1 篇文章 0 订阅

离线数据分析平台是一种利用hadoop集群开发工具的一种方式,主要作用是帮助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、银行、证券、游戏等领域有非常广泛,因为这些领域对数据和用户的特性把握要求比较高,所以对于离线数据的分析就有比较高的要求了。

讲师本人之前在游戏、旅游等公司专门从事离线数据分析平台的搭建和开发等,积累了一些这方面比较实用的技能点,特意整理录制成视频,本项目全程手敲,适合各层次学员学习本视频的知识点。当然对于对hadoop有一定了解的学员而言,大家一看就知道是对hadoop生态圈的基本应用,但是同时在视频中也涉及到一些hadoop源码相关的知识点。预祝每位学员能够成为hadoop开发的行家里手。

1.课程研发环境
开发源代码以JDK7作为基准,数据库采用mysql,使用hadoop生态圈相关软件应用于该项目。
开发工具: Eclipse;
数据库工具: Mysql
其他工具: Hadoop、Hbase、Hive、Sqoop、Flume、Oozie、Nginx、Highcharts、SpringMVC等

2.内容简介
本教程从hadoop基本环境的搭建开始、介绍项目相关信息以及展示highcharts展示技术等。此外,为了帮助学员更好的理解知识点,介绍了hadoop、hbase、hive等hadoop生态圈的安装配置和使用等。项目主要涉及到用户行为数据的收集、用户数据的etl操作、用户数据的分析以及分析数据展示等项目模块,最终展示了一个基本的离线数据分析平台的全部实现。

一、大数据基本技能储备:
第一讲:项目介绍以及Hadoop环境搭建
第二讲:Hadoop Shell命令介绍–上
第三讲:Hadoop Shell命令介绍–下
第四讲:HDFS介绍以及Java API介绍
第五讲:MapReduce结构以及编程模型介绍
第六讲:MapReduce进阶上
第七讲:MapReduce进阶下
第八讲:Hbase介绍以及Hbase环境搭建
第九讲:Hbase客户端介绍
第十讲:Hbase和Mapreduce整合
第十一讲:Hive介绍和Hive环境搭建
第十二讲:Hive Shell命令介绍上
第十三讲:Hive Shell命令介绍下
第十四讲:Hive函数以及自定义函数讲解
第十五讲:Flume介绍
第十六讲:Sqoop介绍
第十七讲:Oozie介绍以及环境搭建
第十八讲:Oozie工作流使用介绍
第十九讲:Highcharts介绍
第二十讲:Spring+MyBatis+Mysql框架整合

二、项目需求介绍
第二十一讲:需求分析一
第二十二讲:需求分析二
第二十三讲:需求分析三

三、用户行为数据收集模块实现讲解
第二十四讲:JavaSDK数据收集引擎编写
第二十五讲:JSSDK数据收集引擎编写

四、数据分析模块实现讲解
第二十六讲:用户数据etl操作一
第二十七讲:用户数据etl操作二
第二十八讲:新增用户和总用户分析
第二十九讲:活跃用户分析
第三十讲:活跃会员分析
第三十一讲:新增会员和总会员分析
第三十二讲:会话分析
第三十三讲:Hourly分析
第三十四讲:浏览器PV分析
第三十五讲:公用代码提取
第三十六讲:地域信息分析
第三十七讲:外链信息分析
第三十八讲:MapReducer代码优化
第三十九讲:DimensionConverter相关服务设计
第四十讲:用户浏览深度分析
第四十一讲:事件分析
第四十二讲:订单分析
第四十三讲:MR和Hive任务Oozie部署

五、数据展示模块讲解:
第四十四讲:DataApi后台框架搭建
第四十五讲:用户基本信息数据展示
第四十六讲:浏览器基本信息数据展示
第四十七讲:地域信息数据展示
第四十八讲:用户浏览深度数据展示
第四十九讲:外链数据展示

第五十讲:事件数据展示

第五十一讲:订单数据展示以及项目总结



中间图还有2,3,4章的内容略


详情请扣扣:723167845

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值