徐培成电商项目—9547人已学习
课程介绍
目前无论是企业还是培训机构没有一家完整的大数据案例项目,本次课程从产生数据--收集收据--数据分析---数据展示一步步带您进入大数据世界,让你觉得大数据并不是那么神秘。 此大数据项目分为前端展示,系统搭建,数据分析,数据展示 前端技术展示用spring mvc和hiberate在servlet3.0规范下 数据分析:日志数据产生 数据分析应用:hive与crontab组合实现等一些常用技术
课程收益
学会解决分析大数据项目案例
讲师介绍
徐培成 更多讲师课程
IT十八掌创始人兼首席大数据开发技术金牌讲师,曾任驿统金(上海)网络技术有限公司总经理,主导与光大银行总行重点合作的阳光驿站金融结算系统的研发,并指导团队在阿里公有云上规划、部署Hadoop大数据集群,以对用户的金融交易日志进行存储和分析,完成从传统RDMBS数据到大数据集群的移植和升级。
课程大纲
第1章:项目概览
1. 项目概览 01:32:30
2. 项目初始化 01:31:08
3. 大数据服务器配置 01:42:13
4. 大数据架构配置 02:01:43
5. 大数据业务处理 01:26:12
第2章:大数据业务处理
1. 01.项目阐述 42:22
2. 02.项目在idea中的初始化 32:01
3. 03.项目在model创建和hibernate类库引入以及配置 21:31
4. 04.项目Spring依赖项引入与spring配置文件与c3p0数据源配置 19:17
5. 05.测试数据源和连接 3:50
6. 06.编写Dao接口和基本实现类 6:11
7. 07.编写Service和基本service实现 25:30
8. 08.编写Service与beans配置-事务管理回顾-jvm结构回顾 36:51
9. 09.编写tx事务管理 16:19
10. 10.编写webmvc部分代码-controller程序 01:02:26
11. 第02天-01.idea的web项目库配置-类找不到问题 19:38
12. 第02天-02.idea的web中用户注册于登录 37:46
13. 第02天-03.idea的web中完善User信息-验证注册过程 01:10:13
14. 第02天-04.idea的web用户信息显示 45:47
15. 第02天-05.web程序的用户编辑和修改 10:49
16. 第02天-06.web nginx服务器centos安装启动停止 59:19
17. 第03天-01.集群上安装tomcat 15:17
18. 第03天-02.配置win7 nginx反向代理¢os; nginxweb服务器配置 44:23
19. 第03天-03.配置nginxweb服务器的日志格式以及切割注意事项 20:52
20. 第03天-04.配置pom.xml项目打成war与war插件依赖设置 25:49
21. 第03天-05.web项目打包成war在tomcat集群上进行分发 27:53
22. 第03天-06.通过反向代理服务器访问web静态资源-查看日志记录情况 11:30
23. 第03天-07.通过apache ab测试软件模拟高并发访问产生大量的日志信息 21:30
24. 第03天-08.数据收集模式分析-flume-kafka模式收集 17:08
25. 第03天-09.nginx实现logs滚动 01:14:00
26. 第04天-01.flume+kafka集成-flume日志收集 18:23
27. 第04天-02.kafka集群配置 21:22
28. 第04天-03.kafka消费者编程-hdfs启动 58:29
29. 第04天-04.web项目中使用curl标签部署web项目到tomcat集群 13:14
30. 第04天-05.测试hdfs单元测试-读取hdfs文件数据 19:58
31. 第04天-06.hdfs写入-工具类-日志解析格式处理 49:44
32. 第04天-07.hdfs输出流池化处理 29:15
33. 01.数据输出流池化以及优化处理(重用) 52:29
34. 02.池化模式测试数据存储 10:55
35. 第05天-03.使用TimerTask实现流池中的流周期性关闭 27:55
36. 第05天-04.使用cron调度周期性添加hive分区表 50:36
37. 第05天-05.导出消费者成jar到centos运行 37:34
38. 第05天-06.hive清洗消费者 01:02:59
39. 第05天-07.hive清洗消费者测试清洗过程 8:02
40. 第06天-01.Hive使用load加载数据并进行数据topN统计 52:06
41. 第06天-02.使用sqoop将Hive统计算出的结果导出到mysql 45:19
42. 第06天-03.编写hive脚本和bash脚本实现统计数据的处理和导出 11:59
43. 第06天-04.编写bash脚本动态等成hive脚本并执行批处理任务 27:09
44. 第06天-05.前端读取mysql存放的统计生成图表 48:51
45. 第06天-06.用户推荐系统处理-web部分 59:25
46. 第06天-07.spark模型训练与模型存储与外部推荐系统集成 01:24:51
47. 第06天-02.使用sqoop将Hive统计算出的结果导出到mysql 42:22
大家可以点击【 查看详情】查看我的课程
课程介绍
目前无论是企业还是培训机构没有一家完整的大数据案例项目,本次课程从产生数据--收集收据--数据分析---数据展示一步步带您进入大数据世界,让你觉得大数据并不是那么神秘。 此大数据项目分为前端展示,系统搭建,数据分析,数据展示 前端技术展示用spring mvc和hiberate在servlet3.0规范下 数据分析:日志数据产生 数据分析应用:hive与crontab组合实现等一些常用技术
课程收益
学会解决分析大数据项目案例
讲师介绍
徐培成 更多讲师课程
IT十八掌创始人兼首席大数据开发技术金牌讲师,曾任驿统金(上海)网络技术有限公司总经理,主导与光大银行总行重点合作的阳光驿站金融结算系统的研发,并指导团队在阿里公有云上规划、部署Hadoop大数据集群,以对用户的金融交易日志进行存储和分析,完成从传统RDMBS数据到大数据集群的移植和升级。
课程大纲
第1章:项目概览
1. 项目概览 01:32:30
2. 项目初始化 01:31:08
3. 大数据服务器配置 01:42:13
4. 大数据架构配置 02:01:43
5. 大数据业务处理 01:26:12
第2章:大数据业务处理
1. 01.项目阐述 42:22
2. 02.项目在idea中的初始化 32:01
3. 03.项目在model创建和hibernate类库引入以及配置 21:31
4. 04.项目Spring依赖项引入与spring配置文件与c3p0数据源配置 19:17
5. 05.测试数据源和连接 3:50
6. 06.编写Dao接口和基本实现类 6:11
7. 07.编写Service和基本service实现 25:30
8. 08.编写Service与beans配置-事务管理回顾-jvm结构回顾 36:51
9. 09.编写tx事务管理 16:19
10. 10.编写webmvc部分代码-controller程序 01:02:26
11. 第02天-01.idea的web项目库配置-类找不到问题 19:38
12. 第02天-02.idea的web中用户注册于登录 37:46
13. 第02天-03.idea的web中完善User信息-验证注册过程 01:10:13
14. 第02天-04.idea的web用户信息显示 45:47
15. 第02天-05.web程序的用户编辑和修改 10:49
16. 第02天-06.web nginx服务器centos安装启动停止 59:19
17. 第03天-01.集群上安装tomcat 15:17
18. 第03天-02.配置win7 nginx反向代理¢os; nginxweb服务器配置 44:23
19. 第03天-03.配置nginxweb服务器的日志格式以及切割注意事项 20:52
20. 第03天-04.配置pom.xml项目打成war与war插件依赖设置 25:49
21. 第03天-05.web项目打包成war在tomcat集群上进行分发 27:53
22. 第03天-06.通过反向代理服务器访问web静态资源-查看日志记录情况 11:30
23. 第03天-07.通过apache ab测试软件模拟高并发访问产生大量的日志信息 21:30
24. 第03天-08.数据收集模式分析-flume-kafka模式收集 17:08
25. 第03天-09.nginx实现logs滚动 01:14:00
26. 第04天-01.flume+kafka集成-flume日志收集 18:23
27. 第04天-02.kafka集群配置 21:22
28. 第04天-03.kafka消费者编程-hdfs启动 58:29
29. 第04天-04.web项目中使用curl标签部署web项目到tomcat集群 13:14
30. 第04天-05.测试hdfs单元测试-读取hdfs文件数据 19:58
31. 第04天-06.hdfs写入-工具类-日志解析格式处理 49:44
32. 第04天-07.hdfs输出流池化处理 29:15
33. 01.数据输出流池化以及优化处理(重用) 52:29
34. 02.池化模式测试数据存储 10:55
35. 第05天-03.使用TimerTask实现流池中的流周期性关闭 27:55
36. 第05天-04.使用cron调度周期性添加hive分区表 50:36
37. 第05天-05.导出消费者成jar到centos运行 37:34
38. 第05天-06.hive清洗消费者 01:02:59
39. 第05天-07.hive清洗消费者测试清洗过程 8:02
40. 第06天-01.Hive使用load加载数据并进行数据topN统计 52:06
41. 第06天-02.使用sqoop将Hive统计算出的结果导出到mysql 45:19
42. 第06天-03.编写hive脚本和bash脚本实现统计数据的处理和导出 11:59
43. 第06天-04.编写bash脚本动态等成hive脚本并执行批处理任务 27:09
44. 第06天-05.前端读取mysql存放的统计生成图表 48:51
45. 第06天-06.用户推荐系统处理-web部分 59:25
46. 第06天-07.spark模型训练与模型存储与外部推荐系统集成 01:24:51
47. 第06天-02.使用sqoop将Hive统计算出的结果导出到mysql 42:22
大家可以点击【 查看详情】查看我的课程