Hadoop实战项目之网站数据点击流分析（转载分析）

---

本文转载于csdn博主‘一直不懂’

一，项目业务背景

　　https://blog.csdn.net/shenchaohao12321/article/details/82958936

二，整体技术流程及架构

　　https://blog.csdn.net/shenchaohao12321/article/details/82959255

三，数据采集

　　https://blog.csdn.net/shenchaohao12321/article/details/82959322

四，数据预处理

　　https://blog.csdn.net/shenchaohao12321/article/details/82959444

五，数据仓库设计

　　https://blog.csdn.net/shenchaohao12321/article/details/82960513

六，ETL

　　https://blog.csdn.net/shenchaohao12321/article/details/82961265

七，统计分析

　　https://blog.csdn.net/shenchaohao12321/article/details/82975362

八，结果导出

　　https://blog.csdn.net/shenchaohao12321/article/details/83020556

九，工作流调度

　　https://blog.csdn.net/shenchaohao12321/article/details/83020574

十，数据展示

　　https://blog.csdn.net/shenchaohao12321/article/details/83020653

十一，项目代码

　　https://blog.csdn.net/shenchaohao12321/article/details/83020719

十二，有关hql语句的注意事项

　　count(1)里面的数字表示对第几列的数据进行统计计数。

　　group by  分组可以去重。

　　having 与group by 一起使用 ，跟where的用处一样。

　　row_number() over (partition by clumn_a  order by column_b asc/desc) as rn 

　　对表的每行标定行数

　　partition by clumn_a相当于表的分组，order by 相当于对表的排序，rn 行数序号的字段。

　　concat(字段，字段)  表示将两个字段和为一个字段。

　　distinct去重

　　cast(......as int) 表示对字段的类型转换为int类型。

　　select  '2018-11-11' as date......为每一个查询的行的表结构第一位加上字段名为date数据为'2018-11-11' 的列。

转载于:https://www.cnblogs.com/songweideboke/p/9868886.html