6)运用Sqoop导入到Mysql。
7)数据报表展示。
责任描述:
1)Flume收集日志。
2)Kafka对数据流的分离。
3)参与Hive数据仓库设计的讨论。
4)ETL数据清洗。
项目名称: xxx网站用户精准定位系统
项目描述:根据用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数; 注册用户和非注册用户,分析两者之间的浏览习惯;用户选择什么样的入口形式(广告或者网站入口链接)更为有效; 用户访问网站流程,用来分析页面结构设计是否合理; 用户在页面上的网页热点图分布数据和网页覆盖图数据;用户在不同时段的访问量情况等。对有关数据进行统计、分析,从中发现用户访问网站的规律,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。同时对网站进一步的优化升级。
技术要点:
1)开发日志采集系统:采用埋点代码,采集用户访问行为。
2)采用Flume对记录日志进行收集。
3)Kafka根据业务对数据流的分离。
4)Spark进行业务指标的计算。
5)Hive数据仓库设计。
6)ETL数据的清洗。
7)Sqoop的数据到导入和导出。
8)数据报表展示。
责任描述:
1)Flume收集日志。
2)Kafka对数据流的分离。
3)参与Hive数据仓库设计的讨论。
4)ETL数据清洗。
项目名称:xx公司 xx平台 预警平台产品
项目描述:在电商平台上有