大数据用户画像项目实战 ETL数据抽取

一、课程介绍

一个基于规则的大数据用户画像项目

为什么要选这样一个项目：
	1、典型的批量计算场景
	2、基于规则。涵盖大数据批量处理的各个典型场景
	3、可视化。所有控制流程全程可视化
	4、可扩展。通过集成更多的计算方式来扩展出更多的业务场景

课程收获：
	1、了解一个典型的大数据项目的整体处理流程
	2、熟悉大数据组件如何整合工作
	3、举一反三，熟悉其他大数据处理流程

二、项目演示

1.什么是用户画像？
	对前端数据进行整合梳理，对后端数据挖掘提供支持

2.用户画像整体流程
	数据建模——>ETL数据清洗——>基于规则进行大批量计算——>基于数据提供用户画像结果

3.项目整体架构
	主要技术栈：SpringBoot + Thymeleaf + Mybatis   前端：EasyUI + Jquery
	功能组件：Sqoop + Hadoop + Spark + ElasticSearch
	
	技术体系主要是组织Hadoop进行大文件存储，
	Spark进行大规模的批量数据计算(跟大数据风控项目主要注重Flink流式计算正好形成互补),
	结合机器学习的推荐系统课程，基本包含了各个主要的大数据场景
	

三、ETL数据抽取

从外围业务系统抽取数据进入大数据平台的完整过程，通常涉及到两个步骤：即抽取与清洗


如何设计一个完善的数据抽取流程？
	1、hdfs文件管理
	2、sqoop数据抽取
	3、二维表转json（类似数据清洗）