数据分析系统不同数据来源

课程计划

1. 多彩缤纷数据源
   1.1 业务系统数据
   1.2 爬虫数据
2. 数据的管理
   2.1 数据文件管理
   2.1.1 FTP文件服务
   2.1.2 NFS文件服务
   2.1.3 Samba文件服务
   2.2 文件管理规范
   2.2.1 接口新增数据文件
   2.2.2 接口控制校验文件
   2.2.3 接口表结构文件
   2.3 数据质量检测
3. 数据仓库
   3.1 数据仓库的基本概念
   3.2 数据仓库的主要特征
   3.3 数据仓库与数据库区别
   3.4 数据仓库分层架构
   3.5 数据仓库元数据管理
4. Apache Hive
   4.1 Hive简介
   4.1.1 什么是Hive
   4.1.2 为什么使用Hive
   4.2 Hive架构
   4.2.1 Hive架构图
   4.2.2 Hive组件
   4.2.3 Hive与Hadoop的关系
   4.3 Hive与传统数据库对比
   4.4 Hive数据模型
   4.5 Hive安装部署
5. Hive基本操作
   5.1 DDL操作
   5.2 DML操作
   5.2.1 Load
   5.2.2 Insert
   5.2.3 Select
   5.3 Hive join
6. Hive参数配置
   6.1 Hive命令行
   6.2 Hive参数配置方式
7. Hive函数
   7.1 内置运算符
   7.2 内置函数
   7.3 Hive自定义函数和Transform
   7.4 Hive特殊分隔符处理（扩展）

多彩缤纷数据源

典型的数据分析系统，要分析的数据种类其实是比较丰富的