黑马冰眼冷链---3.大数据采集服务-Netty网络编程

学习目标：

1. 能够了解ETL、大数据和物联网数据采集技术
2. 能够了解Netty网络编程
3. 能够知道Netty网络编程过程和实践
4. 能够知道冷链设备监控中如何使用netty进行数据流转和处理

1、数据采集技术

1.1 ETL概述

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。

ETL的设计分三部分：Server2005的SSIS服务、Informatic等，

 

1.2 大数据采集技术介绍

数据产生的种类很多，并且不同种类的数据产生的方式不同。

对于大数据采集系统，主要分为以下三类系统：

• 1.2.1 系统日志采集系统
• 1.2.2 网络数据采集系统
• 1.2.3 数据库采集系统

 

1.3 物联网数据采集技术介绍

随着物联网工业级采集器领域的逐步扩大，物的数量呈几何级增长，而物联网的信息也必然呈爆炸性增长，随之而来的访问量定然空前高涨。