培训大纲

培训目的

• 了解数据湖技术作为在大数据社会背景下，以Hadoop、Spark为代表的计算架构的演变，理解在多层级、多部门、海量数据情况下的复杂系统建设、运维技术。

• 了解Dremio数据湖软件技术原理及其周边技术工具集，掌握相关技术的应用。

• 、掌握用开源数据湖技术为代表的新型IT基础设施改造现有系统架构，实现系统从IT向DT架构的转变，实现以数据驱动业务发展的新型技术架构转型。

培训内容

• 了解华为、阿里等厂商数据湖产品特点，了解数据湖应用场景，了解数据湖架构优点。
• 了解Hadoop、Spark开源计算框架，掌握计算框架基本概念，掌握Spark、Haddop分布式集群部署。
• 了解Dremio作为数据湖的技术概念、原理，在数据架构中的位置。
• 掌握Dremio的技术特点，包括跨数据源SQL查询下推、数据目录（物理数据集、虚拟数据集、数据源）、数据安全、高性能计算、数据检索。
• 掌握Dremio的应用，包括系统应用时的部署、管理员工具、数据源和数据集定义、Job性能分析、Job性能优化、数据反射、数据安全、客户端连接、RestAPI应用等。
• 大数据在政府行业应用实践经验，以及结合数据湖基础设施在系统建设中的作用。人民法院大数据建设经验、情报分析大数据建设经验、智能楼宇大数据建设经验。

技术参考

https://github.com/dremio/