lucklilili

”数据湖“的核心概念，数据湖不是技术组件、框架，而是一种概念、解决问题思路、治理方案。在多源异构数据存储层面与”数据中台“最大的区别是数据与业务解耦，保持数据的原始性、完整性，之前多数数据中台是围绕着业务进行采集、存储、归纳、转换。数据湖类型自建hadoop生态数据湖、云上数据湖、数据湖产品：湖类型 类型 多元异构存储 分析能力 Hadoop 本地 HDFS Spark、MR、Flink、Tez AliCloud 云上 OSS EMR

1、流式架构传统大数据架构优点：简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件。缺点：对于大数据来说，没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin的局限性非常明显，远远没有BI下的Cube的灵活度和稳定度，因此对业务支撑的灵活度不够，所以对于存在大量报表，或者复杂的钻取的场景，需要太多的手工定制化，同时该架构依旧以批处理为主，缺乏实时的支撑。适用场景：数据分析需求依旧以BI场景为主，但是因为数据量、性能等问

What is 优秀架构师？这是一个亘古不变且存在很大分歧的话题！接下来笔者用自己生涯得来的经验来聊一聊。所谓架构师，俗说就是设计师或结构设计者，这些定义如果用在建筑学上，则是很容易理解的，一句话画图纸的。在软件工程领域中，软件架构师实际上就是软件项目的总体设计师，是软件组织新产品的开发与集成、新技术体系的构建者，作为公司整体中枢存在，要有拆解问题的能力，不单单是技术层面工作，还要从认知心里学、经济学、管理学去运筹。架构是软件系统的一部分，所以要明白架构的价值，首先要明确软件系统的价值。软件系统的价

Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。

平台团队(运维团队)运维工程师最基本的职责都是负责服务的稳定性，确保服务可以7*24H不间断地为用户提供服务，负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率；数据仓库团队1.负责进行数据仓库需求分析、方案设计、ETL装载过程设计，前台分析展现设计，BI报表开发；2.配合按业务分析需求进行建模，包括概念模型，逻辑模型及物理模型;3.负责数据仓库的建立和维护，解决现有业务需求以及未来面临高速增长的业务数据;实时计算团队实时计算引擎/平台的研发工作，..

如何选择技术栈Apache：运维麻烦，组件间兼容性需要自己调研。CDH：国内使用最多的版本，但CM不开源，今年开始要收费。HDP：开源，可以进行二次开发，但是没有CDH稳定，国内使用较少。如何选择中间件数据采集传输：Flume，Kafka，Sqoop ，Logstash，DataX数据存储：MySql，HDFS，HBase，Redis，MongoDB数据计算：Hive，Tez， Spark， Flink，Storm数据可视化：Echarts、Superset、QuickBI、DataV.

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析，将数据高效转换为业务洞察。DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台..