涤生大数据

算法（笔试），SQL（笔试和手撕），大数据组件的原理，数仓的八股要结合项目说，自己写的项目要非常熟悉，wiki里的必背就是必背，经常会问，可以先过一遍，然后整理适合自己表达方式的话术去记忆。投递简历可以早点投，从提前批就开始（七月底），因为有的正式批池子都已经满了，认真对待模拟面试，有助于锻炼表达能力，真正面试就是放平心态就好了。录屏、录音等。这样方便自我复盘，不懂的点也可以找老师帮忙复盘一下，在面试中不断完善自己的知识架构、项目架构体系以及其他方面的问题。最后，24届的秋招即将告一段落！

本章节为什么较多从面试角度体系话介绍数仓规范呢，主要是很多同学给宇哥反馈在求职面试的时候，在问到数仓规范相关的面试题的时候，发现直接没办法体系化专业化的介绍出来，只能零散的介绍出一些片段，最后在面试当中失利。在规范制定阶段，往往都是由有一位数仓团队leader或架构师，或者由不同部分的核心开发人员合作（当然这些人员一般都是具备成熟数仓建设经验的，都是对数仓规范有相当认识的同学），以充分考虑公司实际情况，并参考行业标准或已有的规范来制定规范。这有助于消除数据孤岛，提高协作和对数据的信任。

后来找到我，咨询了很久，问题很多，各种谨小慎微，脑洞的问题，起初我是拒绝的（主要那段时间我们带的同学也多，他事也多哈），后来陆续找了我几回，我被他打动了，于是大家一起开始了学习之路。但是遗憾的是并不是两情相悦，其实在爱情里，男人都是笨拙不堪的，总喜欢吹冲锋号，不懂得大迂回大包抄，往往就是直接把妹子吓走，然后自己原地傻B了，他亦是如此。两年多的涤生大数据，认识了形形色色的小伙伴，陆续沟通下来6000多人，彼时他们来自全国的各个角落，不同的教育背景，不同的性格，不同的工作环境，不同的视野见识。

随着计算机性能的提高和数据库技术的成熟，和对数据价值价值更深层次的探索的需求，虽然报表工具在特定用途下非常有用，但为了弥补报表工具的局限性，并满足更广泛的数据分需求。：解决业务和IT之间的“报表需求拉扯”，同时帮业务解决“我有一堆业务数据，我知道这数据有用，可我不知道怎么用，但BI可以帮助我去生成一些展示及指标体系，给到我分析数据的启发”的问题，偏向“数据需求变化多且快，想带着问题去探索分析数据的阶段，数据交互性较高，适合从信息化往数字化转型过渡的企业”。这有助于用户更好地理解数据的变化和趋势。

为了不受并列成绩的影响，使用row_number专用窗口函数：row_number函数：也就是不考虑并列名次的情况。比如前3名是并列的名次，排名是正常的1，2，3，4。2.将表按学生姓名分组后，把成绩按降序排列，排在最前面的3个就是我们要找的“成绩最高的3个学生”。这里是“每个学校,每个年级,每个科目”，结合表的结构，是按学生“学校、年级、科目”来分组。举例：根据下面示例数据选出, 今年每个学校,每个年级,每个科目前三的学生姓名和他的成绩。类似的问题还有很多，我们都可以用上面的模板来处理。

在谈论数据处理时，人们经常将其缩写为“ETL”。然而，如果我们仔细观察，数据处理从ETL、ELT、XX ETL（如Reverse ETL、Zero-ETL）到目前流行的EtLT架构经历了多次迭代。虽然Hadoop时代主要依赖ELT（Extract、Load、Transform）方法，但实时数据仓库和数据湖的兴起使得ELT变得过时。EtLT 已成为将数据实时加载到数据湖和实时数据仓库的标准架构。

数据仓库（Data Warehouse）的官方定义可以根据不同的权威来源略有不同，但通常情况下，以下是数据仓库的官方定义：1.Inmon的定义（由Bill Inmon提出，被认为是数据仓库领域的先驱）：数据仓库是“集成的、主题导向的、非易失性的、时间变化的数据集合，用于支持管理决策制定过程”。a.集成的：数据仓库将来自不同源系统的数据集成到一个统一的存储中，消除了数据的分散性。b.主题导向的：数据仓库是以主题或业务需求为导向的，而不是以特定的应用程序或业务过程为导向。

今天分享的主题是“如何回答好一个问题”。通过与同学们进行交流，发现一个比较普遍的现象，大家在回答问题时，时常会让面试官觉得自己在背八股，从而影响面试官的印象。那么我们应该怎么避免这种情况呢？

我们首先来谈谈什么是窗口函数，窗口函数是指，在指定的数据滑动窗口中，实现各种统计分析的操作。窗口函数是与分析函数一起使用，或按照专用窗口函数使用，组成比如：窗口聚合函数、窗口排序函数等实用函数。说过了什么是窗口函数，明白什么是窗口函数，所以以后面试过程中问到什么是窗口函数，不要在简单的说排序啦，接下来我们在谈谈具体有哪些函数。相信介绍到这里，我们对于什么是窗口函数，有哪些窗口函数都有了一个全面的认识了，面试中我们就按照这样的分类一一介绍，来打动我们的面试官。划分的范围被称为窗口，这也是窗口函数的由来。

2）项目经历提问（占比80%）：结合项目+八股回答。最常问的包括数仓分层理论、维度建模、事实表维度表区别、Hive SQL优化等。

Q：项目中说到了小文件问题的处理，可以具体讲一下吗？

数据质量是悬在每个数据同学头顶的达摩克里斯之剑。一旦我们对其缺少敬畏，或是我们的“武器”不够丰富，缺乏有效的质量保障措施；这把剑就会无情落下。数据质量保障符合蝴蝶效应，只要数据链路上任何一个小的细节点出现问题，则实时数据的质量会大幅度下降，因此需要构建数据质量的全链路监控，从数据研发到数据消费都需要重点监控，并通过一定的流程机制保障数据参与方的规范性，以此来保障数据全生命周期的质量健康度。本文会结合离线和实时数据建设场景谈谈对数据质量全链路建设认知。

2）项目经历提问（占比80%）：结合项目+八股回答。最常问的包括数仓分层理论、维度建模、事实表维度表区别、Hive SQL优化等。

在日常工作中，数仓工程师更多扮演的角色是数据支撑和数据模型提供者的角色，例如一个报表需求，数仓工程师负责端到端全链路的数据开发工作，而bi工程师负责利用如tableau，finereport等报表工作基于数仓开发工程师提供的数据表实现报表展现工作。总体而言，BI工程师在负责将大量的业务数据转化为有价值的信息和洞察，并帮助决策者做出基于数据的决策，核心工作内容是实现业务指标的可视化，并转化为业务和管理成更加易于理解和决策的数据展现方式。，包括数据的抽取、转换、加载和存储等方面的工作。

很多同学在求职中对数据类岗位傻傻分不清楚，投递简历的时候胡乱投递，本篇文章给大家讲讲数仓开发，etl开发，数据开发，数据治理工程师，BI工程师以及数据运维工程师这些数据类岗位的工作职责以及和数仓开发的区别。同时为了大家更加深入地了解各岗位的区别，也给大家讲解了一下这些岗位在日常工作当中的一些工作交集。

各）基。

查缺补漏。

任何事物都具有一定的生命周期，数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。常见的业务元数据有维度及属性(包括维度编码，字段类型，创建人，创建时间，状态等)、业务过程、指标(包含指标名称,指标编码，业务口径，指标类型，责任人，创建时间，状态，sql等)，安全等级，计算逻辑等的规范化定义，用于更好地管理和使用数据。

如何在秋招的最后一段时间把握住机会？关键看下面这三点你能做好吗？

1.自我供述哈罗大家好，我是涤生哥。蓦然回首做了很多年大数据，也经历了一线大厂，中型公司。从毕业一个Java程序员到大数据开发，高级大数据开发，数仓专家，到现在的大数据架构专家。一直以来在CSDN上断断续续分享一些博客，也认识了很多大数据行业的小伙伴。前期后后也帮助了数百名小伙伴大数据职业规划，求职面试答疑解惑。对大数据这个行业也算有些自己的心得和深入的看法吧。2.对大数据行业的浅见跟很多小伙伴交流以后，才发现很多人对大数据行业有着较大的误区。其实大数据行业没...

一.大数据运维与架构课程体系1.0课程与老师介绍本课程是专门培养大数据运维与架构方向专业人才的体系化课程。课程所有讲师小伙伴全部是在职的知名企业大数据开发专家，大数据技术专家职位员工，非专门的培训机构老师（小伙伴当前在职企业阿里巴巴，哔哩哔哩，平安集团，苏宁易购，美团等，运维集群规模大到10000+节点，课程内容可以满足市面上80%以上企业的大数据运维工作）。课程以企业大数据集群运维实战和招聘需求为出发点，深入浅出，有重点地为大家系统化地讲解整个大数据运维需要的知识点，实战教学，多年运维经验分享

前面写了一篇大数据行业介绍，后台有很多小伙伴私信我大数据该如何学，简历该如何优化？尤其很多准备转行大数据的小伙伴，初级入门者，有较多困惑，简历写得天花乱坠，面试总是一面就挂，学习没有重点，找不到突破方向等等。 前一篇地址：写给大数据初级开发者或准备转行大数据的人1.大数据该如何学？1.1方向的选择 为什么我一定要强调方向的选择，因为在有限的时间内，对于初级入门者，转行的同学最重要的是术业有专攻。要用有限的时间，去做收益最高的事，所以要在有限的时间内...

中国的IT行业因为有人口福利，所以但凡有个细分领域可以互联网+的，搞个应用服务，有日活十万+都可以活的很好了，当然像抖音那种日活过亿的，zoayi赚的盆满钵满。

曾国藩号：涤生。涤者，取涤其旧染之污也；生者，取明袁了凡之言‘从前种种，譬如昨日死，以后种种，譬如今日生也’。清唐鉴称赞曾国藩：“有志气！涤生，望你今后涤旧而生新。”“涤生”是曾国藩的号，有浴火重生之意。出自秉钰写给曾国藩的一封信，原文为：比如点灯，灯油耗尽时，风就不会有可乘之机把火吹灭，你的懒怠的心也该像灯油一样被耗干才能不被外面的花花世界所干扰，最后望你荡涤旧时的耻辱，早日得以复生。涤生手记，记录每个未梦想起舞的日子。...