编 辑:彭文华
来 源:大数据架构师(ID:bigdata_arch)
彭友们好,我是老彭啊。这两天好几个朋友拜托我帮忙招人啊~~真是"满园春色关不住,一枝红杏出墙来"!
今天为彭友们推荐几个超强的招聘需求,顺便附送几个吹牛草稿~~~
招聘需求
1、某部委的彭友找数据领域技术管理人才。不是老彭跟你吹,无数彭友打着灯笼都找不到这样的机会~~
2、某国企组建新团队,什么都要!有彭友说从0到1很难,其实不然。开拓性质的意思就是做啥都对。
3、某公司招聘数字化负责人,嗯,数字化领域的一把手,你懂的!
吹牛草稿之自我介绍
面试官好,我是 XX,目前就职于 xXX公司,已经有X年数仓开发经验。技术栈是Spark和Flink。我先后在XX和XX公司参与数仓从 0 到 1 搭建以及离线数仓重构、实时数仓搭建项目。目前离线数仓日处理任务量*个,数据*T,支撑*条业务线***个报表。实时数仓支撑**、**、**应用的实时业务需求,能做到*秒响应。
在技术方面,我经常研究技术原理,阅读过Flink源码,对Flink各种特性比较了解,例如 flink 的水位线,双流 join 等。遇到过各种大数据常见的问题,比如数据倾斜、调优等都有一些心得。
另外,比较注重与产品、业务团队的沟通和协调,在业务需求分析方面比较重视,善于沟通,尊重流程,提供较好的工作界面。
吹牛草稿之项目介绍
我举一个例子,就是目前我负责的实时数仓项目。该项目的目标是制作公司运营实时大屏。共有3个场景:面向决策层的驾驶舱、面向运营团队的实施运营大盘以及面向公司宣传的业务大屏。
虽然说是实时大屏,但是需要支持运营团队的其他需求,因此同时也需要离线数仓。为了保持技术栈的统一,也方便数据分析团队使用,我们经过选型,最终选定了Spark+SparkStreaming,作为离线+实时数仓的技术栈。
由于日志数据较大,我们使用Flume采集日志数据,利用kafka的超大吞吐量特性进行传输和分发,在实时业务上,Kafka的持久化特性也能发挥重要作用。
为了便于管理,防止对业务库的影响,我们使用canal实时同步Mysql业务库的数据。
在离线数仓中,使用DataX做数据处理和调度。总共分为4层:贴源层ODS、明细数据层DWD、汇总层DWS、业务应用层ADS,用户域、商品域、交易域等11个域。
各层分层逻辑....
各领域切分逻辑...
在运营板块,主要支持了XX、XX、XX等业务。以活动业务为例,我们从业务库中获取每日活动数据,从日志中抓取用户参与活动的数据,并进行**、**处理后,加工成**、**、**报表所需的数据,放在Redis中,供前端大屏调取。
在这个项目中,最难的是离线和实时数据对齐的问题,我们最终的解决办法是*****。
结语
金三银四来了彭友们,国家正在大力推动数字化发展,大家要抓住这次千载难逢的机会啊!
感兴趣的彭友们速度联系我,备注“姓名-公司-职位-城市”,加好友后不用客套,直接扔简历过来!别说话,别问!绝对靠谱!
更多精彩:
排版 | 老彭
审校 | 老彭 主编 | 老彭