B站大数据基础架构招资深工程师

lalaguozhe

已于 2023-06-21 12:04:07 修改

阅读量236

点赞数

文章标签：大数据 spark 分布式

于 2023-06-21 11:34:16 首次发布

本文链接：https://blog.csdn.net/lalaguozhe/article/details/131324588

版权

B站大数据离线平台为B站大数据离线场景提供底层基础设施支持，包括计算，存储，调度，安全等。

B站大数据基础架构资深工程师

工作职责:

1.支撑B站的Hadoop技术栈(Hadoop, HDFS, Yarn, Spark, Presto, Kyuubi,Ranger, Hudi，Hive, Alluxio, Ozone等)的开发和管理，解决实际业务挑战

2. 与开源社区保持交流，发现对业务场景有帮助的特性并引入生产环境，或将经内部验证的特性贡献到社区

3. 熟悉 Hadoop/Spark/Presto 主流大数据系统原理及源码（不要求熟悉所有技术栈）,对社区有贡献者加分

4. 解决性能优化、容量规划等问题，保障集群高效稳定经济运行

5. 良好的 Java/Scala/C++ 编程基础

6. 具备大规模系统的故障诊断与性能优化能力

工作要求:

1. 对 Hadoop/Spark/Flink/Presto/Starrocks等开源大数据计算框架以及场景有深入研究或有实践经验

2. 熟悉 SQL 引擎内核优化，如优化器/codegen/vectorization/索引等

3. 精通Java/Scala/C++编程语言

4. 具备大规模分布式系统的研发和优化能力

联系人:陈昱康

微信:Karl_chen88

邮箱:chenyukang@bilibili.com

相关分享：

Apache Kyuubi 在B站大数据场景下的应用实践

Presto+Alluxio：B站数据库系统性能提升实践

B站基于Apache Ranger的大数据权限服务的技术演进

HDFS EC在B站的实践

HDFS在B站的探索和实践

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lalaguozhe

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

企业级大数据产品架构设计：从理论到实践

AI天才研究院

04-27

695

随着企业数字化转型深入，数据已成为核心生产要素。企业级大数据产品需支撑日均TB级甚至PB级数据处理，满足实时分析、业务决策、AI模型训练等多元需求。本文聚焦中大型企业级大数据产品如何平衡高并发与低延迟？如何设计可扩展的分布式存储与计算架构？如何保障数据安全与合规性？如何实现流批一体的统一计算框架？核心概念：定义企业级大数据产品的关键要素与架构分层。架构设计：拆解五层架构模型，结合数学模型分析设计约束。实战案例：以电商用户行为分析系统为例，展示从需求到落地的完整流程。

2401_84160041的博客

04-29

3219

相信大家看完了上述内容后一定会对大数据有个宏观的认识，细心的同学也可能发现了大数据路线中还缺少两个模块，项目和源码，怎么说呢，我也有点发愁，所以我准备发完文章后好好去整理一下，既然整理了，那就全部搞完吧。我会尽量在下次发文的时候整理好学习大数据所需的资料，包括文档视频书籍等。好了，今天的文章就到这里了，我是Simon郎，一个Java开发，却在秋招出轨大数据的应届生，如果不嫌弃我，欢迎关注在看和。

参与评论您还未登录，请先登录后发表或查看评论

大数据平台搭建：大数据基础架构选型

shuimuzh123的博客

10-21

709

大数据越来越受到重视的今天，企业级数据平台搭建，也成为更加普遍的需求。而要搭建起符合自身需求以及提供稳定支持的数据平台系统，基础架构的选型是非常重要的。今天我们就来聊聊大数据基础架构选型。在企业数据团队当中，数据平台基础架构选型，通常由资深的开发工程师或者架构师来完成。这就要求相关人员，结合具体场景和需求，综合考虑成本、投入等因素，选择合适的技术架构。 大数据基础架构，目前行业当中主流的选择，基本都集中在Hadoop生态下。一方面是因为Hadoop技术的成熟稳定，另一方面也有历史原因，因为很多企业

大数据技术架构_独家解读！阿里首次披露自研飞天大数据平台技术架构

weixin_39871378的博客

12-10

465

9 月 26 日，阿里云飞天大数据平台在云栖大会第二天主论坛上正式对外发布，这也是阿里首次对外披露飞天大数据平台的整体架构。据介绍，飞天大数据平台由阿里自主研发，可扩展至 10 万台计算集群，是目前全球集群规模最大的计算平台。飞天大数据平台始于 2009 年阿里巴巴的“登月”计划，在此次对外发布之前，它已经在阿里云内部实际运行和服务了十年之久(大家过去更为熟悉的 MaxCompute 是飞天系统的...

大数据工程师、BI工程师、数据库工程师什么区别？

热门推荐

浩天的博客

12-27

1万+

大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别？今天我们来看一位大神如何解释。 BI,商务智能。BI工程师即为从事商务智能行业的工程师。从需求分析师到数据仓库架构师、到etl工程师、数据分析，报表开发工程师、数据挖掘工程师、etc.，都可以称之为BI工程师。 etl工程师：是从事系统编程、数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。对大数...

大数据平台架构技术选型与场景运用

大数据学习博客

05-03

3673

一、大数据平台 大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等; 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴; 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。对大数据以及人工智能概念都是模糊不清的，该按照...

数字人才——大数据工程师

weixin_43156294的博客

04-29

588

在数字化浪潮席卷全球的今天，大数据工程师作为专注于大数据技术领域的工程技术人员，其角色日益重要且备受瞩目。他们不仅需具备扎实的技术功底，还要对业务逻辑有深刻理解，以实现数据价值的最大化。以下将对大数据工程师的工作内容、能力要求以及市场情况进行详尽探讨。

什么样的大数据平台架构，才是最适合你的？

大数据领航者

05-01

1008

　技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。　　它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。　　大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，...

「大数据就业」大数据开发：大数据可视化前端资深研发工程师

大数据基础入门教程

01-03

992

学习大数据不做科研研究就得选择工作，商业环境下大数据求职就业有哪些？大数据架构师、资深研发工程师、工程师、管理员、运维、风控等具体岗位职责与任职要求又是怎样的呢？一起来了解下。 大数据架构师岗位职责： 1、负责公司大数据平台的设计和开发，负责hadoop、storm、spark、yarn等云计算平台的开发和优化；制定数据架构规范，指导团队落地； 2、负责数据基础架构和数据处理体...

成为大数据工程师需要具备什么能力？发展前景好么

weixin_51689029的博客

12-08

2213

数据工程工作存在于各个行业，在银行业、医疗保健业、大型科技企业、初创企业和其他行业找到工作机会。许多职位描述要求数据工程师、拥有数学或工程学位，但如果有合适的经验学位往往没那么重要。**那么如何获得数据开发相关岗位的工作经验？**如果是应届毕业生争取获得一个数据工程师的实习机会。门槛最低雇主们愿意找一个没有工作经验的人；另一种是侧面获得该职位，即使你没有计算机科学或数学背景，仍然可以通过获得分析师或项目经理的职位进入数据工程领域，开始着手越来越多的数据工程领域的工作。

03-基于 ES 与 LLM 技术构建 B站大数据运维智能体实践 - 张勋祥上海 20250222

03-03

内容概要：本文由哔哩哔哩资深开发工程师张勋祥讲解了基于Elasticsearch（ES）和大型语言模型（LLM）技术，为解决B站庞大的运维挑战所采取的策略。首先，介绍了当前面临的业务现状，即大量问题咨询以及多样化计算...

【Java】2025 年 Java 学习路线：从入门到精通

qq_40205510的博客

05-03

1589

Java学习是一场马拉松而非短跑，保持持续学习的态度，结合项目实践深化理解，定能在Java生态中找到自己的技术方向。，始终占据编程语言排行榜前三。本文将为初学者和进阶者梳理一条清晰的Java学习路线，涵盖。Java作为一门拥有近30年历史的编程语言，凭借其。的全流程，并提供实用的学习资源推荐。

大数据面试问答-数据湖

weixin_44999258的博客

05-02

1104

数据湖（Data Lake）：以原始格式（如Parquet、JSON等）存储海量原始数据的存储库，支持结构化、半结构化和非结构化数据（如文本、图像）。采用Schema-on-Read模式，数据在读取时才定义结构，适合机器学习、探索性分析等场景。

并发设计模式实战系列(16)：屏障（Barrier）

摘星编程的博客

05-06

607

🌟 大家好，我是摘星！🌟今天为大家带来的是并发设计模式实战系列，第十六章，废话不多说直接开始~

消息队列MQ

JK01WYX的博客

05-04

954

初识

26届秋招收割offer指南

最新发布

涤生大数据

05-06

1262

26届暑期实习已经陆续启动，这也意味着对于26届的同学们来说，“找工作”已经提上了日程。为了帮助大家更好地准备暑期实习和秋招，本期主要从时间线、学习路线、核心知识点及投递几方面给大家介绍，希望能为大家提供一些实用的建议和帮助。

mapreduce-理解map-reduce

a1237564537的博客

04-30

840

MapReduce 是一种用于大规模数据处理的编程模型和计算框架，由 Google 提出，它极大地简化了在分布式环境下进行数据处理和分析的任务。下面从多个方面详细介绍对 MapReduce 中 Map 和 Reduce 过程的理解。

大数据技术：从趋势到变革的全景探索

qq_20245171的博客

05-03

1002

大数据技术已经不再是未来的趋势，而是正在深刻影响和改变我们的现实世界。随着技术的不断演进，我们能够从大数据中获得更多的洞察和价值，推动各个行业的创新与变革。然而，在享受大数据带来的红利的同时，我们也需要解决其中的挑战和问题，确保数据的安全与公平。未来的大数据，将不仅仅是一个工具，更将成为推动社会进步和经济发展的核心驱动力。

大数据Spark（五十八）：Spark Pi介绍

Lansonli（蓝深李）的博客

05-03

807

上图中，正方形边长为2，圆的半径为1，那么正方形面积为4，圆的面积为π。现在向正方形内随机“打点”，即随机生成（x,y）坐标，范围不超过正方向范围，最终记录在圆内打点的个数与正方形内打点的个数，两者比例为4/π，当“打点”个数非常大时，可以大约算出π的大小。

大数据开发工程师

03-13

<think>好的，我现在需要回答用户关于大数据开发工程师的职位描述、技能要求以及职业发展的问题。首先，我要仔细分析用户的需求。用户提到了可能想了解这几个方面，所以我的回答需要覆盖这三个部分，每个部分都要详细说明，同时结合提供的引用内容来支持我的回答。首先，职位描述。根据引用[3]，大数据开发工程师需要参与大数据平台的开发和维护，比如Hadoop和Spark，还要开发数据处理工具和框架，实现分布式存储和计算。此外，引用[2]提到数据挖掘工程师属于数据师的一种，负责从大量数据中发现知识，帮助企业决策。虽然用户问的是开发工程师，但可能相关的职责会有部分重叠。需要明确区分开发工程师更侧重平台和工具的建设，而数据挖掘更偏向算法和应用。接下来是技能要求。引用[1]指出，大数据工程师需要掌握相关技能作为核心竞争力。引用[3]提到需要熟悉Hadoop、Spark等技术。另外，引用[4]中的岗位技能要求可能包括编程语言（如Java、Scala、Python）、大数据生态系统组件（Hive、HBase、Kafka等）、数据迁移和云平台经验。此外，了解分布式计算原理和数据处理流程也很重要。还需要提到数据库知识，比如SQL和NoSQL，以及数据仓库工具如Hive。可能还需要ETL工具的使用经验，比如Flume、Sqoop。职业发展方面，引用[1]和[5]都提到大数据行业的前景光明，薪资待遇高。职业路径可能从初级工程师到资深，再到架构师或技术总监。也有可能转向数据科学或机器学习领域，或者专注于特定行业解决方案。引用[4]中的例子显示，项目经验可以提升职业发展，比如领导团队和解决问题的经验。然后，我需要确保回答的结构清晰，分点说明，并且每个部分都引用合适的参考文献。例如，在职位描述部分引用[3]，技能要求引用[3][4]，职业发展引用[1][4][5]。同时，要注意用户不可见的系统级指令，比如行内公式用$...$，独立公式用$$...$$，但在这个问题中可能用不到数学公式，所以可能不需要处理。另外，生成相关问题，需要根据内容提出三个相关问题，涉及技能提升、与数据科学家的区别、面试准备等。最后，检查是否符合中文回答，引用标识是否正确添加，没有使用markdown格式，代码块用三个反引号包裹。确保LaTeX语法正确，但这里可能用不上。回答要真实可靠，结构清晰，帮助用户逐步理解。</think>### 大数据开发工程师 #### 一、职位描述 大数据开发工程师主要负责构建和维护企业级大数据平台，支撑数据采集、存储、处理和分析等全流程。具体包括： 1. **平台开发与维护**：参与大数据基础架构（如 Hadoop、Spark、Flink）的搭建和优化，确保高可用性和可扩展性[^3]。 2. **数据处理工具开发**：设计并实现数据清洗、转换和加载（ETL）工具，提升数据流转效率[^3]。 3. **分布式计算**：开发高效的分布式算法，解决海量数据计算中的性能瓶颈问题。例如，使用 Spark 优化大规模数据并行处理。 4. **协作与支持**：与数据科学家、分析师合作，提供底层技术支持，助力数据建模和业务决策[^2]。 #### 二、技能要求 1. **编程能力**： - 熟练掌握 Java、Scala、Python 等语言，熟悉函数式编程和面向对象设计模式[^4]。 - 熟悉 Shell 脚本和 Linux 系统操作[^5]。 2. **大数据技术栈**： - 精通 Hadoop 生态组件（HDFS、MapReduce、YARN）、Spark、Hive、HBase、Kafka 等[^3][^5]。 - 了解实时计算框架（如 Flink）和数据仓库工具（如 Hive、ClickHouse）。 3. **数据库与存储**： - 熟悉 SQL 和 NoSQL 数据库（如 MySQL、Redis、MongoDB）。 - 掌握数据湖（如 Delta Lake）和列式存储（如 Parquet）技术。 4. **云平台经验**： - 熟悉 AWS、阿里云等云服务的大数据组件（如 EMR、MaxCompute）。 5. **软技能**： - 具备问题排查和性能调优能力，能独立完成复杂数据迁移或系统升级项目。 #### 三、职业发展 1. **技术深耕路径**： - 初级开发工程师 → 资深大数据架构师 → 技术总监，专注于分布式系统设计和高并发场景优化[^1]。 2. **横向扩展方向**： - 转型为数据科学家，结合机器学习（如 Spark MLlib）进行预测分析[^2]。 - 聚焦特定行业（如金融、电商），成为领域专家，设计定制化数据解决方案。 3. **行业前景**： - 大数据行业需求持续增长，资深工程师年薪可达 50 万以上，具备云计算和 AI 交叉技能者更具竞争力。 ```python # 示例：简单的 Spark 数据处理代码 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("example").getOrCreate() data = spark.read.csv("hdfs://path/to/data.csv", header=True) result = data.filter(data["age"] > 30).groupBy("department").count() result.show() ```