【百度】B端数据中台组_大数据研发工程师(J68899)

最新推荐文章于 2024-09-14 22:07:12 发布
最新推荐文章于 2024-09-14 22:07:12 发布
阅读量444 收藏
点赞数 1
分类专栏： 大厂工作机会 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38314385/article/details/136440926
版权
这篇文章描述了北京市的一份技术岗位，需招聘一名负责百家号和Feed相关大数据的建设者，包括数仓优化、Spark技术应用、大数据支持、日志架构开发和流式计算平台建设，要求具备计算机专业背景，熟悉相关技术和工具如SQL、Scala/C++、Hadoop/Spark等。
摘要由CSDN通过智能技术生成

北京市技术3人2023-12-14

工作职责：

  • 负责百家号和Feed相关大数据的基础建设
  • 负责数仓引擎、Spark底层的优化和基础建设
  • 为百度系APP相关业务分析及策略优化提供大数据支持
  • 参与百度系APP日志数据架构开发和APP端性能分析平台建设

职责要求：

  • 本科及以上学历，计算机相关专业
  • 熟练使用SQL，以及Scala/C++其中一种编程语言，对分布式架构和并行计算有较深刻理解
  • 熟悉Hadoop/Spark/HBase/Kylin/ClickHouse等大数据计算和存储技术栈，了解其工作原理，并有实际开发经验
  • 熟悉Spark Streaming/Flink等流式计算框架，以及Kafka等常见消息队列
探小虎
关注
专栏目录
大数据工程师需要哪些基础知识？
大数据Hadoop学习
10-31 784
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。 这群人在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传...
如何成为一名大数据工程师？
大数据入门零基础教程学习教学
05-17 987
作为IT类职业中的“大熊猫”，大数据工程师这个职业在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。 大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。 这群人在国外被叫做数据科学家(Data Scientist)，这个头衔最早由D.J.Pati和Jeff Hammerbacher于2...
大数据工程师怎样炼成？
Future的博客
07-25 1576
导读作为IT类职业中的“大熊猫”，大数据工程师这个职业在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。这群人在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008
大数据常见面试问题汇总
Bigdata_shit的博客
07-12 4059
你。
【面经】百度25届秋招提前批Java研发岗面经及解答
Liu_y_xin的博客
07-21 1118
百度25届秋招提前批Java研发岗
大数据工程师职业发展以及薪酬一览
xiaokaiabcde的博客
10-30 8422
大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。 　　这群人在国外被叫做数据科学家(Data Scientist)，这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统...
大数据工程师职业前景到底有多好？听BAT怎么说！
weixin_44386638的博客
02-23 376
作为IT类职业中的“大熊猫”，大数据工程师这个职业在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段，这个领域出现很大的人才缺口。 大数据工程师的努力方向在哪？ 大数据工程师都做什么工作？ 大数据工程师都需要具备哪些能力？ 大数据工程师的职业发展如何？ 本文为大家整理了一份专家观点，望对同学们的大数据从业有帮助： 互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助...
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 792
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
Flume：大规模日志收集与数据传输的利器
最新发布
Casual_Lei的博客
09-14 808
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 838
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 988
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
【RabbitMQ】工作模式
weixin_73060900的博客
09-11 936
对RabbitMQ工作模式的简单概述以及代码案例
滚雪球学SpringCloud[2.2]：Consul与Zookeeper服务注册
**My Coding Family**
09-14 660
在上一节【2.1 服务注册中心Eureka】中，我们探讨了 Netflix 开源的服务注册中心 Eureka 的核心概念及其在微服务架构中的应用。Eureka 通过提供服务注册与发现功能，帮助微服务之间高效通信，并且具备高可用性和扩展性。虽然 Eureka 在微服务架构中应用广泛，但并不是唯一的解决方案。除了 Eureka，还有其他非常优秀的服务注册中心，如Consul和Zookeeper，它们在不同的场景下各有优势。本节将详细介绍Consul和Zookeeper。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 553
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-127 - Flink State 04篇 状态原理和原理剖析：状态存储 Part2
永远好奇，无限进步！
09-10 2257
在Flink的实际实现中，对于同一种StateBackend，不同的State在运行时会有细分的StateBackend托管，例如：MemoryStateBackend，就有DefaultOperatorStateBackend管理OperatorState，HeapKeyedStateBackend管理KeyedState。JOB_ID是应用的唯一ID，CHECK_POINT_ID 是每次 CheckPoint时自增的数字ID，我们可以从备份的CheckPoint数据恢复当时的作业状态。
Kafka下载与安装教程（国产化生产环境无联网服务器部署实操）
latesummer_的博客
09-14 388
请放心观看，已在正式环境部署验证，流程无问题！所用系统为国产化麒麟银河 aarch64系统，部署时间2024年9月份！
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2112
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
828华为云征文 | 使用华为云X实例部署图数据库Virtuoso并存储6500万条大数据的完整过程与性能测评
cooldream2009的博客
09-10 1657
在大数据时代，图数据库以其强大的关系处理能力在复杂网络、社交媒体分析、知识图谱等领域得到了广泛应用。而在云计算的蓬勃发展下，使用云服务器进行图数据库的部署与管理变得更加方便高效。本篇文章将详细介绍如何在华为云X实例上部署开源图数据库Virtuoso，并将6500万条大数据存储于其中，最后对数据库的性能进行全面测评，为后续大规模数据管理提供有益参考。
滴滴大数据研发中台：从发展到实践
该资料详细阐述了滴滴大数据的发展历程、一站式大数据研发中台的构建、核心组件的设计剖析以及基于研发中台的数据治理实践。 滴滴大数据发展史可以概括为以下几个阶段： 1. **2014年：刀耕火种阶段** - 在这个阶段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值