过往记忆大数据

刚刚过去的2024年，对于整个行业来说无疑是充满挑战的一年。我们见过太多的行业裁员和团队解散，有些规模不大，有些则背靠大厂。某大厂一度裁员裁出新高度。只能说，在行业下行下，曾经再多的荣光也抵挡不了如今的落寞。当下形势，普通人要想赚钱不落人后，只有努力跟上时代的步伐，积极的赶上行业新赛道也就成功了一半。可以说，目前已经有一批大数据人则成功地预判到了国家重点发展的行业趋势，选择了与行业关联最紧密的ES...

本文原文来自：Databases in 2024: A Year in Review // Blog // Andy Pavlo - Carnegie Mellon University就像一颗子弹击中你的头顶，我回来了，要给你带来我关于数据库领域发生的事情的年度综述。是的，我曾经在OtterTune博客上写过这篇文章，但公司已经倒闭了（安息吧）。我现在在我的教授博客上发表这篇文章。过去的一年有很...

年关将至，互联网大厂的年终福利就像一场没有硝烟的“炫富”大战，每一家都使出浑身解数，想要用优厚的福利来犒劳辛苦一年的员工，同时也吸引更多的人才加入。今天，就让我们一起深入盘点一下那些互联网大厂的年终福利吧！一、京东：年终奖最高可达26薪京东的年终奖计划真的是诚意满满。基层员工（O序列）将在1月26日（腊月二十七）收到年终奖，专业技术类和项目管理类员工（P序列）则在2月27日收到。而且，今年京东的奖...

随着 Spark >= 3.3（在 3.4 中更加成熟）中引入的存储分区连接（Storage Partition Join，SPJ）优化技术，您可以在不触发 Shuffle 的情况下对分区的数据源 V2 表执行连接操作（当然，需要满足一些条件）。Shuffle 是昂贵的，尤其是在 Spark 中的连接操作中，主要原因包括：•Shuffle 需要跨网络传输数据，这是 CPU 密集型的。•在 S...

在当今数字化飞速发展的时代，软件编程语言的抉择对科技企业的开发效率与项目质量有着至关重要的影响。Meta 公司作为科技领域的巨头，做出了将大量Java代码迁移到Kotlin的重大决策。Meta之所以选择Kotlin，是因为Kotlin相对Java具有众多显著优势。Kotlin支持可空性和函数式编程，这使得代码在处理空值和逻辑处理上更加简洁高效；其代码更为简短，有助于提高开发效率；还能创建特定领域语...

本文翻译自：《Magnet: Push-based Shuffle Service for Large-scale Data Processing》摘要在过去的十年中，Apache Spark 已成为大规模数据处理的流行计算引擎。与其他基于 MapReduce 计算范式的计算引擎一样，随机Shuffle操作（即中间数据的全部对全部传输）在 Spark 中起着重要作用。在 LinkedIn，随着数据量...

确实是大部分软件都有开源的，从系统到数据库到各类工具、应用，都有开源，而且开源的东西大都比较流行，拥趸众多报表工具当然也不例外，也有开源，而且很早就有，但是开源报表工具的流行程度却是个例外早些时候，在国内的使用者还不算少，当然也不算多，并不算流行，有几个开发者论坛，大家可以在上面交流一些使用中的问题。现在的情况比之前要更差一些，论坛已经荒芜不知去向，年轻一些的同学，甚至都没听说过开源报表这回事了，...

StarRocks 社区的年度盛会——StarRocks Summit Asia 2024 将于 12 月 7 日在北京隆重登场！StarRocks 社区作为连接用户、平台方、业务方、技术爱好者与学术人员的开放平台，始终致力于打造标准化的行业解决方案，让每一位参与者都能在实践中汲取经验，在交流中碰撞创新。在过去三年的交流中，我们与数百家社区用户共同探讨了大数据领域的主要挑战：随着实时分析需求的激增...

????注意注意！????分享一个免费，又干货满满的软考备考通关交流群！‍进群听课免费领1⃣️2天软考大咖公开课2⃣️升级版-软考备考提分资料包3⃣️7天1V1备考指导+考试专业选择4⃣️历年真题库+核心必考点+万能通关技巧软考证书作为计算机行业公认的王牌证书，近几年每年都有上百万人报名。其中的软件架构设计师和软件设计师则是技术领域含金量最高的两个科目，对于研发、测试、产品、数据岗位的同学来说，是精进技术能力...

摘要：多点在云原生建设中，全力推动Spark on k8s及大数据调度平台、日志采集、集群监控等组件的升级迭代，打造出了一套云中立，更具性价比的存算分离架构体系，平稳支撑了公司To B业务的开展。一、背景1.1 Hadoop 生态：短板凸显多点 DMALL 最初使用的是传统的 Hadoop 生态搭建大数据集群。使用 HDFS + Hive + Spark + Flink + Yarn 的经典组合，...

滴滴 Elasticsearch简介简介Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 接口的全文搜索引擎，其每个字段均可被索引，且能够横向扩展至数以百计的服务器存储以及处理 TB 级的数据，其可以在极短的时间内存储、搜索和分析大量的数据。滴滴 ES 发展至今，承接了公司绝大部分端上文本检索、少部分日志场景和向量检索场景，包括地图 POI 检索、订单检索...

浩鲸科技 2003 年创建，为运营商提供高质量信息服务，在全球有多个研发中心。浩鲸科技正在进行业务全球化的布局，目前海外市场占比已接近 50%。国外运营商的用户规模小，用户业务量不高，运营商主机数量少。由于业务特点，其对独立小型部署需求较多。ByConity 给浩鲸科技提供了对应产品能力，帮助其解决了产品痛点，更好地满足了客户需求。本文将介绍浩鲸科技在电信运营商场景下使用 ByConity 进行实...

如果你问：2024年，程序员必须掌握哪项技术？AI一定是榜首！从去年起，AI大模型已是程序员的必备工具——‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍编程提效：编写更快，程序更稳定；代码更优：测试数、BUG对应减少；项目爆单：训练模型，接&做项目更快；输入prompt指令和搭建AI大模型开发框架，AI就能迅速批量完成工作，甚至比人工更出色。知名大厂都在布局AI市场，懂AI的程序员年薪甚至翻到80w-9...

《企业级BI平台白皮书》是观远数据发布的业内首部聚焦规模型企业数字化转型，探寻BI平台企业级能力建设方法论的白皮书，也是观远数据基于多年来与超过400家先进企业携手数字化实践的经验沉淀与应对方案整合。白皮书从规模型企业数字化转型特有的挑战入手，针对企业丰富的数字化触点、规模化能力建设、智能决策、组织升级需求进行分析，梳理了规模化企业对于“企业级BI”能力的要求，建设性地提出了企业级BI“五力模型”...

国内大模型“落地战”终于打响！一些大模型企业开始赚钱了最高单个项目金额近2亿元人民币除科大讯飞、阿里云、华为等巨头公司之外，很多中小企业也陆续进场各个机构与企业开始大刀阔斧招揽 AI 人才甚至开出80k*16的高薪，挖掘会使用 AI 的数据人才！作为数据人，如何不被时代抛弃，享受AI技术带来的红利？！????知乎知学堂特发起：行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时后...

在过去三年中，来自Meta、Ahana（现为IBM）、Intel和字节跳动的工程师团队联手打造了一款名为Velox的先进执行引擎，它的设计目标是可以在各种计算引擎之间灵活组合使用。在这个过程中，他们开发出了基于C++的Presto worker，这是一个全新的查询执行引擎，它基于Velox构建，此前被称为Project Prestissimo，现在则被命名为Presto 2.0。我们很高兴地宣布，...

总第592篇 |2024年第012篇Apache Spark是一个优秀的计算引擎，广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下，既可获得资源节省，又能加速作业执行。Gluten+Velox解决方案为Spark换上了向量化执行引擎，本文将阐述美团在这一方向的实践和思考。1 什么是向量化计算1.1 并行数据处理：SIMD指令1.2 向量化执行框架：数据局部性与运行时开销1....

随着GPT大热“AI大模型”无疑是最火爆的话题！Google、百度、腾讯等等巨头互联网公司，无不在布局人工智能技术和市场，甚至还有60k*16的高薪，挖掘会使用 AI 的数据人才！作为数据人，如何不被时代抛弃，享受AI技术带来的红利？！????知乎知学堂特发起：行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时后关闭通道！速进！AI大模型-重塑数据人核心竞争力（不限年龄！不限岗...

Presto at UberUber 利用开源的 Presto 查询各种数据源，无论是流式还是归档数据。Presto 的多功能性赋予我们做出基于数据的明智商业决策的能力。我们在两个地区运行了大约20个 Presto 集群，总共超过10,000个节点。我们有大约12,000个每周活跃用户，每天运行约500,000个查询，从 HDFS 读取约100 PB 的数据。现在，Presto 被用于查询各种数据...

旧金山 — 2024年6月4日 — 专注于数据和人工智能的 Databricks 公司今天宣布，已经决定收购由 Ryan Blue、Daniel Weeks 和 Jason Reid 创办的数据管理公司 Tabular。这次收购汇集了 Apache Iceberg™ 和 Linux Foundation Delta Lake 的创始人，这两种开源 lakehouse 格式是目前领先的数据存储格式。...