大数据星球-浪尖

本文为您介绍数据模型架构规范。 数据层次的划分 ...

在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是...

作者：ninetyhe腾讯后台开发工程师Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统，通俗的说就是一个基于发布和订阅的消息队列，官网地址：https://kafk...

原ppt，关注公众号，回复：cksn 获取。

OLAP（On-Line Analytical Processing）是联机分析处理，它主要用于支持企业决策和经营管理，是许多报表、商业智能和分析系统的底层支撑组件，支持从海量数据中快速获...

作者|胡保强原文|https://zhuanlan.zhihu.com/p/59184600什么是ETLETL是数据抽取（Extract）、转换（Transform）、加载（Load ）...

七种模式介绍与应用场景简单模式（Hello World）做最简单的事情，一个生产者对应一个消费者，RabbitMQ相当于一个消息代理，负责将A的消息转发给B应用场景：将发送的电子邮件放到消...

Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。基础Kafka是一套流处理系统，可以让后端...

HbaseHbase是怎么写数据的？HDFS和HBase各自使用场景Hbase的存储结构热点现象（数据倾斜）怎么产生的，以及解决方法有哪些HBase的 rowkey 设计原则...

Spark通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？hadoop和spark使用场景？spark如何保证宕机迅速恢...

摘要：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括：背景及痛点Iceberg 架构痛点一：Kafka 数据丢失痛点二：近实时 Hive 压力...

MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。- Hbase Memst...

导读：Impala是Cloudera公司主导开发的交互式查询系统，它提供SQL语义和计算能力，但是本身并不存储数据。本次分享会聚焦于Impala在网易内部的一些新实践，以及基于Impala...

分享嘉宾：张泽华 京东 算法工程师编辑整理：王文婧出品平台：DataFunTalk导读：京东的9N算法框架已经被广泛应用于推荐广告、搜索广告、以及其他的站内外广告场景。本文将为大家介绍如何...

本文基于 Apahce Spark 3.1.1 版本，讲述 AQE 自适应查询优化的原理，以及网易有数在 AQE 实践中遇到的痛点和做出的思考。1前言自适应查询优化 (Adaptive Q...

有哪些类型的OLAP数仓？按数据量划分对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。比如我们可以基于数据量来选择不同类型的数量，如下图所示：本系列文章主要关注的...

- 前言 -经过小编这几天的学习理解，对TiDB数据库有了一定理解，所以现在回来总结。- 整体框架 -TiDB主要分为3个核心组件：TiDB Server ,P...

王玉唯品会实时平台OLAP团队负责人负责唯品会Presto、ClickHouse、Kylin、Kudu等OLAP组件的开源修改、组件优化和维护，业务使用方案支持和指引等工作。大家好，我是唯...

张磊京东到家 高级研发工程师8年+软件研发经验，曾先后就职于链家地产、互动吧、寺库网等公司，任研发人员或团队leader，在解决业务系统设计落地方面拥有丰富经验；现就职于达达-京东到家，主...

摘要：今天主要分享的内容是 Flink 在有赞的实践和应用。内容包括:Flink 的容器化改造和实践Flink SQL 的实践和应用未来规划一、Flink 的容器化改造和实践1. 有赞的集...

1、为什么有消息系统解耦合异步处理例如电商平台，秒杀活动。一般流程会分为：1: 风险控制、2：库存锁定、3：生成订单、4：短信通知、5：更新数据通过消息系统将秒杀活动业务拆分开，将不急需...

一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义...

Data Observability in Practice Using SQL1.前言在本系列文章中，我们会介绍如何从0到1做DQC。数据可能由于很多原因而出现错误，比如数据重复，sch...

2021年5月29日，9:00-18:50，DataFunSummit——多维分析架构峰会将如约而至，本次峰会由2位主席和10位出品人精心策划而来，邀请来自业界的50余位嘉宾从多维分析的核...

01数据数据是指未经过处理的原始记录。数据的本质是利用数学观察、记录、理解世界；数据分析的过程就是人类从定性到定量、模糊到精准过程。大家都喜欢看数据，而不是通过一堆的文字、现象进行决策判断...

作者|友创云天来源|http://t.hk.uy/bt5数据湖概述数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如...

作者丨孟小峰、刘立新全文共5610个字，建议阅读需15分钟当下，大数据的“堰塞湖”已经形成，数据治理问题迫在眉睫。传统的治理概念来自政府、企业、IT领域，数据治理既有其一般性，也有其特殊性...

HotSpot虚拟机开发团队在这个版本上花费了大量的精力去实现各种锁优化技术，如适应性自旋（Adaptive Spinning）、锁削除（Lock Elimination）、锁膨胀（Loc...

导语|随着互联网场景的不断深化发展，业务实时化趋势越来越强，要求也越来越高。特别是在广告推荐、实时大屏监控、实时风控、实时数仓等各业务领域，实时计算已经成为了不可或缺的一环。在大数据技...

今天谈下多数据中心和异地容灾备份方面的内容。在前面一篇文章里面我详细谈到过一个软件业务系统的高可用性设计，其中既包括了IT基础设施的高可用，也包括了业务软件系统设计方面的高可用性设计。对于...

前言随着我司业务飞速增长，实时数仓的建设已经提上了日程。虽然还没有正式开始实施，但是汲取前人的经验，做好万全的准备总是必要的。本文简单松散地记录一下想法，不涉及维度建模方法论的事情（这个就...

技术架构选型数仓分层数据模型层次调用规范https://help.aliyun.com/document_detail/154238.html技术架构选型教程本身是以阿里云MaxComp...

拉卡拉支付成立于 2005 年，是国内领先的第三方支付企业，致力于整合信息科技，服务线下实体，从支付切入，全维度为中小微商户的经营赋能。2011 年成为首批获得《支付业务许可证》企业的一员...

SparkSQL总体流程介绍在阐述Join实现之前，我们首先简单介绍SparkSQL的总体流程，一般地，我们有两种方式使用SparkSQL，一种是直接写sql语句，这个需要有元数据库支持，...

问你个问题：作为码农，你第一份工作能拿到多少K月薪?我猜你肯定会说，得看个人能力。没错，但我得补充一条，更重要的是工种！最近成功跳槽到字节，终面谈好35K，而且是18薪，终于拿到了人生的第...

- 前言 -Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机...

这些年，随着 5G 建设的铺开，“数字化转型”这个词也曝光在镁光灯下，各种展会，论坛上都讨论地热火朝天。仿佛不大谈特谈“数字化转型”，就是灰头土脸的泥腿子，注定要被淘汰一样。就连去年罗振...

今天，数据资产日益成为企业的核心竞争力。但如果企业在走向数字化过程中遗忘了数据治理，可能再多的投入都会变成一种“徒劳”。今天的文章来自美团配送数据治理团队，他们从数据治理的概念、达成的目标...

随着计算机行业的飞速发展，摩尔定律逐渐失效，多核CPU成为主流。使用多线程并行计算逐渐成为开发人员提升服务器性能的基本武器。J.U.C提供的线程池ThreadPoolExecutor类，帮...

一、前言　　随着社会的发展，技术的进步，以前的大型机架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的分布式架构，从大型机到分布式，经历了好几个阶段，我们弄...

业务策略多变导致需求多变，是业界很多技术团队面临的最具挑战的问题之一。那么如何设计一套易于扩展和维护的营销系统呢？今天的文章来自美团外卖营销技术团队，他们分享了从领域模型到代码工程之间的转...

来自：blog.csdn.net/qq_29676623/article/details/85108070为什么使用消息队列？消息队列的优点和缺点？kafka、activemq、rabbi...

关于大数据，有句话说的很好：“未来的商业竞争，就是数据的竞争。”实际上也确是如此，从电商的“猜你喜欢”到“防疫健康码”；从 AI 智能识别花草树木，到产生辅助诊疗建议；从无人商店到无人驾...

导读：本文介绍了美团外卖流量数据采集、流量数仓的建设以及典型的流量数据应用，其中重点介绍了流量数仓建设过程、在建设过程中需要关注的问题以及对应的解决方案。01流量数据采集1. 美团外卖流量...

导语 |市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演...

提起成熟的消息队列，毋庸置疑，大多数人的第一反应一定是 Kafka。Kafka 作为一款明星级产品，能够彻底满足海量数据场景下高吞吐、高并发需求，在短短几年内，已经被阿里、腾讯、百度、字节...

作者：说出你的愿望吧来源：https://juejin.cn/post/6844903999066341384一、Kafka基础消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以...

导语 | 在产品精细化运营时代，经常会遇到产品增长问题：比如指标涨跌原因分析、版本迭代效果分析、运营活动效果分析等。这一类分析问题高频且具有较高时效性要求，然而在人力资源紧张情况，传统的数...

前言今天来聊 final 关键字，因为最近在看的几本书都讲到了 final 关键字，发现好多小细节自己都忽视了，抽空总结了一下，分享给大家。正文final关键字是一个常用的关键字，可以修饰...

（一）技术架构选型在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如...

1.数仓建模的理由数据建模的主要目的是降低成本，提高数据的利用效率。尤其是大数据时代的到来，数据的多样化，巨量，更需要有效的有针对性数据建模方法。大数据的数仓建模正是通过建模的方法，更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点，一般我们会从以下面四点考虑： 性能：能够快速查询所需的数据，减少数据I/O的吞吐。 成本：减少不必要的数据冗余，实现计算结果的复用，降低大数据系统中的存储成本和计算成本。 效率：改善用使用数据的体验，提高使用效率。

导语 | Redis 大家用的不少，但是我们大多数人可能都只是关注业务本身，对于底层的细节则经常忽略，久而久之，对个人的成长帮助甚少。本文为大家总结了关于 Redis 常见用法的进阶指南，...

作者：张国鹏 | 腾讯 运营开发工程师前言Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark...

本文概要本文以证券期货行业数据模型（Securities Data ObjectModel，简称SDOM）为指导依据，介绍如何通过网易模型设计中心（EasyDesign）进行行业模型的规范...

理解Java动态代理需要对Java的反射机制有一定了解什么是代理模式在有些情况下，一个客户不能或者不想直接访问另一个对象，这时需要找一个中介帮忙完成某项任务，这个中介就是代理对象。例如，购...

导读：本文主要介绍京东在构建OLAP从无到有各环节考虑的重点，由需求场景出发，剖析当前存在的问题，并提供解决方案，最后介绍OLAP的发展过程。▌需求场景1. 京东数据入口① 业务数据：订单...

构建与优化数据仓库·架构与模型设计--阿里云教程技术架构选型数仓分层数据模型层次调用规范https://help.aliyun.com/document_detail/154238.htm...

导读：数据驱动的方法论已深入人心，无论是开发、产品还是运营，根据数据进行决策是必备环节。你是否好奇过，在优酷这样海量数据的场景下，是什么样的引擎在支撑着业务上林林总总的分析需求？大数据领域...

围绕中台的争议非常多，但是往往争议的原因是连中台这个概念都完全没有达成共识，可以说是毫无意义的争吵。在 12 月 20 日由极客邦科技举办的 QCon 全球软件开发大会 2020（上海站）...

摘要·Apache Kylin 在中通是如何落地的，又是怎样赋能中通快递实现 OLAP 分析能力起飞的？本文从多方面对比了 Presto 和 Kylin 的优缺点，并从业务场景、调度整...

引言“贝壳找房在做的就是推动居住服务这个传统行业进行深度的互联网化，在这个过程中数据是非常重要的支撑。”——张如松，贝壳找房数据平台高级工程师近日，Apache Kylin 5 周年在线庆...

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将分别介绍数据平台数据仓库数据湖和数据中台。相关概念数据...

一、美团数仓架构图如上图，是美团最新的数仓架构图。整个架构图分为三层，从下往上看，最下面一层是数据安全，包括受限域认证系统、加工层权限系统，应用层权限系统，安全审计系统，来保证最上层数据集...

提起成熟的消息队列，毋庸置疑，大多数人的第一反应一定是 Kafka。Kafka 作为一款明星级产品，能够彻底满足海量数据场景下高吞吐、高并发需求，在短短几年内，已经被阿里、腾讯、百度、字节...

常见的维表Join方式有四种：预加载维表热存储维表广播维表Temporal table function join下面分别使用这四种方式来实现一个join的需求，这个需求是：一个主流中数据...

一 概念1.1 什么是OLAP？OLAP(OnLine Analytical Processing)，即联机分析处理。OLAP对业务数据执行多维分析，并提供复杂计算，趋势分析和复杂数据建模...

大数据时代商业智能（BI）和数据可视化诉求更为强烈，淘宝大屏更是风靡全球！数据可视化是大数据『最后一公里』，BI唤醒沉睡的数据。传统型BI力求大而全的统一综合型报表和分析平台，侧重传统式报...

导语：本篇文章主要从元数据，controller 逻辑等方面介绍了如何解决支撑百万 partition 的问题，运营大规模集群其实还涉及到磁盘故障、冷读、数据均衡等数据方面的问题，监控和报...

在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量的号并进行“养号”工作，即在一年周期里让这些号形成正常的消费、通讯记录，目的是将...

作者：xiaolyuhmy.oschina.net/xiaolyuh/blog/3168216方法调用并不等同于方法中的代码被执行，方法调用阶段唯一的任务就是确定被调用方法的版本（即调用哪...

一、业务场景知乎从问答起步，在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台，目前，知乎上有多达 3000 万个问题，共收获了超过 1.3 亿个回答，同时知乎还沉淀了数量众多的文...

在用户选择一个消息系统时，消息模型是用户首先考虑的事情。消息模型应涵盖以下 3 个方面：消息消费——如何发送和消费消息；消息确认（ack）——如何确认消息；消息保存——消息保留多长时间，触...

创建测试表使用phoenix在HBase中创建测试表，字段使用VARBINARY类型CREATE TABLE IF NOT EXISTS test_binary (date VARCHA...

来自：blog.csdn.net/wqc19920906/article/details/79785424前天写SQL时本想通过 A left B join on and 后面的条件来使查...

总第432篇2021年 第002篇Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点...

总第445篇2021年 第015篇数据已成为很多公司的核心资产，而在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整...

复杂的数据关系数据仓库模型建设数据管理一直在演进，从早期的电子表格、蛛网系统到架构式数据仓库。发展至今以维度建模和关系建模为主，而随着互联网的发展，数据从GB到PB的裱花，企业业务迭代更新...

找Java工作的时候，线程池是一个必问的知识点，面试时，有的人只能讲五分钟，而有些人可以讲半个小时，差别在哪？在于知识的深度。下面几个面试高频题，你会吗？不会，赶紧收藏此博文。线程池各个参...

当我们想用一张或几张图来描述我们的系统时，是不是经常遇到以下情况：· 对着画布无从下手、删了又来？·如何用一张图描述我的系统，并且让产品、运营、开发都能看明白？·画了一半的图还不清楚受...

摘要：数据接入与传输作为打通数据系统与业务系统的一道桥梁，是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性，直接影响整个数据系统服务的 SLA 和质量。此外如何提升系统...

Kafka 事务实现原理Kafka 事务在流处理中应用很广泛，比如原子性的读取消息，立即处理和发送，如果中途出现错误，支持回滚操作。这篇文章来讲讲事务是如何实现的，首先来看看事务流程图。事...

在JAVA程序中，性能问题的大部分原因并不在于JAVA语言，而是程序本身。养成良好的编码习惯非常重要，能够显著地提升程序性能。在合适的场合使用单例使用单例可以减轻加载的负担，缩短加载的时间...

- Uber 的 Kafka 生态系统 -Uber 拥有世界上最大的 Kafka 集群，每天处理数万亿条消息和几个 PB 的数据。如图 1 所示，Kafka 现在成了 Uber 技术栈的基...

本文来源：http://rrd.me/g6P3VImpala简介Impala是由Cloudera公司开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase上的...

作者简介 黄峰，Kyligence 公司高级研发工程师，目前主要负责 Kyligence 企业级产品的开发以及维护工作。对 OLAP 场景的查询而言，单个查询往往需要在存储端扫描大量数据，...

来源：BAT小米公司换logo了由日本平面设计大师原研哉亲自操刀设计新logo花了三年时间设计据说设计费高达200w下图左边那个就是新的——一个logo就要200w不得不说大师就是大师这钱...

一、常见的 CDC 分析方案我们先看一下今天的 topic 需要设计的是什么？输入是一个 CDC 或者 upsert 的数据，输出是 Database 或者是用于大数据 OLAP 分析的存...

阿里中台的概念，可以说是近些年来的颇为火爆的概念。从十余年前的阿里在内部完成这一过程，并提出了“中台”概念；到后面中台概念逐步被外部接受并在2019年爆火兴起。数据中台爆火背后，既有传统企...

摘要：本文由 Apache Flink Committer 马国维分享，主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括：背景流批一体的分层架构流批一体DataStre...

虽说目前互联网上已经有很多关于sql注入的神器了，但是在这个WAF横行的时代，手工注入往往在一些真实环境中会引起尤为重要。此处主要把以前学过的知识做个总结，不会有详细的知识解读，替代查询手...

今天谈下架构设计中的分层思维和分层模型以及基于分层思维下的架构构图逻辑。架构思维概述对于架构思维本身仍然是类似系统思维，结构化思维，编程思维等诸多思维模式的一个合集。由于架构的核心作用...

数仓模型架构搭建、模型设计是整个数仓建设的核心部分。数仓建模的价值体现在：数据质量、健壮水平、资源消耗、服务响应速度。写在前面：我们为什么要建模这里想先说下，这些年我在数仓摸爬滚打的一些经...

01主数据建设的术法道随着企业信息化系统建设逐渐增多，领导、业务部门对信息系统支撑决策、管控、业务运行难度也随之提高，导致解决业务系统间的交互困难和数据多头管理不一致等问题成为信息化建设的...

本文来源：http://r6d.cn/bdvqaFlume简介Flume概述：Flume是开源日志系统。是一个分布式、可靠性和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于...

今天下午，在微信群里看到粉丝聊天，提到了一个某公司的面试题：什么情况下，hive 只会产生一个reduce任务，而没有maptask这个问题是不是很神奇？我们常规使用的mapreduce...

分享嘉宾：王啸@贝壳找房 资深研发工程师编辑整理：王建新出品平台：DataFunTalk导读：贝壳作为全国领先的房产交易和租赁在线服务平台，有很多业务场景会产出大量实时和离线数据，针对这些...

本文来源：http://r6d.cn/bemp7Hive概述数据仓库的概念：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integ...

来源 |sanesee.com/article/15-forgettable-java-question通常，在面试中，会遇到面试官提一些比较“偏冷”的基础知识，比如基本数据类型所占用的...

作者简介数据猩猩，携程数据分析总监，关注分布式数据存储和实时数据分析。实时数据分析一直是个热门话题，需要实时数据分析的场景也越来越多，如金融支付中的风控，基础运维中的监控告警，实时大盘之...

来源：https://www.toutiao.com/i6913538714060800515/postman是一款支持http协议的接口调试与测试工具，其主要特点就是功能强大，使用简单且...