![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
迹说
一起成长
展开
-
如何实现高效联表查询
本地缓存缓存作为提高性能一种可选方式最先被考虑,其具有简单、易用、高效的特性。在结合Java8之后的新特性 Lambda 表达式,可以轻松实现类似 Join、Groupby、Sort 操作。这个方式也是我首选的处理方式。其本质是将原本数据库处理压力转嫁到服务器内存中,鉴于现在绝大多数公司都是分布式架构,服务性能相比单体架构有明显的提升,反观,MySQL 在分布式时代常常成为性能的瓶颈,从而衍生出 TiDB 这类分布式数据库。但缓存方式存在明显的短板—不适合大数据量操作,容易导致 Out Of Memo原创 2021-07-28 22:53:16 · 962 阅读 · 0 评论 -
阿里笔记之数据模型
文章目录数据模型名词说明业务板块公共定义项目管理维度业务过程指标统计粒度事实事实的设计准则事实表事实表设计原则事实表设计方法声明粒度确定事实冗余维度事务事实表设计过程事务事实表分类多事务事实表两种事务事实表如何选择周期快照事实表特性用快照采样状态快照粒度密度与稀疏性半可加性快照事实表分类设计步骤单维度的每天快照事实表混合维度的每天快照事实表全量快照事实表累计快照事实表设计过程业务过程确定粒度确定维...原创 2020-02-13 21:40:38 · 1141 阅读 · 0 评论 -
数据治理--元数据
数据治理–元数据元数据是对某个潜在信息性对象做出的陈述。在浏览其他网页的时候会看到元数据被称之为 “数据的数据”。为了更好的描述元数据到底是什么东西,我以一本《Metadata》书作为例子进行说明。《Metadata》第二页记录着该书的 CIP 信息、作者、出版社、书号、定价、印次、字数等信息,而这些信息都是用于描述《Metadata》这本书的元数据。一条元数据记录就是关于一个资源的主谓宾陈述...原创 2020-02-08 13:49:27 · 2264 阅读 · 0 评论 -
记一次大数据爬坑
前言VertxVertx是一个高效的异步框架,支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下,TPS可以高达2-3万,同时,支持多种数据源也提供了异步支持。Phoenix大数据的同学肯定对其很了解,是Apache基金会下的顶级工程,Phoenix帮助Hbase提供了SQL语法的支持,使难用的Hbase变得简单易用。Hba...原创 2018-04-18 20:41:36 · 601 阅读 · 0 评论 -
记一次HDFS Delegation Token失效问题(续)
在上篇讲到了,HDFS Delegation Token 问题的解决方法是 Spark-Submit 方式可以进行解决,经过了一段时间的反思和查看 Livy 和 Spark-Submit 两者日志之后,有了一点新发现,并且测试认证了,该方式是可行的,那么是怎么实现的呢?上篇传输门:地址上文我有提到 livy spengo 是通过代理的方式实现 Kerberos 的认证的,当使用类似于 Sp...原创 2019-01-22 11:16:58 · 924 阅读 · 1 评论 -
记一次HDFS Delegation Token失效问题
由于我们团队是最近上的 Kerberos ,免不了会出现一些问题,现阶段还处于踩坑阶段。希望通过我们的填坑的经历,帮助到同样身处坑内的伙伴。我们使用的 Hortonworks-HDP 环境。HDFS Delegation Token 问题被发现于一个 Long Running 的 Spark 应用。由于发布周期原因,部分应用超过了 7 天的有效期时间,突然在同一时间,爆发出来。当时觉得很诡异,在...原创 2019-01-17 09:42:24 · 5461 阅读 · 0 评论 -
HBase 2.0 协处理器实现 ES 数据同步
标签:hbase 2.0、elasticsearch、Coprocessor、协处理器在正式进行讲述实现之前,我觉得有必要说一下出发点。团队期初数据都是基于 HBase+Phoenix 这样架构进行持久化。随着业务的复杂性增加,对部分表的查询效率和查询条件多样性,提出了更高的要求。HBase+Phoenix 就会出现索引滥用。变更索引变的特别的频繁,同时一些数据客观的表,变更索引的代价是非常...原创 2019-01-30 19:21:41 · 3248 阅读 · 4 评论 -
HBase Thrift with Python
说在文前本文内容是基于 Centos 7、HDP 3.0.0、HBase 2.0.0、Python 2.7 环境下,其他环境的童鞋选择性进行参考安装 Thrift安装依赖包yum install -y automake libtool flex bison pkgconfig gcc-c++ libevent-devel zlib-devel python-devel ruby-devel...原创 2019-05-08 21:36:15 · 958 阅读 · 0 评论