Viking的博客

丰碑无语,行胜于言

Apache Sentry实战之旅(一)—— Impala+Sentry整合

Impala默认是以impala这个超级用户运行服务,执行DML和DDL操作的,要实现不同用户之间细粒度的权限控制,需要与Sentry整合。Sentry是Apache下的一个开源项目,它基于RBAC的授权模型实现了权限控制,Impala与它整合以后,就能实现不同用户之间在应用层的权限认证,从而控制...

2019-07-07 11:28:32

阅读数 67

评论数 0

使用Apache Kudu和Impala实现存储分层

当为应用程序的数据选择一个存储系统时,我们通常会选择一个最适合我们业务场景的存储系统。对于快速更新和实时分析工作较多的场景,我们可能希望使用Apache Kudu,但是对于低成本的大规模可伸缩性场景,我们可能希望使用HDFS。因此,需要一种解决方案使我们能够利用多个存储系统的最佳特性。本文介绍了如...

2019-05-20 14:59:50

阅读数 47

评论数 0

Hadoop技术资料汇总(不断更新中)

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢迎大家留...

2019-05-07 21:26:00

阅读数 22

评论数 0

OutOfMemoryError: GC Overhead Limit Exceeded错误解析

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2019-04-15 09:24:00

阅读数 22

评论数 0

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 环境 Hadoop版本:Apache Hadoop 2.6.3 ZooKeeper版本:ZooKeeper 3.4.10 两个ResourceManager节点:主节点RM01,从节点R...

2019-03-18 09:37:00

阅读数 43

评论数 0

Hadoop NameNode、DataNode热迁移方案

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 最近我们生产环境的Hadoop集群需要调整几台服务器,具体转换关系如下: datanode92.bi -> namenode02.bi namenode01.bi(old...

2019-03-12 21:15:00

阅读数 42

评论数 0

kafka-connect-hive sink插件实现要点小结

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> kafka-connect-hive sink插件实现了以ORC和Parquet两种方式向Hive表中写入数据。Connector定期从Kafka轮询数据并将其写入HDFS,来自每个Kaf...

2019-02-25 11:46:00

阅读数 19

评论数 0

kafka-connect-hive sink插件入门指南

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件,主要由source、sink两部分组成,source部分完成hive表数据的读取任...

2019-02-15 17:33:00

阅读数 18

评论数 0

如何使用Scala的exists函数

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2019-02-13 21:25:00

阅读数 33

评论数 0

Scala中如何进行数值转换

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2019-02-13 20:40:00

阅读数 13

评论数 0

Scala for循环示例

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2019-02-13 20:08:00

阅读数 8

评论数 0

Scala里如何进行++和--操作?

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2019-02-13 17:51:00

阅读数 15

评论数 0

Apache Griffin 入门指南

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 数据质量模块是大数据平台中必不可少的一个功能组件,Apache Griffin(以下简称Griffin)是一个开源的大数据数据质量解决方案,它支持批处理和流模式两种数据质量检测方式,可以从...

2019-01-18 15:55:00

阅读数 45

评论数 0

Kudu异常总结

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 1、impala不支持kudu表的关键字:PARTITIONED - LOCATION - ROWFORMAT(官方链接:Impala Keywords Not Supported for...

2018-12-29 14:49:00

阅读数 70

评论数 0

Kudu 1.7 安装指南

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2018-12-24 10:35:00

阅读数 22

评论数 0

Kafka技术资料总结(不断更新中)

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2018-09-22 20:10:00

阅读数 9

评论数 0

etcd、Zookeeper和Consul一致键值数据存储的性能对比

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2018-09-17 22:09:00

阅读数 19

评论数 0

MySQL timeout调研与实测

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> ...

2018-09-11 12:00:00

阅读数 9

评论数 0

一次JDBC连接泄露问题的排查过程总结

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 当前使用的Spring JDBC版本是5.0.0.RC1,HikariCP版本是3.1.0。 今天测试同学反馈在前端页面点击次数多了,就报500错误,数据显示不出来。于是我在后台服务...

2018-09-10 09:40:00

阅读数 3

评论数 0

IDEA 编译运行 Spring Boot 2.0 源码

面试:你懂什么是分布式系统吗?Redis分布式锁都不会?>>> 下载代码切换分支 首先到GitHub上clone下Spring Boot的代码: git clone https://github.com/spring-projects/sprin...

2018-09-04 11:46:00

阅读数 7

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭