大数据平台下多租户架构研究

本文探讨了大数据环境下实现多租户的关键技术,包括资源池、公平调度、Kerberos认证和Sentry授权。多租户架构旨在确保在多用户环境中数据隔离,通过资源池分配计算和存储资源,利用公平调度确保作业资源均衡,Kerberos提供安全认证,Sentry实现细粒度权限管理。架构还包括租户管理和权限管理功能,以监控资源使用和控制访问权限。
摘要由CSDN通过智能技术生成

多租户技术(multi-tenancy technology)是一种软件架构技术,它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件,并且仍可确保各用户间数据的隔离性。在大数据环境下实现多租户涉及如下关键技术:

1. 资源池

Hadoop资源池(pool),或者作业池。 每个pool里有一定量的资源(管理员配置),每个用户属于某个pool,其提交的作业可使用这个pool中的资源。资源的分配主要是依据CPU虚拟核数和内存量。

2. 公平调度

是一种赋予作业(job)资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。当单独一个作业在运行时,它将使用整个集群。当有其它作业被提交上来时,系统会将任务(task)空闲时间片(slot)赋给这些新的作业,以使得每一个作业都大概获取到等量的CPU时间

3、Kerberos

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
⼤数据多租户的概念_⼤数据是什么?带你1分钟了解⼤数据的 概念! ⼤数据本⾝是⼀个抽象的概念。从⼀般意义上讲,⼤数据是指⽆法在有限时间内⽤常规软件⼯具对其进⾏获取、存储、管理和处理的数据集 合。 ⽬前,业界对⼤数据还没有⼀个统⼀的定义,但是⼤家普遍认为,⼤数据具备 Volume、Velocity、Variety 和 Value 四个特征,简 称"4V",即数据体量巨⼤、数据速度快、数据类型繁多和数据价值密度低,如图 1 所⽰。下⾯分别对每个特征作简要描述。 图 1 ⼤数据特征 1) )Volume:表⽰⼤数据的数据体量巨⼤。 :表⽰⼤数据的数据体量巨⼤。 数据集合的规模不断扩⼤,已经从 GB 级增加到 TB 级再增加到 PB 级,近年来,数据量甚⾄开始以 EB 和 ZB 来计数。 例如,⼀个中型城市的视频监控信息⼀天就能达到⼏⼗ TB 的数据量。百度⾸页导航每天需要提供的数据超过 1-5PB,如果将这些数据打 印出来,会超过 5000 亿张 A4 纸。图 2 展⽰了每分钟互联⽹产⽣的各类数据的量。 图 2 互联⽹每分钟产⽣的数据 2) )Velocity:表⽰⼤数据的数据产⽣、处理和分析的速度在持续加快。 :表⽰⼤数据的数据产⽣、处理和分析的速度在持续加快。 加速的原因是数据创建的实时性特点,以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快,处理模式已经开始从批处理转 向流处理。 业界对⼤数据的处理能⼒有⼀个称谓——" 1 秒定律",也就是说,可以从各种类型的数据中快速获得⾼价值的信息。⼤数据的快速处理 能⼒充分体现出它与传统的数据处理技术的本质区别。 3) )Variety:表⽰⼤数据的数据类型繁多。 :表⽰⼤数据的数据类型繁多。 传统 IT 产业产⽣和处理的数据类型较为单⼀,⼤部分是结构化数据。随着传感器、智能设备、社交⽹络、物联⽹、移动计算、在线⼴告等 新的渠道和技术不断涌现,产⽣的数据类型⽆以计数。 现在的数据类型不再只是格式化数据,更多的是半结构化或者⾮结构化数据,如 XML、邮件、博客、即时消息、视频、照⽚、点击流、 ⽇ 志⽂件等。企业需要整合、存储和分析来⾃复杂的传统和⾮传统信息源的数据,包括企业内部和外部的数据。 4) )Value:表⽰⼤数据的数据价值密度低。 :表⽰⼤数据的数据价值密度低。 ⼤数据由于体量不断加⼤,单位数据的价值密 度在不断降低,然⽽数据的整体价值在提⾼。以监控视频为例,在⼀⼩时的视频中,有⽤的 数据可能仅仅只有⼀两秒,但是却会⾮常重要。现在许多专家已经将⼤数据等同于黄⾦和⽯油,这表⽰⼤数据当中蕴含了⽆限的商业价值。 根据中商产业研究院发布的《2018-2023 年中国⼤数据产业市场前景及投资机会研究报告》显⽰,2017 年中国⼤数据产业规模达到 4700 亿元,同⽐增长 30%。随着⼤数据在各⾏业的融合应⽤不断深化,预计 2018 年中国⼤数据市场产值将突破 6000 亿元达到 6200 亿元。 通过对⼤数据进⾏处理,找出其中潜在的商业价值,将会产⽣巨⼤的商业利润。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值