![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 55
亚信大数据平台
这个作者很懒,什么都没留下…
展开
-
企业级PAAS平台-多租户
下图为Gartner的多租户参考架构在私有云和公用云环境对多租户的理解上是有不同的概念的。在公用云环境往往我们谈的是saas的多租户,租户往往为使用业务系统的一个企业或组织,而在私有云环境,paas平台提供的应用往往为平台级应用,平台级应用面对的租户是业务系统本身。在多租户和云结合的情况下,iaas基础资源层的共享已经会变化为最基本的要求。那么在iaas层之上来谈主要则包括转载 2014-06-25 15:43:00 · 4279 阅读 · 0 评论 -
亚信大数据平台产品经理 杨晋:大数据是怎么应用于技术方面的
2014中关村大数据日于2014年12月11日在中关村举办,大会以大会以“聚合数据资产,推动产业创新”为主题,探讨数据资产管理和变现、大数据深度技术以及行业大数据应用创新和生态系统建设等等关键问题。大会还承载从政亚信府主管部门到各行各业的需求和实践中的疑问,探讨包括政府、金融、运营商等部门是如何通过数据资产管理和运营,实现转型发展和产业创新的路径。在下午的金融@Big Data论坛上,亚信大数原创 2014-12-12 22:46:23 · 2380 阅读 · 0 评论 -
开源日志系统比较 转载自董的博客
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。本文转载 2014-12-16 16:39:39 · 502 阅读 · 0 评论 -
大数据平台下多租户架构研究
多租户技术(multi-tenancy technology)是一种软件架构技术,它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件,并且仍可确保各用户间数据的隔离性。在大数据环境下实现多租户涉及如下关键技术:1. 资源池Hadoop资源池(pool),或者作业池。 每个pool里有一定量的资源(管理员配置),每个用户属于某个pool,其提交的作业可使用这个pool中的资源。资源原创 2014-07-11 01:05:40 · 15060 阅读 · 2 评论 -
揭秘腾讯大数据之平台综述篇
腾讯业务产品线众多,拥有海量的活跃用户,每天线上产生的数据超乎想象,必然会成为数据大户。特别是随着传统业务增长放缓,以及移动互联网时代的精细化运营,对于大数据分析和挖掘的重视程度高于以往任何时候,如何从大数据中获取高价值,已经成为大家关心的焦点问题。在这样的大背景下,为了公司各业务产品能够使用更丰富优质的数据服务,近年腾讯大数据平台得到迅猛发展。从上图可以看出,腾讯大数据平台有如下转载 2014-06-17 16:25:06 · 1448 阅读 · 0 评论 -
资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析
1 资源调度的目标和价值1.1 子系统高效调度任务之间资源隔离,减少争抢。 任务分配调度时结合资源分配,各个任务分配合理的资源,充分利用系统资源,减少资源利用不充分的问题。 资源调度结合优先级,优先级高的分配更多的资源。1.2 提高全系统的资源利用率各个子系统,存在不同时期,对资源需求不一样的情况,平滑系统资源的利用。1.3 支持动态调整切分资源,增强系统扩转载 2014-06-17 16:22:39 · 901 阅读 · 0 评论 -
TDW与PostgreSQL数据互访问功能
TDW与PostgreSQL数据互访问功能李巍TDW作为一个离线数据分析系统,在处理海量数据方面,通过并行计算,有很好的性能优势。但是我们知道,想用一个大而全的系统解决所有问题一般也是不现实的,同样,TDW也有它的劣势,比如对小数据处理性能低,update/delete性能差、接口不丰富等。因此我们引入一个强大的开源数据库PostgreSQL,并对其做一些功能扩展,使之有访问TDW数据的能转载 2014-07-02 23:52:12 · 886 阅读 · 0 评论 -
Spark 0.9.1 MLLib 机器学习库
翻译自Spark官方文档。by月禾Spark 0.9.1 MLLib机器学习库简介依赖二元分类线性回归聚类协同过滤隐性反馈 vs 显性反馈梯度下降基础算法用Scala调用MLLib二元分类线性回归聚类协同过滤用Java调用MLLib用Python调用MLLib二元分类转载 2014-07-23 11:10:10 · 852 阅读 · 0 评论 -
Hadoop 2.0 ResourceManager HA原理
设计目标主要目的是为了解决两种问题 计划外的机器挂掉 计划内的如软件和硬件升级等. 架构流程:两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到active可以通过命令或开启auto failover。转载 2014-07-21 10:26:53 · 1122 阅读 · 0 评论 -
hadoop平台gz、lzo压缩对比
压缩比:rcfile: 1.04rcfile+snappy: 0.27rcfile+lzo: 0.25sequencefile: 0.83sequencefile+snappy:0.84sequencefile+lzo: 0.79单列读取速度:select count(distinct product原创 2014-07-15 17:20:28 · 2815 阅读 · 0 评论