- 博客(24)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 java常用的框架介绍
java常用的框架介绍一、SpringMVChttp://blog.csdn.net/evankaka/article/details/45501811Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架
2017-12-29 14:53:28
237
原创 kerberos安装
1.安装配置kerberos 1.1 安装服务端：kdc yum install -y krb5-server krb5-libs krb5-workstation 1.2 配置服务端： 配置/etc/krb5.conf includedir /etc/krb5.conf.d
2017-12-26 11:39:00
565
转载 slider简介
背景 YARN是HADOOP2中的通用资源管理平台，但是基于YARN开发应用，需要用户自己编写AM来处理资源申请、容错等，难度和复杂性比较大，因此YARN上运行良好的计算框架只有MapReduce、Spark、Tez等少数几个，而不像其宣传的那样能让各种计算框架运行的非常顺畅 Hortonworks公司最初开发了Hoya，该工具可以在YARN上部署
2017-12-22 14:05:07
1001
转载 大数据平台下多租户架构研究
多租户技术（multi-tenancy technology）是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。在大数据环境下实现多租户涉及如下关键技术：1. 资源池Hadoop资源池(pool)，或者作业池。 每个pool里有一定量的资源（管理员配置），每个用户属于某个pool，其提交的作业可使用这个pool中的资
2017-12-22 10:46:32
2830
转载 Apache Ignite
Apache Ignite（一）：简介以及和Coherence、Gemfire、Redis摘要: Apache Ignite 内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。本文将对Igni
2017-12-21 16:01:20
1089
原创 大数据技术概览
Pivotal兑现了其年初对于开源其大数据核心产品GemFire，HAWQ，Greemplum DB的承诺 。这个消息也让Pivotal在国内技术社区风风光光的火了一把，程序猿们可以看到真正的企业级数据仓库是如何设计和实现的。与此同时，开源社区中也存在很多类似的优秀大数据相关项目，涵盖了分布式数据存储与计算，数据处理，数据仓库，机器学习等与数据有关的方方面面，下面就让我们看
2017-12-21 15:51:20
288
转载 数据分析
数据的操作语言是SQL，因此很多工具的开发目标自然就是能够在Hadoop上使用SQL。这些工具有些只是在MapReduce之上做了简单的包装，有些则是在HDFS之上实现了完整的数据仓库，而有些则介于这两者之间。这样的工具有很多，来自于Shoutlet的软件开发工程师Matthew Rathbone最近发表了一篇文章，他列举了一些常用的工具并对各个工具的应用场景和未来进行了分析。Apac
2017-12-21 14:05:02
335
转载 SQL数据分析概览——Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto+druid
转自infoQ！ 根据 O’Reilly 2016年数据科学薪资调查显示，SQL 是数据科学领域使用最广泛的语言。大部分项目都需要一些SQL 操作，甚至有一些只需要SQL。本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。以及2个商业化选择Ora
2017-12-21 13:59:20
3739
转载 搭建数据仓库第02篇：数据仓库技术架构解决方案
上一篇开了个头，从Kimball数据仓库生命周期方法角度，列出了数据仓库搭建的核心步骤，从这一篇开始将讲述技术路径：技术架构设计和产品选择和安装。首先先以某公司的数据仓库的总体架构图的视角，了解整个数据仓库搭建起来后结构大体的样子。 最底层是数据源，一般是在线的数据库或者是文件系统。对于在线数据库，一般是操作型数据库，比如mysql,oracle等，一般是存在主库和从库
2017-12-19 18:24:43
894
转载 浅析多维体系结构(总线架构), 一致性维度和一致性事实(转载)
转载于http://wenku.baidu.com/link?url=hXWQyKcbE9Y8cUqjTK4r_iCTn18UU63YRdzlCTmf2ZloY5RVFhZYRhN-7bUrgGGjwe7FkjymUUJXhQ08nbq8VgYX-bve8_Bgfjy9TpsPIhK 在Kimball的维度建模的数据仓库中，关于多维体系结构（MD）有三个关键性概念：
2017-12-19 18:23:00
2017
1
原创 搭建数据仓库第01篇：数据仓库开发的生命周期
虽然一直在做数据仓库开发，但是还没有从0开始搭建过数据仓库，所以就想通过学习和思考来搭建一个还不错的数据仓库。比较经典的当属Kimball生命周期方法，它为我们在数据仓库开发过程中提供了路标的作用，生命周期方法的总体结构的核心内容有定义业务需求技术路径技术架构设计产品的选择和安装数据路径维度建模物理设计ETL设计和开发BI应用路径BI应用设计BI应用开发
2017-12-19 18:22:12
1091
原创 五种大数据处理架构
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点
2017-12-14 14:12:21
54489
1
转载 如何在CDH集群启用Kerberos
1.文档编写目的本文档讲述如何在CDH集群启用及配置Kerberos，您将学习到以下知识：1.如何安装及配置KDC服务2.如何通过CDH启用Kerberos3.如何登录Kerberos并访问Hadoop相关服务文档主要分为以下几步：1.安装及配置KDC服务2.CDH集群启用Kerberos3.Ker
2017-12-12 09:51:13
1441
原创 Kerberos简介 —config for users
User config filesThe following files in your home directory can be used to control the behavior of Kerberos as it applies to your account (unless they have been disabled by your host’s configurati
2017-12-11 17:21:33
357
原创 Kerberos简介 —management for users
Password managementChanging your passwordTo change your Kerberos password, use the kpasswd commandGranting access to your accountIf you need to give someone access to log into your a
2017-12-11 16:48:29
210
转载 Sentry手动安装、使用手册
1 Sentry简介Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase.2 准备2
2017-12-11 15:29:02
8318
原创 Sentry简介— Sentry Client Connection Pool Configuration
Sentry简介— Sentry Client Connection Pool ConfigurationSentry Client Connection Pool is an improvement which make Sentry supports connection pooling in sentry client.Enable Connection Pool in Cl
2017-12-11 15:00:41
791
原创 Sentry简介—Audit Log
Sentry简介—Audit LogThe Sentry audit log is responsible for logging the authorization metadata change, the following operations will be logged:create role, drop role, add role to group, delete r
2017-12-11 14:58:32
510
原创 Sentry简介—Getting Started with Sentry in Hive
Sentry简介—Getting Started with Sentry in HiveSentry uses a policy provider to define the access control to Hive. Sentry currently ships with a file-based policy provider, see below for an example.
2017-12-11 14:42:55
205
原创 sentry简介--architecture and Components
Architecture OverviewSentry ComponentsThere are components involved in the authorization process:Sentry Server: The Sentry RPC server manages the authorization metadata. It supports in
2017-12-11 13:50:38
219
原创 Hive权限管理：
Hive权限管理：因为权限中涉及的用户和组都是Linux的，不可控。建议使用角色，用户可以放置在角色中同时可以为角色进行授权。HIVE支持以下权限：权限名称含义ALL所有权限ALTER允许修改元数据（modify metadata data of object）-
2017-12-11 10:12:08
402
原创 Hbase多租户实现方案—资源限制—quotas
Hbase多租户实现方案—资源限制—quotas 上次整理了hbasde多租户基于namespace的权限管理实现方案，对于一些应用场景，基于namespace权限的多租户还不能够很好的满足业务的需求。业务有时候不单单需要基于权限的多租户，有时候还需要更复杂的基于资源限制调度的多租户，以满足在资源有限的情况下优先保证核心重要业务的正常运行。社区针对这个问题提出了相应的应对措施
2017-12-11 09:47:53
2948
原创 Kerberos
KerberosKerberos 服务(kerberos官网)是一种通过网络提供安全验证处理的客户机/服务器体系结构。通过验证，可保证网络事务的发送者和接收者的身份真实。Kerberos 术语：Principal： kerberos中认证的实体。Principal是用来表示客户端和服务端身份的实体。Principal是由三个部分组成：名字（name），实例（in
2017-12-04 14:23:43
954
原创 HBase的权限管理（namespace）
HBase的权限管理（namespace）HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. ac
2017-12-04 14:21:40
4938
janusgraph部署开发.docx
2020-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人