数据治理之元数据管理实践

引言 数字转型对不同的人意味着不同的东西,这取决于你的行业和你的业务性质。然而,所有的解释都有一个共同的主线,数据和数据治理的重要性。近年来,大家都在谈论数据逐步或已经成为企业的核心资产,数据驱动企业业务开展已经在不同的行业和企业中发挥着巨大的作用,那么作为企业的核心资产数据,如何进行管理是不同企...

2019-03-02 16:04:44

阅读数 733

评论数 0

数据质量监控工具-Apache Griffin

一、概述 随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时,数据的唯一性、完整性、一致性等等校验就开始受到关注,而通常做法是根据业务特点,额外开发job...

2019-02-02 07:45:13

阅读数 552

评论数 0

PyCharm 配置 Apache HUE 开发环境

Apache HUE 是一个操作hadoop生态各组件及组件管理的数据的集大成工具,其底层的 web 框架是python Django。现分享下如何基于 Pycharm 来搭建 Apache HUE 的开发环境。 需要注意的是,目前HUE只支持Linux环境安装编译,需要在Windows调试只能...

2018-12-24 21:56:17

阅读数 305

评论数 0

HUE4.3安装配置

HUE简介 Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进...

2018-12-23 00:08:33

阅读数 1053

评论数 0

Thrift方式连接hiveServer2+Kerberos

最近在做一个大数据查询平台,后端引擎有部分用了hive,通过thrift的方式连接hiveServer2,由于集群加了kerberos,所以实现thrift连接hiveServer2的时候需要加上kerberos认证。网上查了很多文章,写的thrift连接hive都没有kerberos,分享一下,...

2018-12-09 15:40:26

阅读数 712

评论数 1

Spark集群安装

背景介绍 最近调到大数据部门,Spark属于大数据非常重要的基础组件,研究研究也是非常必要的,现实验安装一下,以便对其部署运行机制有个深刻的认识。 实验环境 实验环境:Win7下vmware虚拟机 操作系统:CentOS 6.5 x64 JDK:jdk-8u161-linux-x64 ...

2018-03-06 21:52:26

阅读数 363

评论数 0

Hadoop集群安装

背景介绍 最近研究大数据,hadoop属于大数据中很基础的组件,如果需要深入了解,还是得先知道怎么安装部署,方便后续查阅。本操作步骤详细记录hadoop分布式集群环境的搭建过程。 实验环境 实验环境:Win7下vmware虚拟机 操作系统:CentOS 6.5 x64 JDK:jdk-...

2018-03-05 22:04:13

阅读数 220

评论数 0

Zookeeper安装配置

背景介绍 最近研究大数据,大数据很多组件都需要zookeeper进行管理,理解zookeeper运行原理,安装配置,参数设置对后续大数据深入打下一个好基础。Zookeeper用java开发,所以安装的时候需要先JDK。 实验环境 实验环境:Win7下vmware虚拟机 操作系统:Cen...

2018-03-01 21:42:18

阅读数 613

评论数 0

Cloudera&CDH安装配置说明

实验环境 实验环境:Win7下vmware虚拟机 操作系统:CentOS 6.5 x64 Clouder Manager:5.14.0 CDH:5.14.0 安装说明 官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种...

2018-02-12 15:27:08

阅读数 6544

评论数 0

CentOS6.5安装Kerberos认证KDC服务

一、 背景介绍 大数据平台生产环境开启了Kerberos认证,测试环境没有开启Kerberos认证,导致在开发离线变量计算平台的时候没法在测试环境调试Kerberos认证相关的内容,只能在生产环境上去调试,导致离线变量平台1.0.1.1、1.0.2版本上线的时候由于调试Kerberos的原因...

2018-02-09 23:27:27

阅读数 2194

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭