荷籽花结-CSDN博客

原创 kylin问题分析:org.apache.kylin.metadata.datatype.DataType.<clinit>(DataType.java:134)

kylin2.6.1使用spark引擎进行build cube任务的时候，出现如下异常，该异常自从kylin2.4.0版本至最新的kylin2.6.2版本依然存在。19/05/05 17:36:42 WARN scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, spslave4.bigdata.ly, executor 1)...

2019-06-24 19:35:15 1164

翻译八、启用web安全性设置

启用Web UI安全性Drill-on-YARN提供了如前所述的Web UI。默认情况下，UI对所有人开放。您可以使用简单的预定义用户名和密码或使用Drill的用户身份验证来保护UI。简单安全使用三种配置设置启用简单安全性：drill.yarn.http: { auth-type: "simple" user-name: "bob" passwor...

2019-06-24 19:28:35 406

翻译七、多集群配置

多集群配置Drill-on-YARN允许您在单个YARN群集上轻松定义多个Drill群集。每个Drill集群都是Drillbits的集合，可作为独立单元使用。例如，您可以在运行较大集群的同一物理集群上定义一个计算机的一个测试集群，例如，开发和市场营销。drill集群使用ZooKeeper来划分集群，因此必须为每个群集分配不同的ZooKeeper条目。YARN可以在同一物理节点上的不同群集中启动...

2019-06-24 19:28:09 396

翻译六、drill web ui介绍

使用Drill-on-YARN Web UI在YARN下运行的应用程序有ApplicationMaster进程来管理应用程序的任务。Drill为此提供了Drill-on-YARN Application Master。当您使用命令行工具启动Drill时，该工具会要求YARN启动Drill的AM，然后启动Drillbits。Drill应用程序主机提供Web UI以监视群集状态并执行简单操作，例如...

2019-06-24 19:27:41 998

翻译五、drill-on-yarn 命令行工具

drill-on-yarn命令行工具Drill提供了命令行工具，用于启动，停止，调整大小和检查Drill群集的状态。该工具位于：$DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE command下面启动命令就是上述描述的命令之一。启动drill-on-yarn集群使用start命令启动钻取集群：$DRILL_HOME/bin/drill...

2019-06-24 19:27:13 960

翻译四、参考配置

参考配置该文章主要描述了drill on yarn最基本配置。其他配置选项可用于特殊情况。有关其他选项的信息，请参阅drill-on-yarn-example.conf。应用名称启动或停止Drill集群和Drill-on-YARN Web UI时，将显示应用程序名称。选择一个对您有用的名称：app-name: "My Drill Cluster" drill安装方式drill压缩安...

2019-06-24 19:26:45 682

翻译三、启动drill on yarn

启动drill on yarn使用客户端工具启动新的Drill集群，如下所示：$DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE start出现了许多描述启动过程的行。该工具会自动归档并上传您的站点目录，YARN会将其与Drill一起复制到每个节点上。如果一切顺利，该工具将打印可用于监视群集的Drill Application Master进...

2019-06-24 19:26:09 828

翻译二、创建基础的drill集群

客户端配置任务提交任务到yarn集群需要配置好提交任务的客户端，比如spark on yarn，需要spark客户端。对于Drill-on-YARN，也需要配置drill客户端。客户端可以在任何同时具有Drill和Hadoop软件的计算机上运行。任何可以启动YARN作业的主机都可以是客户端。客户端不需要成为YARN群集的一部分。在非drill on yarn模型下，必须在群集中的每个节点上安装...

2019-06-24 19:25:38 1094

翻译一、drill on yarn介绍

Drill-on-YARN简介：从Drill 1.13开始，Drill可以与YARN集成，进行集群资源管理。使用YARN，Drill成为长服务应用。当您启动Drill时，YARN会自动将Drill软件部署（本地化）到每个节点上，从而无需在每个节点上预安装Drill。通过yarn进行drill资源分配调度，使得资源管理得以简化。在YARN下安装和部署Drill之前，您应该熟悉YARN概念，例如R...

2019-06-24 19:24:36 920

原创 kylin编译

一、安装mvn[root@docker-193 install]# cd /BigData/install[root@docker-193 install]# wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz[root@docker-193 ins...

2019-06-21 13:27:27 1201

原创 kylin切换viewfs任务build失败问题定位

一、问题描述在hdfs切换viewfs协议的时候，kylin为了支持viewfs协议做了相应的更改，在执行cube build任务的时候，绝大部分任务都成功执行，存在如下cube build失败。异常信息：2019-04-15 04:12:41,178 ERROR [Job 9f0f5715-f7ce-4b2f-be07-b47231883ce1-238] common.HadoopShel...

2019-06-20 19:41:29 1098

翻译八、使用pxf读取写外部数据源

使用PXF读写外部数据Greenplum平台扩展框架（PXF）实现了一个名为的协议pxf，您可以使用该协议创建引用外部数据存储中的数据的外部表。PXF协议和Java服务打包为Greenplum数据库扩展。如果想通过pxf访问外部数据源，则必须开启pxf。同时还必须给想用的用户赋访问pxf的权限。安装初始化pxf并分配权限后，您可以使用该CREATE EXTERNAL TABLE命令使用pxf...

2019-04-09 19:12:51 1514

翻译七、升级pxf

升级PXF升级pxf主要分为两部分操作：第1步：PXF升级前操作第2步：升级PXF如果在当前的Greenplum数据库安装中使用了PXF，则Greenplum版本升级的时候，也必须升级PXF服务。PXF升级过程描述了如何在Greenplum数据库安装中升级PXF。此过程使用PXF.from来引用当前安装的PXF版本和PXF.to来表示升级到新版本的Greenplum数据库时安装的PX...

2019-04-09 19:12:26 225

翻译六、配置用户代理

配置用户代理该文档包括一下内容配置PXF用户模拟配置Hadoop代理Hive用户模仿HBase用户模拟PXF代表Greenplum Database最终用户访问Hadoop服务。默认情况下，PXF尝试使用登录到Greenplum数据库的Greenplum数据库用户帐户的标识访问数据源服务（HDFS，Hive，HBase），并使用PXF连接器配置文件执行操作。请记住，PXF 在访问H...

2019-04-09 19:11:01 451

翻译五、为pxf安装和配置hadoop客户端

为PXF安装和配置Hadoop客户端您使用PXF连接器访问外部数据源。从以下来源读取外部数据时，PXF需要在每个Greenplum数据库段主机上安装客户端：hadoophivehbasePXF要求必须安装Hadoop客户端。如果需要访问hive、hbase数据的时候才需要安装hive、hbase客户端。适用于PXF的兼容Hadoop，Hive和HBase客户端包括Cloudera，...

2019-04-09 19:10:34 1257

翻译四、配置、初始化和管理pxf

配置，初始化和管理PXFGreenplum平台扩展框架（PXF）由Greenplum数据库协议和将外部数据源映射到表定义的Java服务组成。本主题介绍如何配置，初始化和管理PXF。安装PXF安装Greenplum数据库时，PXF安装在主节点上。在调用gpseginstall命令时，可以在Greenplum数据库段主机上安装PXF 。您必须先显式初始化并启动PXF，然后才能使用该框架。您还必...

2019-04-09 19:10:04 1204

翻译三、安装和配置pxf

安装和配置PXFGreenplum平台扩展框架（PXF）为Hadoop，Hive和HBase数据存储提供连接器。要使用这些PXF连接器，必须按照该安装文档在Greenplum数据库的每个segment主机上安装Hadoop，Hive和HBase客户端：安装文档主要分为以下部门进行介绍：为PXF安装和配置Hadoop客户端PXF代表Greenplum Database访问hdfs数据的最终...

2019-04-09 19:09:30 584

翻译三、安装和配置pxf

安装和配置PXFGreenplum平台扩展框架（PXF）为Hadoop，Hive和HBase数据存储提供连接器。要使用这些PXF连接器，必须按照该安装文档在Greenplum数据库的每个segment主机上安装Hadoop，Hive和HBase客户端：安装文档主要分为以下部门进行介绍：为PXF安装和配置Hadoop客户端PXF代表Greenplum Database访问hdfs数据的最终...

2019-04-09 19:08:54 1521 1

翻译二、PXF架构介绍

PXF架构Greenplum平台扩展框架（PXF）由Greenplum数据库协议和相关的C客户端库以及Java服务组成。这些组件协同工作，使您可以通过Greenplum访问外部数据源。Greenplum数据库部署包括master节点和多个segment节点。配置并初始化PXF后，会在每个包含segment节点主机上启动一个PXF JVM进程。此PXF进程会为该主机上的每个segment产生一个...

2019-04-09 19:08:31 3834

翻译一、Greenplum平台扩展框架（PXF)

Greenplum平台扩展框架（PXF）通过将外部数据源映射成GP的外部表，使得Greenplum能够并行、高吞吐量以及联合查询外部数据源的数据。该扩展插件是基于Apache HAWQ的PXF（孵化）。该文档主要分为以下模块对pxf进行详细介绍和使用：PXF架构本主题描述了PXF的体系结构及其与Greenplum Database的集成。安装和配置PXF本主题详细介绍了PXF和支持客户...

2019-04-09 19:07:04 3745

原创九、GP安装笔记-GP集群调优

一、配置文件GP集群数据库服务的配置文件存储在segment目录上，分为master节点和其他的segment节点，master节点配置存储在：$MASTER_DATA_DIRECTORY/postgresql.confsegment节点的配置文件存储在对应segment节点目录下的postgresql.conf，一些配置master节点和segment节点会存在差异。二、配置项说明...

2019-03-20 19:34:24 2159

原创八、GP安装笔记-GPCC集群调优

一、配置文件存储位置GPCC配置分为两部分，一个是存在master的segment上，一个存放在每台服务器的gpcc安装包中，存储在master segment节点上的gpcc配置文件主要是gpcc监控服务相关参数设置，在master节点和standby节点中存在：$MASTER_DATA_DIRECTORY/gpperfmon/conf/gpperfmon.confgpcc的web服务...

2019-03-20 19:33:40 2650 1

原创七、GP安装-搭建hadoop环境

一、安装hadoop客户端在master节点，上传hadoop安装包到/opt/greenplum目录，hadoop客户端的版本根据hadoop集群版本而定，执行如下命令进行解压：tar -xvzf hadoop-2.6.0-cdh5.7.6.tar.gz修改/opt/greenplum/hadoop-2.6.0-cdh5.7.6/etc/hadoop相关配置，配置成功能够访问hdf...

2019-03-20 19:17:43 1026

原创六、GP安装笔记-GPCC安装

一、安装监控管理工具对应安装文档：https://gpcc.docs.pivotal.io/420/topics/install.html执行Greenplum DB数据库的gpperfmon_install工具,完成GP监控软件安装的前期准备工作，gpperfmon_install工具的功能大致是：创建greenplum监控用数据库(gpperfmon)创建greenplum监控用...

2019-03-20 19:15:40 5751 2

原创五、GP安装笔记-greenplum管理工具部署

一、添加gp用户为了让pgAdmin能够登入gp，需要初始化gpadmin用户的密码。在master节点上登入gpadmin用户，默认是不需要密码就可以登入的，然后执行如下命令进行修改密码：alter role gpadmin password 'gpadmin'用户是否能够登入服务器以及访问的数据库的权限会有白名单限制。需要master节点上的/data/greenplum/master...

2019-03-20 19:14:06 1332

原创四、GP安装笔记-greenplum数据库初始化

一、配置数据库存储目录创建一个子节点主机列表文件，包含除去master节点和standby节点的其他节点的主机列表，放置在/opt/greenplum目录下，编辑文件seg_hosts，添加如下内容：kylin-203-117kylin-203-122在每台服务器上创建对应的数据库存储目录，由于一台服务器上配置四台数据库，两台为primary，两台为mirror[gpadmin@kyl...

2019-03-20 19:10:58 3777 1

原创三、GP安装笔记-greenplum安装

一、创建安装目录在每台服务器上均创建软件的安装目录：mkdir /opt/greenplumchown -R gpadmin:gpadmin /opt/greenplum二、在master节点上安装gp将从官网下载的二进制安装包上传到master节点的/opt/greenplum上，执行如下指令进行安装：chmod +x greenplum-db-5.8.0-rhel7-x86_64...

2019-03-20 19:08:37 2503 1

原创二、GP安装笔记-系统环境配置

2019-03-20 19:07:28 850

原创一、GP安装笔记-环境准备

一、环境准备名称版本OSCentOS Linux release 7.3.1611 (Core)JDKjava version "1.8.0_102GPgreenplum-db-5.8.0-rhel7-x86_64.bingreenplum下载地址：https://network.pivotal.io/products/pivotal-gpdb#/r...

2019-03-20 19:06:07 498

原创五、openldap导入linux账户

一、安装migrationtools执行如下命令安装migrationtools用于导入linux账户信息：yum install -y migrationtools配置migre_common.ph文件，设置用于导入的根dn：vim /usr/share/migrationtools/migrate_common.ph修改相关设置，具体设置如下：# Default DNS dom...

2018-12-01 11:15:32 1380 1

原创四、openldap整合hive

一、配置整合hive用户适合cdh5.7.6+的版本的hive，cdh5.5.0版本的hive会出现如下问题：2018-08-23 13:59:48,304 ERROR [HiveServer2-Handler-Pool: Thread-29]: transport.TSaslTransport (TSaslTransport.java:open(315)) - SASL negotiati...

2018-12-01 11:08:30 2246

原创三、openldap整合greenplum

一、配置greenplum用户编辑greenplum用户配置文件，导入到openldap中：#添加greenplum分支，用于存放greenplum相关用户和组信息dn: ou=greenplum,dc=bigdata,dc=lyou: greenplumobjectClass: topobjectClass: organizationalUnit#添加greenplum用户分组...

2018-12-01 11:02:52 754

原创二、openldap整合kylin

#一、kylin用户准备编辑kylin用户配置文件，导入到openldap中，将kylin相关的账户数据放置到ou=kylin,dc=bigdata,dc=ly目录下，由于kylin需要维护用户和角色的相关信息，因此设置cn=People,ou=kylin,dc=bigdata,dc=ly下存放kylin的用户信息，ou=Group,ou=kylin,dc=bigdata,dc=ly存放kyli...

2018-12-01 10:48:27 1247 2